Объясните, чем отличается понятие ЭНТРОПИЯ в физике и теории информации?

Объясните, чем отличается понятие ЭНТРОПИЯ в физике и теории информации?

  1. в физике термодинамическая энтропия функция состояния термодинамической #8203;системы.
    Информационная энтропия мера неопределнности источника #8203;сообщений, определяемая вероятностями появления тех или иных символов #8203;при их передаче
  2. Энтропия в физике это термодинамическая функция — составная часть закона сохранения энергии. Внутренняя энергия физической системы равна энтальпия (минус) энтропия dU=PdH-TdS Р и Т — давление и температура — меры интенсивности воздействия, dH и dS — изменение энтальпии и изм энтропии — меры экстенсивности (мкости системы) . В информатике энтропия мера беспорядка — хаотичности информации.
  3. Из многочисленных определений энтропии мне ближе всего определение, что энтропия является мерой накопления во Вселенной необратимых изменений. А поскольку изменения необратимы, то энтропия Вселенной в целом (так же как и некой замкнутой системы в частности) никогда не уменьшается, что, собственно, и определяет направленность всех процессов, идущих во Вселенной.

    Исторически различают два вида энтропии: тепловую и структурную, хотя при ближайшем рассмотрении они оказываются двумя сторонами одной медали.

    Тепловая энтропия характеризует меру необратимого рассеяния тепла. Если тело с температурой T отдат/принимает некоторое количество dQ тепла, то его энтропия уменьшится/увеличится на dS=dQ/T. Известно, что тепло самопроизвольно может переходить только от более горячих к более холодным телам. Следовательно, теплопередача должна идти с увеличением энтропии. Например, если чайник с температурой 100C (373 К) передат 1000 Дж тепла окружающей среде с температурой 20C (293 К) , то энтропия увеличится на dS = 1000/293 1000/373 = 0.732 Дж/К.

    Структурная энтропия характеризует степень неупорядоченности системы. Под неупорядоченностью в данном случае понимается количество способов, которым можно реализовать данную систему. Например, сложить 15 бильярдных шаров треугольником можно единственным способом (если шары неразличимы) , а в беспорядке разбросать их по бильярдному столу практически бесконечным числом способов. Следовательно, конфигурация треугольником более упорядочена. Математически структурная энтропия выражается формулой S = k ln N, где k = 1.38e-23 Дж/К постоянная Больцмана, N число способов реализовать систему, ln натуральный логарифм. Конечно, рассчитывать таким образом структурную энтропию реальных систем затруднительно. Реально она оценивается другими способами. Скажем, для химических веществ — путм теплотехнических измерений (см. химические справочники) . Например, для одного моля воды структурная энтропия составляет 70 Дж/К, водяного пара 189 Дж/К.

    Поскольку ln N = 0.693 log2 N (где log2 двоичный логарифм) , то структурную энтропию можно выразить в битах S = 0.693 k log2 N, причм 1 бит = 0.693 k = 9.6e-24 Дж/К. Именно эту величину, выраженную в битах, понимают под энтропией в теории информации.

    Интересен вопрос о самоорганизации материи в свете закона увеличения энтропии. Очевидно, что при самоорганизации структурная энтропия системы уменьшается. Однако для таких процессов всегда существует параллельный им процесс, в котором энтропия увеличивается, компенсируя тем самым уменьшение энтропии в основном процессе. Например, при конденсации водяного пара (уменьшение энтропии) идт отдача тепла в окружающую среду (увеличение энтропии) , понижению температуры холодильной камеры сопутствует рассеяние тепла компрессором, самоорганизация живой материи связана с передачей тепла от Солнца к Земле. Таким образом, самоорганизация одних систем возможна лишь ценой увеличения энтропии других.

    Резюме: понятие энтропии в физике более широкое, чем в теории информации. Под энтропией в теории информации понимают один из видов энтропии, а именно структурную энтропию, причм традиционно выражают е в битах, а не в Дж/К.

You may also like

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *