|
58 формация существует объективно, она содержится в самой структу ре объекгов: информация, выступая как степень упорядоченности системы, является внутренней (структурного по отношению к системе и потенциальной по отношению к познающему субъекту [I, С. 163.]. Наличие связи информации и энтропии объясняется тем, что существует всеобщая связь явлений и тем, что миру присущи различные взаимодействия, в том числе информационное взаимодействие. Об информационных взаимодействиях в мире свидетельствуют реальные информационные процессы (или антиэнтропийные процессы: например, борьба за существование в биоте, образование сложного из простого), что обусловливает, в том числе, наличие связи между энтропией и информацией и появлением в науке понятий «информационная энтропия». Вторая линия, приведшая к выявлению связи информации и энтропии, связана с вопросами количественной оценки информации. В теории информации, которая полущила начало с работ Клода Шеннона (1948 г.), энтропия (информационная энтропия) выступает как мера неопределенности выбора, а информация снимает эту неопределенность, то есть информация это сообщение, которое уменьшает неопределенность у адресата. В теории информации, или математической теории связи, возникшей в целях разрешения проблем электросвязи, количество информации I измеряется логарифмом числа возможных сообщений Р, создаваемых источником сообщений, I = К • 1о& Р: таким образом вводится измеряемая в битах мера количества информации, называемая энтропией источника сообщений. Источник сообщений (например, человек) это непредсказуемый выбор для одного из возможных сообщений, то есть у адресата имеется неопределенность, разрешающая после получения им сообщения [148, С.98, 126.]. Итак, в теории информации энтропия информационная энтропия выступает как мера неопределенности выбора. Дж. Пирс также указывал на различие между двумя энтропиями: физическая (а именно, статистическая) энтропия характеризует неопределенности состояния физической системы, энтропия в теории информации мера неопределенности сообщения, создаваемого источником при заданных условиях, и |
115 эволюции перерождается в живую. Р.Ф. Абдеев отмечает, что в неорганической природе информация существует объективно, она содержится в самой структуре объектов; информация, выступая как степень упорядоченности системы, является внутренней (структурной) по отношению к системе и потенциальной по отношению к познающему субъекту [1, С. 163.]. Наличие связи информации и энтропии объясняется тем, что существует всеобщая связь явлений и тем, что миру присущи различные взаимодействия, в том числе информационное взаимодействие. Об информационных взаимодействиях в мире свидетельствуют реальные информационные процессы (или антиэнтропийные процессы; например, борьба за существование, образование сложного из простого), что обусловливает, в том числе, наличие связи между энтропией и информацией и появлением в науке понятия “информационная энтропия”. Вторая линия, приведшая к выявлению связи информации и энтропии, связана с вопросами количественной оценки информации. В теории информации, которая получила начало с работ Клода Шеннона (1948 г.), энтропия (информационная энтропия) выступает как мера неопределенности выбора; а информация снимает эту неопределенность, то есть информация это сообщение, которое уменьшает неопределенность у адресата. К. Шеннон расширяет теорию связи, чтобы включить новые факторы: “...влияние шума в канале и возможность экономии за счет учета статистической структуры исходного сообщения и назначения передаваемой информации” [203, С. 243.]. Дискретный источник информации (например, телеграфный аппарат) он представил как марковский процесс, в котором вероятность появления данной буквы на данном месте зависит от предшествовавших ей букв, и задался вопросом: “можно ли определить величину, которая будет измерять в 116 некотором смысле, как много информации создается таким процессом, или, лучше, с какой скоростью она создается?” [203, С. 259.] К. Шеннон доказывает теорему существования функции Н П Н = к * I р\ * 1о§ р\ 1=1 и заключает, что форма величины Н оказывается такой же, как и статистическая форма энтропии. Подобную формулу для измерения количества информации в 1928 году ввел Р. Хартли (его формула является частным случаем шенноновской формулы), но К. Шеннон первым стал широко пользоваться понятием энтропии в задачах связи, отмечая, что “величина Н обладает рядом интересных свойств, которые также подтверждают, что она является разумной количественной мерой возможности выбора или мерой количества информации” [203, С. 262.]; термины “неопределенность” и “энтропия” он употребляет как синонимы. Интересно привести высказывание К. Шеннона по поводу названия введенной им меры неопределенности Н: “меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее “информацией”, но это слово слишком перегружено, поэтому я решил остановиться на “неопределенности” [цит. по 112, С. 18.]. При обсуждении названия величины “Н” с Джоном фон Нейманом, Дж. фон Нейман предложил назвать ее энтропией, в частности потому, что шенноновская функция неопределенности использовалась в статистической механике под этим названием; тем самым пределы применимости понятия энтропии расширяются и вводится понятие “информационная энтропия”. В теории информации, или математической теории связи, возникшей в целях разрешения проблем электросвязи, количество информации I измеряется логарифмом числа возможных сообщений Р, создаваемых источником сообщений, 1=К*1о§Р: таким образом,вводится 117 измеряемая в битах мера количества информации, называемая энтропией источника сообщений. Источник сообщений (например, человек) это непредсказуемый выбор для одного из возможных сообщений, то есть у адресата имеется неопределенность, разрешающаяся после получения им сообщения [см. 138, С. 98, 126.]. Итак, в теории информации энтропия информационная энтропия выступает как мера неопределенности выбора. Дж. Пирс дает следующее определение информационной энтропии: “энтропия в математической теории связи есть мера этой неопределенности (неопределенности выбора источником сообщений одного сообщения из множества возможных сообщений Н.Ш.), и эта неопределенность, или (что то же самое) энтропия, берется в качестве меры количества информации, которое несет в себе сообщение от данного источника” [138, С. 38.]. Информационная энтропия мера количества информации, определяемая логарифмом числа возможных сообщений; мера неопределенности сообщения. Дж. Пирс также указывает на различие между двумя энтропиями: физическая (а именно, статистическая) энтропия характеризует неопределенность состояния физической системы, энтропия в теории информации мера неопределенности сообщения, создаваемого источником при заданных условиях, и между собой обе энтропии связаны следующим образом: энтропия (в теории информации) источника информации о состоянии системы “представляет собой меру энергии, необходимой для передачи сообщения от источника при наличии теплового шума, который обязательно присутствует в системе. Энергия, используемая для передачи такого сообщения, равна увеличению свободной энергии вследствие уменьшения физической энтропии, которое произошло в результате передачи сообщения” [138, С. 242.]. |