Чем определяется количество информации в сообщении

Чем определяется количество информации в сообщении

Объемный способ измерения информации

Технический способ измерения количества информации (или, точнее, информационного объема сообщения) основан на подсчета количества символов, из которых образовано сообщение. При этом не учитывается смысловое содержание сообщения. Например, многократное повторение одного и того же текста не несет новой информации, однако в результате занимает больший объем памяти, требует большего времени для передачи и т.п. Поэтому этот способ удобен в технических расчетах.

Американский математик и инженер К. Шеннон в 1948 г. получил формулу для расчета количества информации, содержащейся в системе, обладающей произвольным набором неравновероятных (в общем случае) состояний

где n — число возможных состояний системы, pi — вероятность i-го состояния (причем pi = 1)

Чем меньше вероятность наступления события, тем большую информацию это событие несет.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Применим метод половинного деления. Зададим несколько вопросов уменьшающих неопределенность знаний в два раза.

— Книга лежит выше четвертой полки?

Книга лежит ниже третьей полки? -Да.

Книга — на второй полке?

Ну теперь все ясно! Книга лежит на первой полке! Каждый ответ уменьшал неопределенность в два раза.

Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения:

А теперь познакомимся с другим способом измерения информации. Этот способ не связывает количество информации с содержанием сообщения, и называется он алфавитным подходом.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

Полное количество символов алфавита принято называть мощностью алфавита. Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и отмеченных дополнительных символов равна 54.

В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле, каждый такой символ несет I бит информации, которое можно определить из решения уравнения: 2I = 54. Получаем: I = 5.755 бит.

Вот сколько информации несет один символ в русском тексте! А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на I.

Посчитаем количество информации на одной странице книги. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50×60=3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Пусть небольшая книжка, сделанная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Значит страница содержит 40×60=2400 байт информации. Объем всей информации в книге: 2400 х 150 = 360 000 байт.

В любой системе единиц измерения существуют основные единицы и производные от них.

Для измерения больших объемов информации используются следующие производные от байта единицы:

1 килобайт = 1Кб = 210 байт = 1024 байта.

1 мегабайт = 1Мб = 210 Кб = 1024 Кб.

1 гигабайт = 1Гб = 210 Мб = 1024 Мб.

Прием-передача информации могут происходить с разной скоростью. Количество информации, передаваемое за единицу времени, есть скорость передачи информации или скорость информационного потока.

Очевидно, эта скорость выражается в таких единицах, как бит в секунду (бит/с), байт в секунду (байт/с), килобайт в секунду (Кбайт/с) и т.д.

Вопросы для самопроверки

Вопросы для самопроверки

1. Формальная и неформальная постановка задачи.

2. Дайте определение «модель» и требования к моделированию.

3. Характеристика стадий построения информационной модели.

4. Классификация моделей.

5. Виды форм представления информационных моделей.

6. Этапы разработки компьютерных моделей.

7. Информация, классификация информации.

8. Методы получения и использования информации.

9. Носитель информации.

10. Способы измерения информации.

11. Алфавитный подход к измерения информации.

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Сдача сессии и защита диплома — страшная бессонница, которая потом кажется страшным сном. 9188 — | 7394 — или читать все.

Свойство полноты информации негласно предполагает, что имеется возможность измерять количество информации. Какое количество информации содержится в данной книге, какое количество информации в популярной песенке? Что содержит больше информации: роман «Война и мир» или сообщение, полученное в письме от товарища? Ответы на подобные вопросы не просты и не однозначны, так как во всякой информации присутствует субъективная компонента. А возможно ли вообще объективно измерить количество информации? Важнейшим результатом теории информации является вывод о том, что в определенных, весьма широких условиях, можно, пренебрегая качественными особенностями информации, выразить ее количество числом, а следовательно, сравнивать количество информации, содержащейся в различных группах данных.

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации.

Рассмотрим пример: дома осенним утром, старушка предположила, что могут быть осадки, а могут и не быть, а если будут, то в форме снега или в форме дождя, т.е. «бабушка надвое сказала — то ли будет, то ли нет, то ли дождик, то ли снег». Затем, выглянув в окно, увидела пасмурное небо и с большой вероятностью предположила — осадки будут, т.е., получив информацию, снизила количество вариантов выбора. Далее, взглянув на наружный термометр, она увидела, что температура отрицательная, значит, осадки следует ожидать в виде снега. Таким образом, получив последние данные о температуре, бабушка получила полную информацию о предстоящей погоде и исключила все, кроме одного, варианты выбора.

Приведенный пример показывает, что понятия «информация», «неопределенность», «возможность выбора» тесно связаны. Получаемая информация уменьшает число возможных вариантов выбора (т.е. неопределенность), а полная информация не оставляет вариантов вообще.

Читайте также:  Работа в эксель обучение видео

За единицу информации принимается один бит (англ, bit — binary digit — двоичная цифра). Это количество информации, при котором неопределенность, т.е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения — да или нет.

Бит — слишком мелкая единица измерения информации. На практике чаще применяются более крупные единицы, например, байт, являющийся последовательностью из восьми бит. Именно восемь битов, или один байт, используется для того, чтобы закодировать символы алфавита, клавиши клавиатуры компьютера. Один байт также является минимальной единицей адресуемой памяти компьютера, т.е. обратиться в память можно к байту, а не биту.

Широко используются еще более крупные производные единицы информации:

1 Килобайт (Кбайт) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт,

1 Терабайт (Тбайт) — 1024 Гбайт = 240 байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равновероятных сообщений. Это будет не двоичная (бит), а десятичная (бит) единица информации. Но данная единица используется редко в компьютерной технике, что связано с аппаратными особенностями компьютеров.

Получение информации тесно связано с информационными процессами, поэтому имеет смысл рассмотреть отдельно их виды.

Сбор данных — это деятельность субъекта по накоплению данных с целью обеспечения достаточной полноты. Соединяясь с адекватными методами, данные рождают информацию, способную помочь в принятии решения. Например, интересуясь ценой товара, его потребительскими свойствами, мы собираем информацию для того, чтобы принять решение: покупать или не покупать его.

Передача данных — это процесс обмена данными. Предполагается, что существует источник информации, канал связи, приемник информации, и между ними приняты соглашения о порядке обмена данными, эти соглашения называются протоколами обмена. Например, в обычной беседе между двумя людьми негласно принимается соглашение, не перебивать друг друга во время разговора.

Хранение данных — это поддержание данных в форме, постоянно готовой к выдаче их потребителю. Одни и те же данные могут быть востребованы не однажды, поэтому разрабатывается способ их хранения (обычно на материальных носителях) и методы доступа к ним по запросу потребителя.

Обработка данных — это процесс преобразования информации от исходной ее формы до определенного результата. Сбор, накопление, хранение информации часто не являются конечной целью информационного процесса. Чаще всего первичные данные привлекаются для решения какой-либо проблемы, затем они преобразуются шаг за шагом в соответствии с алгоритмом решения задачи до получения выходных данных, которые после анализа пользователем предоставляют необходимую информацию.

Обобщая сказанное, можно предложить следующую структурную схему (рис. 1.2):

Рис. 1.2. Структура информатики

Статьи к прочтению:

10 САМЫХ сложных ВАРИАНТОВ выбора (ТЕСТ на ТВОЮ личность)

Похожие статьи:

ЛЕКЦИЯ №1. ПОНЯТИЕ ИНФОРМАЦИИ. ОБЩАЯ ХАРАКТЕРИСТИКА ПРОЦЕССОВ СБОРА, ПЕРЕДАЧИ, ОБРАБОТКИ И НАКОПЛЕНИЯ ИНФОРМАЦИИ План o Информация, качество и количество…

Лекция 3 — 4. Теория информации Теория информации: понятие информации и ее измерение; количество и качество информации; единицы измерения информации;…

Во всех задачах теории информации присутствуют понятия передатчика и приемника, сигнала-сообщения, событий и их вероятностей. Ценность сведений, содержащихся в переданном получателю сообщении, характеризует количество заключенной в нем информации (частное количество информации). Для сравнения между собой разных источников сообщений, а также различных каналов связи необходимо ввести какую-то количественную меру, которая дала бы возможность объективно оценить информацию, содержащуюся в сообщении и переносимую сигналом.

Частное количество информации можно определять степенью изменения поведения получателя под воздействием принятого сообщения. В теории связи количественная оценка информации основывается на концепции выбора наиболее важного сообщения из всей совокупности возможных полученных сообщений. При этом чем менее вероятен выбор данного сообщения, т.е. чем более оно неожиданно для получателя, тем большее количество информации оно содержит. Очевидно обратное: достоверное (заранее известное) сообщение нет смысла передавать, поскольку оно не является неожиданным, а значит, не содержит информации. Поэтому реальные сообщения следует рассматривать как случайные события.

Передаваемое по каналам связи сообщение можно представить в виде набора некоторых смысловых элементов или символов (например, букв алфавита). Если общее число (объем) символов алфавита равно т, а одно сообщение может быть составлено из п элементов, то максимальное число возможных сообщений N = т п . Например, с помощью двухразрядного десятичного числа (п = 2, т = 10) можно представить N = 10 2 = 100 различных чисел от 0 до 99. В частности, при средней длине русского слова п = 5 букв и алфавите в т = 32 буквы можно составить почти N = 32 D = 33,6 млн различных слов. Казалось бы, искомая мера количества информации найдена. Однако использование числа Л г в качестве меры информации неудобно, так как нс выполняется условие пропорциональности между длиной слова (длительностью сигнала) и количеством содержащейся в нем информации. Между гем удвоение времени передачи сообщений должно приводить к удвоению количества передаваемой информации.

Р. Хартли в 1928 г. выдвинул идею о том, что информация допускает количественную оценку, и ввел в теорию передачи информации методологию измерения количества информации. При этом Хартли четко обозначил, что он имеет в виду под информацией, которую собирался измерять: «Группа физических символов — слов, точек, тире и т.п., имеющих по общему соглашению известный смысл для корреспондирующих сторон». Хартли ставил перед собой задачу ввести какую-то меру для измерения кодированной информации, а точнее, последовательности символов, используемых для кодирования информации.

Рассматривая передаваемую информацию в виде определенной последовательности символов алфавита объемом т, а передачу и прием этой информации — в виде последовательных выборов из этого алфавита, Хартли предложил информацию /, приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений N с числом символов п:

Если же все множество возможных для передачи сообщений состоит только из одного (N=m = 1), то I = log 1=0, что соответствует отсутствию информации в этом случае. При наличии независимых источников информации с N< и N2 числом возможных сообщений

т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь.

Логарифмическая мера удобна по ряду следующих причин.

  • 1. Ее легко использовать на практике. Параметры, важные в инженерных приложениях, такие как время, пропускная способность, число переключателей и т.д., обычно меняются линейно при логарифмическом изменении числа возможных вариантов. К примеру, добавление одного переключателя удваивает число возможных состояний их группы, увеличивая на единицу его логарифм по основанию 2. Увеличение в два раза времени приводит к квадратичному росту числа сообщений, или удвоению их логарифма, и т.д.
  • 2. Она близка к нашему интуитивному представлению о такой мерс. Эго тесно связано с предыдущим пунктом, так как мы интуитивно измеряем величины, линейно сравнивая их со стандартами. Так, нам кажется, что на двух одинаковых дисках памяти можно разместить в два раза больше информации, а по двум одинаковым каналам — передать ее в два раза больше.
  • 3. Она удобна математически; многие предельные переходы просты в логарифмах, в то время как в терминах числа вариантов они достаточно сложны.
Читайте также:  Корректировка себестоимости в 1с упп

Выбор основания логарифма, безусловно, соответствует выбору единицы измерения количества информации. Если взять основание 2, то полученные единицы есть не что иное, как двоичные цифры, или биты. Устройство с двумя устойчивыми состояниями способно хранить 1 бит информации, N таких устройств — N бит, так как полное число состояний 2 jV и log22 jV = N. При использовании же основания 10 единицы называют десятичными цифрами. При этом один разряд десятичного кода содержит I = -log2р = 3,32 бита информации.

Рассмотрим подробнее вопрос о количественной оценке информации, предложенной Р. Хартли. Выберем некоторое случайное событие, относительно которого известно, что оно может появиться с вероятностью р. Пусть информация об этом событии передается алфавитом, состоящим из т смысловых символов. Если возможность появления любого символа алфавита также равновероятна, то эта вероятность р= /т (при этом т = 1 /р). Полагая, что N = т, получим

Основание логарифма здесь может быть выбрано произвольным, поскольку это влияет лишь на единицу измерения количества информации. Хартли предложил вычислять количество информации, содержащейся в передаваемом сообщении, по формуле

где логарифм может быть взят при любом основании а.

Данная формула позволяет для некоторых специфических случаев определить количество информации. Однако для практических целей необходимо задаться единицей его измерения.

Этот подход принципиально изменил понятие информации. Под информацией стали понимать не любые сообщения, передаваемые по системе связи, а лишь те, которые уменьшают неопределенность у получателя. Количество информации, переданное в этом случае, наиболее удобно и следует принять за единицу ее количества. Именно это количество информации может быть получено, если применить формулу (7.23) и взять логарифм по основанию 2:

Тогда

Полученная единица количества информации является битом (напомним, что термин «бит» имеет два различных значения; одно используется в качестве синонима двоичного символа, а второе обозначает единицу количества информации; скорость передачи данных представляет собой именно количество двоичных символов, передаваемых за 1 с). Здесь бит является не только единицей количества информации, но и единицей измерения степени неопределенности. При этом имеется в виду неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода. Эта мера представления информации является универсальной и позволяет сравнить различные сообщения и количественно определить ценность различных источников информации, оценить величину ее потерь при передаче, приеме, обработке, храпении и т.д. Применение двоичных логарифмов диктуется тем, что сообщение в практических системах связи чаще всего принимает форму отдельных групп (кодовых слов), состоящих только из двух символов, которые можно трактовать как 0 или 1. Каждая такая группа кодирует, например, буквы того или иного естественного языка, из которых составляются отдельные слова. Если основанием логарифма в формуле (7.24) выбрано е (т.е. взят натуральный логарифм), то информация будет измеряться в натуральных единицах, или патах <1 нат « 1,443 бита).

На одной стандартной странице на русском языке написан текст, содержащий 40 строк по 65 букв в каждой строке. Оценим по формуле Хартли объем информации в данном тексте, полагая, что алфавит состоит из 32 букв.

Для упрощения будем считать, что появление любой буквы в тексте равновероятно. В этом случае каждая буква содержит количество информации /б = = -log2(l/32) = 5 бит.

Тогда общий объем информации страницы текста составит

Заметим, что данный расчет является лишь ориентировочным, поскольку не учитывается разница между вероятностями появления различных букв в тексте. На практике же буквы «м» или «е» встречаются гораздо чаще, нежели буквы «ц» или «э». Кроме того, при расчетах не учитывался факт сильной корреляции между отдельными буквами алфавита (в частности, в русском языке сочетание букв «ка» встречается значительно чаще, чем сочетание «зэ»).

Вычислим по формуле Хартли характеристики угадывания одного числа из набора чисел от 1 до 100.

Воспользуемся формулой (7.24) и вычислим, какое количество информации требуется: I = log2100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 ед.

Энтропия источника сообщений. Подход Р. Хартли основан по существу на теории множеств и комбинаторике. Хартли понимал, что сообщения имеют различную вероятность и, следовательно, неожиданность их появления для получателя неодинакова. Но, определяя количество информации, он пытался полностью исключить фактор неожиданности. Поэтому формула (7.23) позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.

Основной недостаток формулы Хартли — она не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном, который применил теоретико-вероятностный подход.

Развивая и обобщая идеи Р. Хартли, К. Шеннон в 1948 г. в фундаментальном труде «Математическая теория связи» ввел два важнейших понятия: информации, содержащейся в подлежащих передаче по каналу связи сообщениях, и энтропии источника сообщений. Шеннон впервые стал рассматривать статистическую структуру передаваемых сообщений и действующих в канале шумов, и, кроме того, он рассматривал не только конечные, но и непрерывные множества сообщений. Созданная им теория информации дала ключ к решению двух основных проблем теории связи: устранение избыточности сообщений и кодирование сообщений, передаваемых по каналу связи с шумами.

Одна из задач, которые ставил перед собой Шеннон, заключалась в том, чтобы определить систему кодирования, позволяющую оптимизировать скорость и достоверность передачи информации. Шеннон, используя методологию Хартли, воспользовался тем фактом, что при передаче словесных сообщений частота использования различных букв алфавита не одинакова: некоторые буквы используются очень часто, другие — редко. При этом существует еще и определенная корреляция в буквенных последовательностях, когда за появлением одной из букв с большой вероятностью следует конкретная другая.

Читайте также:  Файлы с расширением tib

Пусть объем какого-то алфавита X равен т и источник передает сообщения этими символами. Положим, что величины всех вероятностей появления любого из символов pjt г = 1,2. т, — априорные, т.е. известные. Проследим за достаточно длинным отрезком сообщения. Пусть в нем имеется N< символов первого типа, N2 символов второго типа, . Nm сигналов т-го типа, причем Л’, + iV2 + . + Nj + . + Nm = N — общее достаточно большое число символов в наблюдаемом отрезке, /,,/2. /(, — частоты появления соответствующих символов.

При возрастании длины отрезка сообщения каждая из частот появления г-го символа стремится к фиксированному пределу: 1 inif. = pjti = 1, 2. т, где Pi можно считать вероятностью данного символа.

Предположим, получен символ г-го типа с вероятностью pjt содержащий согласно формуле (7.23) -logар: единиц информации. Очевидно, что в рассматриваемом отрезке сообщения г’-й символ встретится примерно Npt раз и общая информация, доставленная символами этого типа, будет равна произведению Np>ogaPi. То же относится к символам любого другого типа, поэтому полное количество информации (для нее К. Шеннон ввел метрику //), доставленное отрезком из JV символов алфавита X, будет примерно равно

Чтобы определить среднее количество информации, приходящееся на один символ передаваемого сообщения, т.е. удельную информативность источника, нужно это число разделить на N. При неограниченном росте приблизительное равенство перейдет в точное. В результате получим асимптотическое соотношение — формулу Шеннона

Оказалось, что формула (7.23), предложенная Хартли, представляет собой частный случай более общей формулы Шеннона. Если в формуле Шеннона (7.25) принять, чтор, = р2 = . = pN = 1 /N, то приходим к формуле Хартли:

Выражение (7.25) К. Шеннон назвал энтропией источника сообщений. Значит, энтропия отражает среднее значение количества информации, приходящееся на один символ алфавита (бит/символ).

Знак «минус» в формулах Шеннона (7.25) и (7.26) не означает, что энтропия сообщения — величина отрицательная. Объясняется это тем, что вероятность р согласно определению меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log2p(, — величина отрицательная, то (с учетом знака «минус» перед формулой) произведение вероятности на логарифм этого числа будет положительным. Под информацией теперь понимают не любые сообщения, передаваемые в системе связи, а лишь те, которые снижают энтропию сообщения. При этом увеличивается информативность поступившего сообщения.

Энтропия — это тот минимум информации, который необходимо получить, чтобы ликвидировать неопределенность элементов алфавита. Энтропию рассматривают как числовую характеристику закона распределения, выражающую неопределенность, которая присуща элементам алфавита. Как правило, алфавит с небольшой энтропией мало пригоден для практического использования.

Количество информации в сообщении с позиции энтропии определяется уменьшением неопределенности состояния некоторого процесса. В отношении сигнала, несущего информацию, неопределенность выражается неизвестностью его информационных параметров. Пока сигнал не принят и не определены его информационные параметры, о содержании сообщения можно только догадываться с некоторой вероятностью правдоподобия. После приема сигнала неопределенность в содержании сообщения значительно уменьшается. Если есть гарантия, что при передаче сообщения не возникло искажений сигнала, то неопределенность вообще исчезает. Однако имеется всегда, хотя и малая, вероятность ошибки, так как без искажений вообще сигнал не может быть передан. Поэтому некоторая неопределенность все-таки остается.

Определим по Хартли и Шеннону количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 32 букв.

По формуле Хартли I = log232 = 5 бит (при расчетах считаем, что появление каждой буквы равновероятно). По формуле Шеннона (для неравновероятных исходов) это значение равно Н = 4,72 бита.

Чтобы пояснить наглядный смысл понятия энтропии, опишем ее свойства.

1. Энтропия является положительной непрерывной величиной.

Пусть сообщение передается с помощью двоичного алфавита (двоичного источника), состоящего только из двух символов, например 0 и 1. Если вероятность появления первого символа равна р, то вероятность появления второго символа составляет 1- р. В этом случае энтропия изменяется от 0 до 1 и

На рис. 7.27 приведен график зависимости Н(Х) для двоичного источника, построенный по формуле (7.27). Он показывает, что максимальное значение энтропии, равное 1 бит/символ, достигается при равновероятном появлении обеих букв алфавита. Если же вероятность р приближается к нулю или единице, энтропия источника становится весьма низкой, что говорит о малой информативности выбранного алфавита. Сообщение оказывается детерминированной последовательностью символов.

Рис. 7.27. Энтропия двоичного источника

  • 2. Энтропия равна нулю тогда и только тогда, когда вероятность одного из состояний равна единице. Это соответствует случаю, когда одно из состояний источника достоверно, а другие невозможны, т.е. отсутствует любая неопределенность.
  • 3. Энтропия максимальна, когда все символы источника сообщений равновероятны, а значит, р<= р2 = . = рт = 1 /т. Тогда приходим к формуле Хартли

Можно еще добавить уже отмечавшийся постулат: энтропия обладает свойством аддитивности, т.е. энтропии независимых систем можно складывать.

Дадим пояснения этим свойствам. Если ситуация при передаче информации полностью ясна, то никакой неопределенности нет и энтропия равна нулю. В частности, если ток в цепи равен 20 А, то он не может быть одновременно равным 10 А. На данном примере можно пояснить и другое свойство. Если одно из событий ожидается с очень малой вероятностью, например р, = 0,01, а другое с высокой, например р2 = 0,99, то неопределенность невелика, так как почти наверняка получим второе сообщение. Если события равновероятны и р <= р2 = 0,5, то уже нет уверенности, что будет получено какое-то из сообщений, т.е. неопределенность возрастает. Очевидно, что неопределенность возрастает, если вместо одного из двух сообщений может прийти одно из трех, четырех и более.

Теперь с помощью свойств 1—3 можно дать другое общепринятое определение энтропии. Энтропия — это средняя информативность источника на один символ, определяющая «непредсказуемость» выдаваемых им сообщений. Полностью детерминированный источник, вырабатывающий лишь одну, заранее известную последовательность символов, обладает нулевой информативностью. И наоборот, наиболее «хаотический» источник, выдающий взаимно независимые и равновероятные символы, обладает максимальной информативностью.

Для большей доступности понятия энтропии приведем известный пример с обезьяной, сидящей за клавиатурой компьютера. Если она обучена ударять по клавишам, однако не знает грамоты, то «обезьяний текст» окажется примером текста с взаимно независимыми и равновероятными символами. Поэтому он будет обладать наибольшей энтропией, превосходящей энтропию осмысленного текста на каком-либо языке.

Вычислим энтропию источника, который может выдавать четыре символа с равной вероятностью появления.

Используя формулу (7.26), получаем II(X) = log2m = log24 = 2 бит.

Ссылка на основную публикацию
Фото с листком для вк
Сигна в ВК – это просто фотография человека с листком бумаги, на котором обычно написано чье-то имя. Часто надписи делают...
Установка виндовс зависла на начало установки
Если вы решили переустановить или установить операционную систему, но начало установки Windows 7 зависает, то в этой статье, думаю, вы...
Установка драйвера принтера отказ
Нередки ситуации, когда не устанавливается принтер, хотя система видит, что к компьютеру подсоединилось новое оборудование. Решение такой задачи требует серьезного...
Фото спортивных мужчин 40 лет
17. Джерард Батлер, 48 лет (kinopoisk) «Законопослушный гражданин» Джерард Батлер когда-то работал официантом, демонстратором игрушек и даже юристом. Он также...
Adblock detector