Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия

Для передачи непрерывного сообщения с абсолютной точностью нужно было бы передать бесконечно большое количество информации, что, разумеется, невозможно сделать за конечное время, пользуясь каналом с конечной пропускной способностью. Точно так же непрерывное сообщение нельзя абсолютно точно запомнить (записать) при наличии сколь угодно слабой помехи.

Тем не менее, непрерывные сообщения (например, телевизионные, телефонные) успешно передаются по каналам связи и записываются. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного и записанного сообщения. А для передачи даже с самой высокой, но ограниченной точностью требуется конечное количество информации так же, как и при передаче дискретных сообщений. Это количество информации тем больше, чем выше точность, с которой требуется передать (воспроизвести) непрерывное сообщение. Пусть допустимая неточность измеряется некоторым малым параметром Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №1 - открытая онлайн библиотека . То минимальное количество информации, которое требуется передать по каналу связи для воспроизведения непрерывного сообщения с неточностью не более допустимой, академик А.Н.. Колмогоров предложил называть Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №1 - открытая онлайн библиотека -энтропией (эпсилон-энтропией)

Критерий Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №1 - открытая онлайн библиотека , определяющий требуемую точность, может быть различным. Будем называть два варианта сообщений, различающиеся не более, чем на Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №1 - открытая онлайн библиотека , эквивалентными. Это значит, что если послано одно сообщение, а принято другое, эквивалентное ему, то по данному критерию переданное сообщение считается принятым верно. Так, в системе телефонной связи, если необходимо передать лишь содержание речи, то один и тот же текст, разборчиво прочитанный двумя различными дикторами (например, мужчиной и женщиной), представляет собой эквивалентные сообщения, несмотря на то, что они резко различны даже по спектру. Критерием эквивалентности сообщений здесь является разборчивость речи. При художественных вещательных передачах такой критерий не является приемлемым, ибо в этих случаях существенны и более тонкие характеристики сообщения.

В дальнейшем удобнее будет оперировать не с передаваемым непрерывным сообщением А, а с первичным сигналом В и его реализациями b(t). Дело в том, что непрерывное сообщение А может и не быть функцией времени либо быть функцией нескольких аргументов (например, при телевизионном вещании). Первичный сигнал B(t) в современных системах связи всегда является функцией времени. В тех случаях, когда и сообщение является функцией времени (например, при телефонной связи), первичный сигнал B(t) точно повторяет функцию A(t) и отличается от сообщения только физической природой [например A(t) – звуковое давление, B(t) – ток]. Будем считать, что преобразование сообщения в первичный сигнал обратимо и точность воспроизведения B(t) предопределяет точность воспроизведения A(t). Поэтому в дальнейшем под сообщением будем понимать первичный сигнал В(t).

Обеспечение необходимой верности передачи является обязательным требованием к любой системе связи. При передаче дискретных сообщений верность передачи определяется вероятностью правильного приёма (или вероятностью ошибки). Такое определение верности можно распространить и на непрерывные сообщения если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будем понимать вероятность того, что принятое сообщение b(t) эквивалентно переданному b(t).Перейдём к количественному определению Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №1 - открытая онлайн библиотека -энтропии.

Минимальное количество информации, содержащееся в принятом сообщении Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №6 - открытая онлайн библиотека относительно переданного B(t), при котором они ещё эквивалентны, называется эпсилон-энтропией.

По определению

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №7 - открытая онлайн библиотека (2.40)

Рассмотрим наиболее простой случай, когда источник непрерывного сообщения (сигнала) гауссовский, то есть когда сообщение B(t) представляет собой стационарный гауссовский процесс с заданной мощностью Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №8 - открытая онлайн библиотека . Поскольку Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №9 - открытая онлайн библиотека , то условная дифференциальная энтропия Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №10 - открытая онлайн библиотека при заданном сообщении B) полностью определяется так называемым шумом воспроизведения Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №11 - открытая онлайн библиотека (t). Поэтому Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №12 - открытая онлайн библиотека . Если шум воспроизведения Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №11 - открытая онлайн библиотека (t) имеет фиксированную дисперсию Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №14 - открытая онлайн библиотека , то дифференциальная энтропия h( Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №15 - открытая онлайн библиотека ) имеет максимум при нормальном распределении

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №16 - открытая онлайн библиотека (2.41)

При заданной дисперсии сообщения Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №17 - открытая онлайн библиотека дифференциальная энтропия гауссовского источника h(B) равна Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №18 - открытая онлайн библиотека . Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчёт:

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №19 - открытая онлайн библиотека (2.42)

Величина Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №20 - открытая онлайн библиотека характеризует минимальное отношение сигнал-шум, при котором сообщения B(t) и Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №6 - открытая онлайн библиотека ещё эквивалентны. Это отношение обычно обозначают Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №22 - открытая онлайн библиотека .

Производительность непрерывных сообщений можно определить как количество информации, которое необходимо передать в единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности. Если источник выдает независимые отсчёты сообщения (сигнала) дискретно во времени со средней скоростью V, то его эпсилон-производительность:

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №23 - открытая онлайн библиотека (2.43)

Эпсилон-производительность называют так же скоростью создания информации при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №24 - открытая онлайн библиотека , согласно теореме Котельникова, шаг дискретизации Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №25 - открытая онлайн библиотека , то есть необходимое число отсчётов в секунду равно Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №26 - открытая онлайн библиотека . Если спектр сообщения в полосе Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №24 - открытая онлайн библиотека равномерен, то эти отсчёты некоррелированы, а для гауссовского источника и независимы. В этом случае:

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №28 - открытая онлайн библиотека (2.44)

Подставив (2.42) в (2.44), получим для гауссового источника с равномерным спектром в полосе

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №29 - открытая онлайн библиотека (2.45)

Из предыдущих рассуждений ясно, что производительность гауссовского источника квазибелого шума (2.45) больше производительности любого другого источника с той же мощностью и той же шириной спектра при том же допустимом шуме воспроизведения Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №30 - открытая онлайн библиотека , Количество информации, выдаваемое гауссовским источником за время Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №31 - открытая онлайн библиотека ,

Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №32 - открытая онлайн библиотека (2.46)

Выражение (2.46) совпадает с характеристикой, названной объёмом сигнала, если Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №33 - открытая онлайн библиотека . Это означает, что объём сигнала равен максимальному количеству информации, которая содержится в сигнале длительностью Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №34 - открытая онлайн библиотека .

Для канала с пропускной способностью С, на вход которого подключён источник, обладающий производительностью Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №35 - открытая онлайн библиотека , К. Шеннон доказал следующую теорему: если при заданном критерии эквивалентности сообщений источника Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №36 - открытая онлайн библиотека , его эпсилон-производительность меньше пропускной способности канала Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №37 - открытая онлайн библиотека , то существует способ кодирования и декодирования, при котором неточность воспроизведения сколь угодно близка к Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №38 - открытая онлайн библиотека . При Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия - №39 - открытая онлайн библиотека такого способа не существует.

Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом.