Тема: Количество информации

Сообщения бывают очень большими, содержащими огромное количество информации . Компьютер создан для того, чтобы обрабатывать большие объемы информации . Определим, сколько информации несет один символ текста, набранного на компьютере.

...п равна рп и в сообщении он встречается Кп раз, естественно предположить, что количество информации в сообщении, связанное с этим знаком, равно (— K^logy^), a полное количество информации в сообщении должно определяться равенством (К.Шеннон)

Единица — бит — является основой исчисления информации в цифровой технике. Особое название имеет 4 бита — ниббл (полубайт, тетрада, четыре двоичных разряда), которые вмещают в себя количество информации , содержащейся в одной шестнадцатеричной цифре.

Если закодировать в коде Бодо русский 32-буквенный алфавит, то без учета корреляции между буквами количество информации . т.е. если в коде существует избыточность и , то объем в битах всегда больше количества информации в тех же единицах.

Количество информации в двух сообщениях может быть совершенно одинаковым, а смысл совершенно разным. Два слова, например «Мир» и «Рим», содержат одинаковое количество информации , состоят из одних и тех же букв, но смысл слов различен.

Количество информации в двух сообщениях может быть совершенно одинаковым, а смысл совершенно разным. Два слова, например «Мир» и «Рим», содержат одинаковое количество информации , состоят из одних и тех же букв, но смысл слов различен.

. Для такого источника можем определить среднее количество информации в сообщениях (энтропию). . Источник работает на интервале T и генерирует за это время количество информации . , скорость выдачи информации источником, если процесс эргодический.