Формула Шеннона. Единицы количества информации: вероятностный и объемный подходы
Министерство образования и науки Российской Федерации
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
"Тихоокеанский государственный университет"
Кафедра "Экономическая кибернетика"
Специальность 080500.62 УБ "Бизнес-информатика"
Лабораторная работа №2
Формула шеннона. Единицы количества информации: вероятностный и объемный подходы
Выполнил: студент ФЭУ
Группы УБ(б)-31
года обучения
Проверил:
Матафонова А.Н.
Хабаровск 2013 г.
План
. Подсчитать количество информации, приходящейся на один символ, в тексте экономического содержания
. Подсчитать количество информации, приходящейся на один символ, в тексте технического содержания
. Подсчитать количество информации, приходящейся на один символ, в тексте исторического содержания
. Подсчитать количество информации, приходящейся на один символ, в тексте естественнонаучного содержания
. Подсчитать количество информации, приходящейся на один символ, в художественно-литературном тексте
1. Подсчитать количество информации, приходящейся на один символ, в тексте экономического содержания
Указание: составьте таблицу, аналогичную таблице 1, определив вероятность каждого символа в тексте как отношение количества одинаковых символов каждого значения ко всему числу символов в тексте. Затем по формуле Шеннона подсчитайте количество информации, приходящейся на один символ.
iСимволР(i)iСимволP(i)iСимволР(i)1Пробел0,11713М0,02426Точка0,0052О0,09514П0,02427Г0,0053Е0,08415Л0,02128Ж0,0054И0,06816К0,01629Ч0,0055Т0,06817У0,01630Х0,0026Н0,06518Я0,01631Ц0,0027Р0,06519Запятая0,01632Щ0.0028С0,06320Ф0,01333Тире0,0029В0,04321Ю0.01334Двоеточие0,00210А0,03822Ь0,01035Ё0,00011Ы0,03023Б0,00836Ш0,00012Д0,02424З0,00837Ъ0,00025Й0.00838Э0,000
Таблица расчетов к первому заданию в текстовом редакторе Excel
IР(i)log2PiPi*log2Pii10,117486339-3,095419565-0,36366954320,095628415-3,395928676-0,32474733530,084699454-3,573466862-0,30267073140,068306011-3,878321443-0,26491272550,068306011-3,878321443-0,26491272560,06557377-3,943416472-0,25858472470,06557377-3,943416472-0,25858472480,06284153-4,011587974-0,25209432390,043715847-4,53951953-0,198448916100,038251366-4,717856771-0,180464514110,030054645-5,058893689-0,152043311120,024590164-5,380821784-0,13231539130,024590164-5,380821784-0,13231539140,024590164-5,380821784-0,13231539150,021857923-5,573466862-0,12182448160,016393443-5,965784285-0,09779976170,016393443-5,965784285-0,09779976180,016393443-5,965784285-0,09779976190,016393443-5,965784285-0,09779976200,013661202-6,265344567-0,08559215210,013661202-6,265344567-0,08559215220,010928962-6,64385619-0,07261054230,008196721-6,965784285-0,05709663240,008196721-6,965784285-0,05709663250,008196721-6,965784285-0,05709663260,005464481-7,64385619-0,04176972270,005464481-7,64385619-0,04176972280,005464481-7,64385619-0,04176972290,005464481-7,64385619-0,04176972300,00273224-8,965784285-0,02449671310,00273224-8,965784285-0,02449671320,00273224-8,965784285-0,02449671330,00273224-8,965784285-0,02449671340,00273224-8,965784285-0,02449671∑1-205,0914626-4,4357491367
Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4357, Н ≈ 4,43 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 367, Н ≈ 8бит.
. Подсчитать количество информации, приходящейся на один символ, в тексте технического содержания
информация шеннон символ хартли
Общая технологическая схема изготовления сплавного транзистора напоминает схему изготовления диода, за исключением того, что в полупроводниковую пластинку производят вплавление двух навесок примесей с двух сторон. Вырезанные из монокристалла германия или кремния пластинки шлифуют и травят до необходимой толщины.
iСимволР(i)iСимволP(i)iСимволР(i)1Пробел0,11813П0,02825Й0,0062О0,09914Д0,02526Щ0,0063И0,08615К0,02527Запятая0,0064Н0,06716Я0,02528Точка0,0065А0,06017З0,02229Ф0,0036Е0,06018У0,02230Ш0,0037Т0,05419Г0,01931Ё0,0008Л0,04720Х0.01932Ж0.0009В0,04421Ч0,00933Ц0,00010С0,04122Ы0,00934Ъ0,00011Р0,03523Ю0,00935Ь0,00012М0,02824Б0.00636Э0,000
Таблица расчетов ко второму заданию в текстовом редакторе Excel
IР(i)log2PiPi*log2Pii10,11821086-3,0831412-0,36446083720,09904153-3,3364277-0,33044493130,08626198-3,5395195-0,3053262740,06709265-3,8996951-0,26164092150,06070288-4,0588937-0,24638651960,06070288-4,0588937-0,24638651970,0543131-4,2108968-0,22870691780,04792332-4,4111954-0,21139911590,04472843-4,5063527-0,201562114100,04153355-4,6082323-0,191396213110,03514377-4,8365013-0,169972911120,02875399-5,1584294-0,14832549130,02875399-5,1584294-0,14832549140,02555911-5,3219281-0,13602378150,02555911-5,3219281-0,13602378160,02555911-5,3219281-0,13602378170,02236422-5,5063527-0,12314537180,02236422-5,5063527-0,12314537190,01916933-5,7178568-0,10960756200,01916933-5,7178568-0,10960756210,00958466-6,7958593-0,0651363220,00958466-6,7958593-0,0651363230,00958466-6,7958593-0,0651363240,00638978-7,3808218-0,04716182250,00638978-7,3808218-0,04716182260,00638978-7,3808218-0,04716182270,00638978-7,3808218-0,04716182280,00638978-7,3808218-0,04716182290,00319489-8,3808218-0,02677581300,00319489-8,3808218-0,02677581∑1-167,95804-4,4034034313
Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4034, Н ≈ 4,40 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 313, Н ≈ 8бит.
3. Подсчитать количество информации, приходящейся на один символ, в тексте исторического содержания
С конца пятнадцатого столетия в судьбах Восточной Европы совершается переворот глубокого исторического значения. На сцену истории Европы выступает новая крупная политическая сила - Московское государство. Объединив под своей властью всю северо-восточную Русь, Москва напряженно работает над закреплением добытых политических результатов и во внутренних, и во внешних отношениях.
iСимволР(i)iСимволP(i)iСимволР(i)1Пробел0,12113У0,02625Ц0,0072О0,11114Я0,02326Ш0,0073Е0,07115Л0,02127Ю0,0074С0,06616Д0,01828Точка0,0075Н0,06017Х0,01529Й0,0056Т0,06018Ч0,01530Тире0,0057В0,05819Б0,01331Запятая0,0058А0,05520Г0.01332Ж0,0029И0,05521Ы0,01333Ъ0.00210Р0,04222Ь0,01034Ё0,00011П0,02923З0,00735Ф0,00012К0,02624М0.00736Щ0,00037Э0,000
Таблица расчетов к третьему заданию в текстовом редакторе Excel
IР(i)log2PiPi*log2Pii10,12169312-3,046921-0,37078934620,11111111-3,1713684-0,35237434230,07142857-3,8160372-0,27257412740,06613757-3,9213902-0,25935122550,06084656-4,0588937-0,24696972360,06084656-4,0588937-0,24696972370,05820106-4,1078033-0,23907852280,05555556-4,1844246-0,2324682190,05555556-4,1844246-0,23246821100,04232804-4,5734669-0,193585916110,02910053-5,1078033-0,148639811120,02645503-5,2653446-0,139294810130,02645503-5,2653446-0,139294810140,02380952-5,4422223-0,12957679150,02116402-5,5734669-0,1179578160,01851852-5,7958593-0,10733077170,01587302-6,0588937-0,09617296180,01587302-6,0588937-0,09617296190,01322751-6,2653446-0,08287495200,01322751-6,2653446-0,08287495210,01322751-6,2653446-0,08287495220,01058201-6,6438562-0,07030544230,00793651-7,1584294-0,05681293240,00793651-7,1584294-0,05681293250,00793651-7,1584294-0,05681293260,00793651-7,1584294-0,05681293270,00793651-7,1584294-0,05681293280,00793651-7,1584294-0,05681293290,00529101-7,6438562-0,04044372300,00529101-7,6438562-0,04044372310,00529101-7,6438562-0,04044372320,0026455-8,9657843-0,0237191330,0026455-8,9657843-0,0237191∑1-192,94505-4,4496453378
Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4496, Н ≈ 4,44 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 378, Н ≈ 8бит.
4. Подсчитать количество информации, приходящейся на один символ, в тексте естественнонаучного содержания
Новые данные о физиологической потребности организма человека в пищевых веществах и энергии, а также выяснение закономерностей ассимиляции пищи в условиях нарушенного болезнью обмена веществ на всех этапах метаболического конвейера позволили максимально сбалансировать химический состав диет и их энергетическую ценность.
Таблица расчетов к четвертому заданию в текстовом редакторе Excel
IР(i)log2PiPi*log2Pii10,11838006-3,0831412-0,36498253820,09657321-3,3808218-0,32649683130,09034268-3,4739312-0,31384432940,08411215-3,5734669-0,3005722750,06853583-3,8783214-0,2658042260,06853583-3,8783214-0,2658042270,05919003-4,0831412-0,24168131980,04984424-4,3510744-0,2168761690,04049844-4,6438562-0,188068913100,03115265-5,011588-0,156124210110,02803738-5,1584294-0,14462899120,02492212-5,3808218-0,13410158130,02492212-5,3808218-0,13410158140,02180685-5,5734669-0,12153987150,01869159-5,7958593-0,10833386160,01557632-6,0588937-0,09437535170,01557632-6,0588937-0,09437535180,01557632-6,0588937-0,09437535190,01557632-6,0588937-0,09437535200,01246106-6,3808218-0,07951184210,01246106-6,3808218-0,07951184220,01246106-6,3808218-0,07951184230,01246106-6,3808218-0,07951184240,00934579-6,7958593-0,06351273250,00934579-6,7958593-0,06351273260,00934579-6,7958593-0,06351273270,00623053-7,3808218-0,04598642280,00623053-7,3808218-0,04598642290,00623053-7,3808218-0,04598642300,00311526-8,3808218-0,02610851310,00311526-8,3808218-0,02610851320,00311526-8,3808218-0,02610851330,00311526-8,3808218-0,02610851340,00311526-8,3808218-0,02610851∑1-200,84008-4,4375474321
Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.4375, Н ≈ 4,43 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 321, Н ≈ 8бит.
5. Подсчитать количество информации, приходящейся на один символ, в художественно-литературном тексте
С любопытством стал я рассматривать сборище. Пугачев на первом месте сидел, облокотясь на стол и подпирая черную бороду своим широким кулаком. Черты лица его, правильные и довольно приятные, не изъявляли ничего свирепого. Все обходились между собою как товарищи и не оказывали никакого особенного предпочтения своему предводителю.
iСимволР(i)iСимволP(i)iСимволР(i)1Пробел0,14213Д0,02725Запятая0,0092О0,11114К0,02726З0.0063И0,07715М0,02727Щ0,0064Е0,07116Б0,02128Ш0,0035С0,05217Я0,02129Ж0,0036А0,04918Г0,01830Х0,0037Р0,04619У0,01831Ц0,0038В0,04320Ч0.01532Ъ0,0009Л0,04321Ы0,01533Ё0.00010Н0,04022Ь0,01534Й0,00011Т0,04023Ю0,01235Ф0,00012П0,03424Точка0,01236Э0,000
Таблица расчетов к пятому заданию в текстовом редакторе Excel
IР(i)log2PiPi*log2Pii10,13636364-2,8783214-0,39249844520,10909091-6,5195281-0,71122123630,07575758-3,7369656-0,28310352540,06969697-3,8572598-0,26883932350,05151515-4,2933589-0,2211731760,04848485-4,3808218-0,21240351670,04545455-4,4739312-0,20336051580,04242424-4,5734669-0,19402591490,04242424-4,5734669-0,194025914100,03939394-4,6803821-0,184378713110,03939394-4,6803821-0,184378713120,03333333-4,9213902-0,164046311130,03030303-5,0588937-0,153299810140,02727273-5,2108968-0,14211549150,02727273-5,2108968-0,14211549160,02121212-5,5734669-0,11822517170,02121212-5,5734669-0,11822517180,01818182-5,7958593-0,10537936190,01818182-5,7958593-0,10537936200,01515152-6,0588937-0,09180145210,01515152-6,0588937-0,09180145220,01515152-6,0588937-0,09180145230,01212121-6,3808218-0,07734334240,01212121-6,3808218-0,07734334250,00909091-6,7958593-0,06178053260,00606061-7,3808218-0,04473232270,00606061-7,3808218-0,04473232280,0030303-8,3808218-0,02539641290,0030303-8,3808218-0,02539641300,0030303-8,3808218-0,02539641310,0030303-8,3808218-0,02539641∑1-177,80773-4,7811157330
Количество информации согласно формуле Шеннона, приходящейся на один символ, в данном тексте H=4.7811, Н ≈ 4,78 бита. Максимальное количество информации, которое могло бы приходиться на один знак в данном тексте, вычисляемое по формуле Хартли, H=log2 330, Н ≈ 8бит.