Библиотека Рефераты Курсовые Дипломы Поиск
Библиотека Рефераты Курсовые Дипломы Поиск
сделать стартовой добавить в избранное
Кефирный гриб на сайте za4eti.ru

Математика Математика

Теория информации

Карабин, 6x60 мм.
Размеры: 6x60 мм. Материал: металл. Упаковка: блистер.
44 руб
Раздел: Карабины для ошейников и поводков
Ручка "Помада".
Шариковая ручка в виде тюбика помады. Расцветка корпуса в ассортименте, без возможности выбора!
25 руб
Раздел: Оригинальные ручки
Чашка "Неваляшка".
Ваши дети во время приёма пищи вечно проливают что-то на ковёр и пол, пачкают руки, а Вы потом тратите уйму времени на выведение пятен с
222 руб
Раздел: Тарелки

Ученица 10 А класса ГОУ РМЭ ЦО № 18 Коробкова Анна г. Йошкар-Ола, 2004 1) Введение. Понятие энтропии. 2) Понятие информации. 3) Решение некоторых типовых задач. 4) Заключение 5) Список использованной литературы. Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределённость при выполнении связанных с этими событиями опытов. Однако совершенно ясно, что степень этой неопределённости в различных случаях будет совершенно разной. Возникновение математической теории информации стало возможным после того, как было осознанно, что количество информации можно задать числом. Для практики очень важно уметь численно оценивать степень неопределённости самых разнообразных опытов. Начнём с рассмотрения опытов, имеющих к равновероятных исходов. Очевидно, что степень неопределённости каждого такого опыта определяется числом к: если при к=1 исход опыта вообще не является случайным, то при большом к предсказать исход опыта очень и очень сложно. Таким образом, искомая численная степень неопределённости должна являться функцией числа к, при к =1 обращаться в нуль и возрастать при возрастании числа к. Теперь рассмотрим два независимых опыта А и В. Пусть опыт А имеет к равновероятных исходов, а опыт В – равновероятных исходов. Очевидно, что степень неопределённости двойного опыта АВ равна сумме степеней неопределённости опытов А и В. А так как опыт АВ имеет ks равновероятных исходов, приходим к следующему условию, которому должна удовлетворять наша функция f(k): f(ks)=f(k) f(s). Это условие наталкивает на мысль принять за меру неопределённости опыта, имеющего к равновероятных исходов, число log k, так как логарифмическая функция – единственная, удовлетворяющая всем вышеперечисленным условиям. Заметим, что выбор основания системы логарифмов здесь несуществен, так как в силу известной формулы logak переход от одной системы логарифмов к другой сводится лишь к простому изменению единицы измерения степени неопределённости. Как правило, используются логарифмы при основании 2. Такая единица измерения называется двоичной единицей или битом. Общая неопределённость опыта, имеющего к исходов, равна сумме неопределённостей, вносимых каждым исходом. Это число называют энтропией опыта А, будем его обозначать через Н(А). Рассмотрим некоторые свойства энтропии. Прежде всего, она не может принимать отрицательные значения: т.к. всегда 0 ? p(A) ? 1, то log p(A) не может быть положительным, а – p(A) log p(A) – отрицательным (р(А) – вероятность получения исхода А в опыте). Также заметим, что если р очень мало, то и произведение – p(A) log p(A) тоже будет весьма малым, хотя и положительным, т.е. при р произведение – p log p неограниченно убывает. Энтропия опыта равна нулю, когда один из его исходов имеют степень вероятности 1, а остальные – степень вероятности 0. Наибольшую энтропию имеет опыт с равновероятными исходами. Пусть какое-либо измерение или наблюдение Б, предшествующее опыту А, может ограничить количество возможных исходов опыта А и тем самым уменьшить степень его неопределённости. Для того, чтобы результат Б сказался на последующем опыте А, нужно, чтобы его результат не был известен заранее; поэтому Б можно рассматривать как вспомогательный, также имеющий несколько допустимых исходов.

При этом, если опыт А не зависит от опыта Б, то осуществление Б не уменьшает энтропии А; если же наоборот результат Б полностью предопределяет исход А, то энтропия А уменьшается до 0. Таким образом, разность I(A,Б)= H(A) – Hб(A) указывает, насколько осуществление опыта Б уменьшает неопределённость А. Эту разность называют количеством информации относительно опыта А, содержащемся в опыте Б, или, короче, информацией о А, содержащейся в Б. Таким образом, мы получаем возможность численного изменения информации. Часто может случиться, что, желая узнать исход какого-либо опыта А, мы можем с этой целью по-разному выбирать опыты Б. В этом случае всегда рекомендуется начинать с того опыта Б0, который содержит наибольшую информацию относительно А, так как при другом опыте Б мы вероятно добьемся менее значительного уменьшения степени неопределённости А. Реально же, конечно, может получиться и наоборот. Также необходимо заметить, хотя это и не относится к той части теории, которая пригодится нам для решения задач, что информация имеет ярко выраженный материальный характер — то есть она может передаваться только с помощью вещества или энергии. . Пусть известно, что житель некоторого города А всегда говорят правду, а жители соседнего города Б всегда обманывают. Наблюдатель Н. знает, что он находится в одном из этих двух городов, но не знает, в каком именно. Путём опроса встречного ему требуется определить, в каком городе он находится, или в каком городе живёт его собеседник (жители А могут заходить в Б и наоборот), или то и другое вместе. Спрашивается, каково наименьшее число вопросов, которые должен задать Н. (на все вопросы встречные отвечают лишь да или нет)? Пусть Н. надо определить, в каком городе он находится. Здесь опыт А может иметь 2 равновероятных исхода. Энтропия Н(А) опыта А равна одному биту. Далее, опыт Б в составе одного вопроса, также может иметь два исхода, поэтому энтропия Н(Б) самое большее равна одному биту. Следовательно, можно надеяться, что при удачно поставленном вопросе Б будет иметь место равенство I(Б,А) = Н(А) Для этого только необходимо, чтобы оба ответа на вопрос Б были равновероятны, и исход Б полностью определял результат А. Всем этим условиям удовлетворяет вопрос «Живёте ли вы в этом городе?» (положительный ответ может быть дан только в городе А, а отрицательный – в Б). Ещё проще узнать, в каком городе живёт его собеседник – для этого достаточно задать какой-нибудь вопрос, ответ на который Н. знает заранее (например, равно ли дважды два четырём?). Если же Н. должен узнать ответы на оба вопроса, ему предстоит определить исход сложного опыта А1А2. В этом случае он нуждается в информации, большей 1 бита. Таким образом, оценки количества информации дают нам строгое доказательство того, что за один вопрос выяснить, где находится Н. и откуда родом отвечающий. Для этого нужно как минимум 2 вопроса. . Сколько вопросов надо задать, чтобы отгадать задуманное число, не превосходящее 10, если спрашиваемый отвечает на вопросы лишь «да» и «нет»? Опыт А, состоящий в выяснении задуманного числа, может иметь 10 различных исходов.

До ответа на первый вопрос все эти исходы можно считать равновероятными, так что энтропия Н(А) опыта А равна log 10 3,32 бита. Рассмотрим сложный опыт Бк = б1б2б3 бк, заключающийся в том, что спрашивающий задаёт к вопросов. Для того чтобы исход опыта Бк полностью определял исход А, необходимо, чтобы имело место равенство I (Бк, А) = Н (А). Отсюда: log 10 = Н (А) = I (Бк, А) 3,32 или, так как к - целое число, к 4. Теперь рассмотрим, какие вопросы выгоднее всего задавать. Во-первых, нужно, чтобы энтропия была возможно большей (то есть действительно равнялась одному биту), а значит оба варианта ответа должны быть равновероятны. Далее нужно, чтобы информация I(б1, А) относительно А, заключённая в б1, равнялась энтропии Н (б1) опыта б1, а не была бы меньше этой величины. Для этого надо, чтобы ответ на первый вопрос не содержал «посторонней» информации, то есть чтобы условная энтропия На (б1) равнялась нулю. Эти условия достаточно ясно указывают на то, как нужно поставить первый вопрос. Разобьём множество всех возможных значений нашей переменной (то есть множество целых положительных чисел от 1 до 10) на две равные по численности группы (так как исходы опыта б1 должны быть равновероятны) и спросим, относится ли задуманное число к одной или другой из них (например, больше ли оно пяти). Далее нужно разбивать оставшееся множество чисел на две возможно близкие по численности части, и тогда мы определим задуманное число с помощью четырёх вопросов. Нужно сказать, что с помощью тех же четырёх вопросов мы угадаем не только одно из 10 задуманных чисел, но даже одно из 16, так как после того как уже выяснено, что число имеет одно из Х значений, где Х нечётно, невозможно добиться строгой равновероятности исходов последующего опыта, следовательно, энтропия этого опыта будет меньше 1. Это означает, что наш опыт не особенно выгоден с точки зрения полученной информации, то есть что с помощью того же числа вопросов можно найти загаданное число, имеющее не одно из 10, а одно из 24 = 16 возможных значений. Вообще, наименьшее число k вопросов, позволяющее найти заданное число Х, имеющее одно из допустимых значений, определяется неравенствами k – 1< log ? k или 2k - 1 < ? 2k. Также можно заметить, что независимо от значения k ? log ; при этом k = log только в том случае, когда число является целой степенью числа 2. . Имеется 25 монет одного достоинства; 24 из них имеют одинаковый вес, а одна – фальшивая – несколько легче остальных. Спрашивается, сколькими взвешиваниями на чашечных весах без гирь можно обнаружить эту фальшивую монету. Опыт А, результат которого требуется определить, имеет в этом случае 25 возможных исходов, значит, так как эти исходы равновероятны, Н(Б) = log 25. Опыт б1, состоящий в одном взвешивании, может иметь 3 исхода (либо перевесит левая чашка, либо правая, либо веса останутся в равновесии); поэтому Н (б1) = log 3 и информация I(б1, А), получаемая при проведении такого опыта, не превосходит log 3. Рассмотрим теперь сложный опыт Бк = б1б2 бк, заключающийся в k последовательных взвешиваниях; он даёт информацию, не превосходящую k log 3.

Аналогичные прорывы произошли и во многих других дисциплинах. Теория информации и теория систем, концепция морфоге-нетических полей Руперта Шелдрейка, холономная философия Дэвида Бома и Карла Прибрама, исследования диссипативных структур Ильи Пригожина, теория хаоса и объединенная интерактивная динамика Эрвина Ласло - вот лишь немногие яркие примеры таких новых разработок. Новые теории обнаруживают растущее сближение с мистическим мировоззрением и с данными трансперсональной психологии. Они также помогают заново постичь древнюю мудрость, которую материалистическая наука отвергала и высмеивала. Сокращение разрыва между мировоззрением точных наук и трансперсональной психологии - явление, несомненно, поразительное и вдохновляющее. Однако психологи, психиатры и исследователи сознания совершили бы серьезную ошибку, если бы взамен старых теорий отдали свое концептуальное мышление под контроль новых теорий физики. Как я уже говорил, каждая дисциплина должна базировать свои теоретические построения на наблюдениях в своей собственной области

1. Альтернативні концепції теорії макроекономічного регулювання економіки: теорія і практика

2. Энтропия. Теория информации

3. Теория распределения информации

4. Теория распределения информации

5. Основы теории информации (расчеты)

6. Математическая теория информации
7. Теория и методология защиты информации в адвокатской конторе
8. Теория информации. Статистический подход

9. Теория развития Вселенной

10. Динозавры. Факты и теории

11. Эволюционная теория Чарльза Дарвина

12. Химия наследственности. Нуклеиновые кислоты. ДНК. РНК. Репликация ДНК и передача наследственной информации

13. Теория Дарвина

14. Антропогенез: эволюционная теория происхождения человека

15. Объем и характеристики исходной информации для составления проектов разработки нефтяных и газовых месторождений (контрольная)

16. Налоги: типы, эволюция. Теория налогообложения

Контейнер "Клиер", 15 литров.
Контейнер "Клиер". Материал: пластик. Объем: 15 литров. Длина: 42 см. Ширина: 28 см. Высота: 20 см.
374 руб
Раздел: Штучно
24 восковых мелка для малышей, в бочонке.
Оптимальным выбором карандашей для самых маленьких станет набор из 24 восковых мелков, предназначенных специально для малышей от 1 года.
484 руб
Раздел: Восковые
Фоторамка "Poster blue" (40х60 см).
Рамка настенная может располагаться как вертикально, так и горизонтально. Для фотографий размером: 40х60 см. Материал: пластик.
681 руб
Раздел: Размер 40x60 (А2)

17. Иск в гражданском процессе: теория и практика

18. Теория этногенеза Л.Н.Гумилева

19. Теория элит В.Парето

20. Шпаргалка по теории и истории кооперативного движения

21. Особенности квалификации преступлений в сфере компьютерной информации

22. Лекции (часть) по теории государства и права
23. Теория разделения властей
24. Договорная теория возникновения государства и права

25. Теория государства и права

26. Теория государства и права

27. Теория государства и права (Шпаргалка)

28. Теория Государства и Права как юридическая наука

29. Теория юридических фактов

30. Шпаргалка по теории государства и права

31. Теория государства и права. Правовой статус личности

32. Ответы к экзаменационным билетам по Теории государства и права

Развивающая игрушка "Паровозик" со звуком.
Развивающая игрушка "Паровозик" подарит малышу много часов увлекательной игры! Игрушка воспроизводит 4 очень реалистичных звука
380 руб
Раздел: Автобусы, паровозики, машинки
Потолочная сушилка "Лиана", 1,6 м.
Сушилка может использоваться в ванной комнате, лоджии или на балконе. Сушилка изготовлена из прочных, экологически чистых
586 руб
Раздел: Сушилки потолочные
Набор цветных карандашей "Ergosoft", треугольные, 12 цветов.
Набор цветных карандашей. 12 цветов. Упаковка – картон.
556 руб
Раздел: 7-12 цветов

33. Происхождение права, теории происхождения права, понятие признаки, виды, функции, принципы

34. Теория государства и права (в таблицах)

35. Теория государства и права

36. Теория государства иправа. Проблемно-тематический курс

37. Теория книговедения в работах М.Щелкунова

38. Культурология и теория цивилизаций
39. Теория языкознания
40. Проблемы теории культуры в отечественной философии (А. Ф. Лосев, М. К. Мамардашвили)

41. Особенности речи в средствах массовой информации

42. Теория лингвистической относительности Сепира - Уорфа

43. Теория Якобинской диктатуры

44. Protection of Information (Защита Информации)

45. Назначение и характер аппаратных средств защиты информации

46. Защита информации в Интернет

47. Защита информации: цифровая подпись

48. Технологии поиска документальной информации в INTERNET

Автокресло Еду-Еду "KS-516 Lux" с вкладышем (цвет: синий, принт: графити, 9-36 кг).
Для всех родителей очень важно обеспечить безопасность и комфорт во время поездки своему ребенку. В этом нам поможет детское автокресло
3873 руб
Раздел: Группа 1/2/3 (9-36 кг)
Патронташ со стопками.
Охотнику, туристу, болельщику и просто любителю спонтанных праздников это изобретение может весьма пригодиться. Набор удобных пластиковых
554 руб
Раздел: Прочее
Чудо-пеленка для мальчика "Bambola".
Пеленка на липучках создана, чтобы обеспечить спокойный сон малышу. Благодаря липучкам, которые удерживают и не позволяют ребенку
340 руб
Раздел: Пелёнки

49. Межкультурная коммуникация в электронной среде и поиск информации в сети Интернет

50. Использование линий электропроводки в качестве среды передачи информации

51. Защита информации компьютерных сетей

52. Защита информации в глобальной сети

53. Теория и практика производства накопителей на гибких магнитных дисках

54. Устройства ввода информации в ПК
55. Внешние устройства ПК. Функциональные возможности. Основные характеристики. Обмен информацией
56. Магнитные носители информации. Запись информации на магнитные носители

57. Организация обмена информацией между микроконтроллером семейства MCS-51 фирмы Intel и персональным компьютером

58. Передача информации из ультразвуковой медицинской диагностической установки ALOCA SSD650

59. Устройства хранения информации

60. Вывод информации

61. Информация, информатика, базы данных. Периферийные устройства

62. Данные и информация

63. Теория системного управления

64. Защита информации от несанкционированного доступа методом криптопреобразования /ГОСТ/

Комплект чехлов "Карапуз" для колясок с поворотными колесами.
Чехлы для колясок с поворотными колесами. Изготовлены из водонепроницаемой ткани. Диаметр передних поворотных колес 25 см, задних 32 см.
323 руб
Раздел: Чехлы для колес
Набор детской посуды "Тачки. Дисней", 3 предмета.
Детский набор посуды "Тачки" сочетает в себе изысканный дизайн с максимальной функциональностью. Предметы набора выполнены из
447 руб
Раздел: Наборы для кормления
Доска магнитно-маркерная, А3, 342x484 мм.
Размер: 342x484 мм. Белое лаковое покрытие. Материал рамки: МДФ. Размер внутри рамки: 302х444 мм. Для формата А3. В комплекте: магниты и
405 руб
Раздел: Доски магнитно-маркерные

65. Автоматизированная обработка информации (Шпаргалка)

66. Теория Операционных Систем

67. Теория многозадачности и многопоточности

68. Лабораторные работы по теории и технологии информационных процессов

69. Автоматизированная система обработки экономической информации. Городская налоговая инспекция

70. Защита информации в ПЭВМ. Шифр Плейфера
71. Лекции по теории проектирования баз данных (БД)
72. Информация и личная безопасность

73. Защита цифровой информации методами стеганографии

74. Операционная система MS DOS. Основные принципы хранения информации на магнитных дисках в MS DOS. Файловая система MS DOS

75. Использование полей и закладок для редактирования и обработки информации в документах Word

76. Анализ криптостойкости методов защиты информации в операционных системах Microsoft Window 9x

77. Парольные методы защиты информации в компьютерных системах от несанкционированного доступа

78. Теории управления

79. Терминология теории систем. Классификация систем. Закономерности систем

80. Лабораторная работа №7 по "Основам теории систем" (Решение задачи коммивояжера методом ветвей и границ)

Швабра отжимная "Хозяюшка Мила", KF-08.
Отжимные швабры с PVA насадками подходят для влажной уборки и мытья полов из любых материалов: ламинат, паркет, линолеум, керамическая
371 руб
Раздел: Швабры и наборы
Коврик придверный, разноцветный (40x60 см).
Коврик придверный. Основа: резина. Размеры: 400x600 мм.
328 руб
Раздел: Коврики придверные
Игра-баланс "Лягушонок".
Это развивающая и увлекательная игра-баланс для детей в возрасте от 3-х лет. Такие игрушки развивают у детей мелкую моторику рук,
345 руб
Раздел: Игры на ловкость

81. Лабораторная работа №4 по "Основам теории систем" (Послеоптимизационный анализ задач линейного программирования)

82. Лабораторная работа №2 по "Основам теории систем" (Решение задач линейного программирования симплекс-методом. Варианты разрешимости задач линейного программирования)

83. Терминология теории систем (автоматизированные и автоматические системы)

84. Математичекие основы теории систем: анализ сигнального графа и синтез комбинационных схем

85. Информационный процесс. Обработка информации

86. Теория устойчивости
87. Теория вероятностей и случайных процессов
88. Теория игр и принятие решений

89. Теория графов и её применение

90. Метод последовательных уступок (Теория принятия решений)

91. Теория графов. Задача коммивояжера

92. Шпоры по теории вероятности

93. Теория неявных функций и ее приложения

94. Продвинутые методы Ганемана. LМ-потенции: теория и практика

95. Теория криминологии

96. Правовое положение Федерального агентства правительственной связи и информации при Президенте РФ

Настольная игра "Хоккей".
Материал шайб: пластик. Материал игроков: пластик, металл. Количество шайб: 2. Диаметр шайбы: 24 мм. Высота игроков: 70 мм. Размер
1727 руб
Раздел: Настольный футбол, хоккей
Щетка-сметка для снега со скребком и водосгоном, телескопическая, поворотная голова.
Телескопическая усиленная рукоятка из алюминиевого с функцией установки фиксированной длины. Поворотная голова с фиксацией в 5 положениях
1010 руб
Раздел: Автомобильные щетки, скребки
Магнитная "Азбука" (106 элементов).
Мягкая магнитная "Азбука" - это набор наиболее употребляемых букв, цифр и знаков. Благодаря этому набору Вы не только
939 руб
Раздел: Буквы на магнитах

97. Защита информации по виброакустическому каналу утечки информации

98. Преступления в сфере компьютерной информации

99. Проблема существования человечества в свете теории Вернадского о ноосфере

100. Современные теории получения экологически чистой энергии


Поиск Рефератов на сайте za4eti.ru Вы студент, и у Вас нет времени на выполнение письменных работ (рефератов, курсовых и дипломов)? Мы сможем Вам в этом помочь. Возможно, Вам подойдет что-то из ПЕРЕЧНЯ ПРЕДМЕТОВ И ДИСЦИПЛИН, ПО КОТОРЫМ ВЫПОЛНЯЮТСЯ РЕФЕРАТЫ, КУРСОВЫЕ И ДИПЛОМНЫЕ РАБОТЫ. 
Вы можете поискать нужную Вам работу в КОЛЛЕКЦИИ ГОТОВЫХ РЕФЕРАТОВ, КУРСОВЫХ И ДИПЛОМНЫХ РАБОТ, выполненных преподавателями московских ВУЗов за период более чем 10-летней работы. Эти работы Вы можете бесплатно СКАЧАТЬ.