Пример логического закона — это принцип транзитивности: если А предполагает В, а В предполагает С, то А предполагает С. Однако в логике нет места неопределенности: А либо истинно, либо ложно, но оно не может быть истинным частично. Программа искусственного интеллекта должна уметь управлять неопределенностью, а для этого ей нужно адаптировать законы логики к вероятности. Например, у А может быть только одна вероятность быть истинным. Кроме того, А может предполагать В только иногда, и то же самое может происходить с С. Тогда мы получим, например, такую логическую цепочку: если А обычно предполагает В, а В иногда предполагает С, то А иногда предполагает С. Этот тип вероятностных систем может быть описан с помощью статистических сумм, похожих на те, что мы вывели для газов.
И вновь идея, рожденная в лоне физики, была адаптирована математиками и использована для функций, очень мало связанных с исходным предназначением. Для решения практической задачи был найден математический инструмент, который, оказывается, может служить гораздо более широким целям, чем предполагалось вначале.
В следующей главе будет рассмотрен потрясающей пример этого явления: как понятие энтропии, изначально введенное для изучения работы паровой машины, стало использоваться для разработки математической теории информации.
Глава 4
Информация и хаос
Изучение газовой динамики началось не с теории атома, а развивалось независимо в течение нескольких десятилетий, пока Больцману не удалось соединить механику, изучавшую движение частиц, с термодинамикой, которая занимается такими явлениями, как тепло и температура.
До этих пор законы, управлявшие газами, открывались эмпирически. Например, было известно, что давление газа в сосуде увеличивается с ростом температуры. Было также известно о соответствии между теплом и энергией: можно увеличить температуру жидкости, поставив ее на огонь или даже просто помешивая жидкость палочкой. Значит, тепло — это другая форма энергии.
Связь между теплом и энергией сделала возможным появление двигателей, то есть машин, которые превращают тепло в энергию механически с помощью расширения и сжатия газов. В автомобиле бензин сжигается, чтобы привести машину в движение. Энергия, хранящаяся в топливе, превращается в кинетическую энергию автомобиля. Вскоре было открыто, что превращение тепла в механическую энергию несовершенно, потому что всегда связано с потерями энергии. В целом при трансформации энергии одного типа в энергию другого типа в итоге получается немного меньше полезной энергии, чем в начале процесса. Это довольно нежелательная ситуация, поскольку двигатель, теряющий часть энергии, требует больше топлива, а топливо дорогое, так что инженеры искали способ создания более эффективных двигателей с нулевыми потерями энергии. Но эта цель так и не была достигнута.
* * *
ЦИКЛ КАРНО
Первая формулировка второго закона термодинамики принадлежит Николя Леонару Сади Карно (1796–1832) — французскому инженеру, который занимался изучением эффективности паровых машин. Карно сосредоточился на идеальной машине, или машине Карно, в которой источник тепла нагревает газ, газ расширяется и выполняет работу, чтобы затем снова сжаться при контакте с источником холода.
Карно открыл, что эффективность его машины ограничена разницей температур, создаваемых этими двумя источниками; он доказал также, что его идеальная машина — наиболее эффективная из возможных, но на практике любая машина будет менее эффективной. Это стало первой формулировкой второго принципа термодинамики, что в итоге привело к появлению понятия энтропии.
* * *
Однако в этих поисках родилось понятие энтропии. Физики того времени осознали, что в любом процессе во Вселенной энергия стремится распределиться таким образом, что всегда в итоге оказывается меньше полезной энергии, чем было вначале. Энтропия системы — это мера рассеивания ее энергии. Поскольку энергия стремится рассеиваться, как мы заметили в примере с двигателями, можно предположить, что энтропия в любом процессе стремится расти. Так родился второй закон термодинамикиf который гласит: суммарная энтропия изолированной системы будет увеличиваться.
Второй закон термодинамики нельзя было вывести из более фундаментальных принципов. Казалось, что само его существование противоречит законам Ньютона, которые не имеют направленности во времени и справедливы как по отношению к будущему, так и по отношению к настоящему. Иными словами, законы Ньютона воздействуют на такие системы, словно бильярдные шары на поле, и невозможно увидеть запись их столкновения на повторном просмотре. Однако второй закон термодинамики показывает разницу между прошлым и будущим: будущее — это то направление, в котором растет энтропия.
В дальнейшем будет видно, как развивалось понятие энтропии, которая перестала быть инструментом изучения газа и превратилась в один из столпов математической теории информации, а затем была применена к еще более фундаментальным проблемам.
Энтропия и вероятность
В предыдущей главе мы видели, что газ стремится к макросостоянию, для которого характерно наибольшее число микросостояний, совместимых с ним. Это дает нам много информации о макроскопическом состоянии газа. Предположим, что у системы есть три различных возможных макросостояния, из которых у первого — два микросостояния, совместимых с ним, у второго — четыре, а у третьего — 300 тысяч миллионов. Если мы наблюдаем систему в случайно выбранный момент, существует огромная вероятность того, что мы наблюдаем ее в третьем макросостоянии, просто потому что оно имеет намного больше возможностей для возникновения. Можно сказать, что вероятность третьего макросостояния намного больше, чем двух других.
Если мы посчитаем общее число микросостояний, получится:
N = 2 + 4 + 300 000 000 000 = 300 000 000 006.
Вероятность первого состояния равна числу микросостояний (2), разделенному на общее число возможных микросостояний, то есть:
Между тем вероятность третьего равна:
Позже мы увидим, как наиболее вероятные состояния соответствуют более высокой энтропии.
Теперь предположим, что у нас есть газ в коробке, и, используя поршень, мы заставляем все молекулы разместиться в ее верхнем углу, как показано на рисунке.
Если мы уберем поршень, как поведет себя газ? Куда будут двигаться его частицы?
Опыт и здравый смысл говорят нам, что они будут стремиться заполнить весь объем коробки. Это совпадает со вторым законом термодинамики, в котором утверждается, что энергия стремится от большей концентрации к меньшей. Вначале энергия очень концентрированная, поскольку она вся находится в углу коробки; но как только объем расширился, энергия стала меньше. Посмотрим, что гласит модель газа Больцмана.
Для проверки прогноза по модели распределения Больцмана обратим внимание на число микросостояний, которые имеют оба макросостояния: то, которое соответствует расположению газа в верхнем углу коробки, и то, которое соответствует равномерному распределению газа по всему объему. Представим, что молекулы могут занимать только определенные области, располагаясь решеткой. Так мы можем сравнить число микросостояний одной и второй конфигураций. Сделаем огромную по сравнению с молекулой решетку, чтобы расчеты были более понятными, и представим себе, что у коробки только два измерения, то есть квадрат, представленный на фигуре ниже, — это вся коробка.
Предположим, что наш газ имеет три частицы. В первом случае они будут ограничены верхней левой площадью коробки, отмеченной серым. Как видно, для этой области есть 25 возможных положений для каждой из частиц. Поскольку у нас есть три частицы, которые мы можем расположить где угодно без наложений, общее число микросостояний будет 25·24·23 = 13800.
Теперь обратим внимание на целую коробку. Ее сторона равна 10 единицам, так что общее число возможных позиций равно 100. Общее число микросостояний равно 100·99·98 = 970200. Итак, очевидно, что гораздо больше микросостояний совместимо со второй возможностью, чем с первой. Действительно, мы можем вычислить вероятность того, что газ окажется в верхнем углу. Это будет число совместимых микросостояний, разделенное на общее их число:
Итак, существует 98,6 % вероятности того, что газ займет всю коробку. Если бы мы взяли больше частиц и более мелкую сетку, то получили бы более значительную разницу. Таким образом, модель распределения Больцмана говорит то же самое, что и термодинамика.
