«Это был самый увлекательный период в моей жизни, – говорит Сейновски. – Мы были уверены, что поняли, как работает человеческий мозг». Но, как и метод обратного распространения ошибки, «машина Больцмана» оказалась лишь вспомогательным инструментом исследований, никакой практической пользы не принесшим. И ее тоже на долгие годы забросили на чердак научной мысли.
Почти религиозная приверженность Хинтона многим непопулярным идеям привела к тому, что он выпал из научного мейнстрима, но это же открыло перед ним новые профессиональные перспективы. Побывав на одной из ежегодных встреч коннекционистов, в которых участвовали и Хинтон с Сейновски, профессор Университета Карнеги – Меллона Скотт Фалман пришел к выводу, что, пригласив в свой штат Хинтона, его вуз мог бы подстраховать свое участие в разработках искусственного интеллекта. Подобно МТИ, Стэнфорду и большинству других научных коллективов, Университет Карнеги – Меллона сосредоточил все свое внимание на символическом ИИ. Сам Фалман считал искусственные нейронные сети «безумной затеей», но при этом он признавал, что столь же безумными могут казаться и многие другие научные разработки, осуществлявшиеся в их университете. В 1981 году поддерживаемый Фалманом Хинтон приехал в университет на собеседование и выступил с двумя открытыми лекциями; одна была по психологии, вторая по информатике. Его лекции были очень многословные, и он почти не делал пауз, чтобы дать слушателям усвоить услышанное. При этом он постоянно двигал руками: разводил их в начале каждой фразы и сводил, закончив свою мысль. Математических расчетов и ссылок на компьютерные программы в его речах было немного – просто потому, что эти вещи его не интересовали. Зато он сыпал идеями, и тех, кто успевал и был способен следить за ходом его мыслей, эти лекции буквально завораживали. Во всяком случае, его лекции понравились Аллену Ньюэллу, одному из основоположников разработок ИИ вообще и одному из лидеров символического направления в этих разработках, который в то время возглавлял в Университете Карнеги – Меллона кафедру информатики. Уже на следующий день он предложил Хинтону место у себя на кафедре, но, прежде чем согласиться, Хинтон остановил его.
– Вам нужно кое о чем знать, – сказал он.
– Что такое? – спросил Ньюэлл.
– Я ничего не понимаю в компьютерах.
– Ничего страшного. У нас достаточно людей, которые в них разбираются.
– В таком случае я согласен.
– А зарплата вас интересует? – спросил Ньюэлл.
– О нет, я занимаюсь этим не ради денег, – ответил Хинтон.
Некоторое время спустя Хинтон обнаружил, что ему платили меньше, чем его коллегам (26 000 против 35 000 долларов), но он не возражал, потому что наконец обрел здесь возможность свободно заниматься своими неортодоксальными исследованиями. Он продолжал работать над «машиной Больцмана» вместе с Сейновски, к которому часто ездил на выходные в Балтимор, и начал вновь экспериментировать с алгоритмом обратного распространения ошибки, полагая, что это может быть полезно для сравнительного анализа. Ему нужно иметь то, с чем можно было бы сравнивать результаты работы «машины Больцмана», и алгоритм обратного распространения ошибки для этого идеально подходил. Старая идея оказалась новой. В Университете Карнеги – Меллона у него не просто была возможность продолжать развивать эти две идеи. Теперь в его распоряжении были гораздо более мощные и быстродействующие компьютеры. Это позволяло продвигать исследования вперед с большей скоростью, поскольку мощность компьютеров позволяла математическим системам обучаться на больших объемах данных. Прорыв был достигнут в 1985 году, через год после той лекции, с которой он выступил перед Мински. Но прорыв был связан не с «машиной Больцмана», а как раз с алгоритмом обратного распространения ошибки.
В Сан-Диего они с Румельхартом показали, что многослойная нейронная сеть может сама регулировать свои весовые коэффициенты. Затем, уже будучи в Университете Карнеги – Меллона, Хинтон показал, что такая нейронная сеть способна на действия, которые могут произвести впечатление не только на математиков. Нейронной сети предъявлялись элементы некоего генеалогического древа, и она училась определять родственные связи между разными членами семейства. Это вроде бы небольшое умение свидетельствовало о том, что машина способна на гораздо большее. Если нейронной сети сообщали, что мать Джона зовут Викторией, а муж Виктории – Билл, она могла прийти к выводу, что Билл является отцом Джона. Хинтон не знал о том, что учеными, работавшими в совершенно других областях науки, математические методы, сходные с алгоритмом обратного распространения ошибки, уже были разработаны в прошлом. Но, в отличие от своих предшественников, он смог показать, что у этой математической идеи было будущее, причем распознавать можно было не только образы, но и речь. Это направление сулило гораздо больший потенциал возможностей, нежели другие технологии ИИ, поскольку машина могла в значительной мере самообучаться.
Год спустя Хинтон женился на Розалинд Залин, с которой познакомился в Университете Сассекса, куда приезжал на стажировку. Она там занималась молекулярной биологией, но ее вера в гомеопатию всегда была источником напряжения между ней и ее мужем. «Молекулярному биологу не подобает верить в гомеопатию, – говорил он. – Поэтому отношения были сложные, и нам пришлось условиться обходить эту тему молчанием». Она была также убежденной социалисткой, не любила Питтсбург и осуждала политику президента Рейгана. Но для Хинтона этот период жизни был очень плодотворный. Наутро после свадьбы он на полчаса ушел из дома на почту, чтобы отправить пакет в редакцию Nature, одного из ведущих научных журналов мира. В пакете была статья с описанием метода обратного распространения ошибки, написанная им в соавторстве с Румельхартом и профессором Рональдом Уильямсом из Северо-Восточного университета. В том же году статья была опубликована80.
Это событие было из разряда тех, которые сами по себе проходят незамеченными, но влекут за собой важные последствия. После выхода статьи исследования нейронных сетей вступили в новую эпоху оптимизма и прогресса, вызвав новую волну инвестиций в эту сферу, ознаменовавшую окончание «зимы искусственного интеллекта». «Бэкпроп», как называли сами ученые алгоритм обратного распространения ошибки, оказался не просто идеей!
Одно из практических приложений этого направления исследований появилось в 1987 году. Ученые из лаборатории искусственного интеллекта Университета Карнеги – Меллона пытались разработать автомобиль, способный обходиться без водителя. За основу они взяли синий фургон Chevrolet, по форме напоминавший машину скорой помощи. На крыше установили видеокамеру, а к ведущему заднему мосту подключили «суперкомпьютер», как они его называли: ЭВМ, способную обрабатывать данные в сотню раз быстрее, чем типичные персональные компьютеры того времени. Идея состояла в том, что этот мощный компьютер, занимавший в фургоне несколько шкафов с электрическими панелями, проводами и кремниевыми чипами, будет прочитывать поток кадров, снимаемых камерой на крыше, и принимать решение о том, как машине ехать по дороге. Но
