Канады, а я – членом Национальной академии наук, Национальной медицинской академии и Национальной инженерной академии: редкая честь – быть во всех трех национальных академиях США.
Соломон Голомб однажды сказал мне, что карьера происходит в ретроспективе, и я подтвердил его слова, когда писал эту книгу. Возвращаясь к своему прошлому, я анализировал события и решения, которые привели меня туда, где я сейчас, но, конечно, в то время я этого не знал. В 1964 году я написал три коротких текста для школьного литературного журнала. Первым было эссе о природе гравитации, которая приводила меня в восхищение. Вторым – рассказ о человеке, который обнаружил, что он компьютерная симуляция. Третий представлял собой размышления человека, продающего дом, в котором вырос. Много лет спустя, будучи аспирантом Принстонского университета, я продолжил исследование черных дыр и гравитационных волн в общей теории относительности, теории гравитации Эйнштейна. Получив докторскую степень по физике, я перешел в область биологии, и с тех пор объектом моего интереса стал мозг. Я пока не знаю, что делать с третьей историей, – возможно, она превратится в еще одну главу моей жизни.
Глоссарий
Адаптивная обработка сигналов – регулируемый фильтр, преобразующий сигналы. Примером может служить фильтр для уменьшения шума в регулируемой частотном диапазоне.
Алгоритм обучения – алгоритм изменения параметров функции на основе примеров. Алгоритм обучения может быть контролируемым, если заданы входные и желаемые выходные данные, или неконтролируемым, если заданы только входные данные. Обучение с подкреплением – частный случай контролируемого алгоритма обучения, когда единственная обратная связь – награда за хорошую работу.
Градиентный спуск – метод оптимизации, при котором параметры изменяются каждую эпоху, чтобы уменьшить функцию стоимости.
Логика – умозаключение, основанное на предположениях, которые могут быть только истинными или ложными. Математики используют логику для доказательства теорем.
Масштабирование – увеличение сложности алгоритма с увеличением размеров задачи.
Машина Тьюринга – гипотетический компьютер, изобретенный Аланом Тьюрингом в 1937 году в качестве простой модели для математических расчетов. Машина Тьюринга состоит из ленты, которую можно перемещать вперед и назад, головки записи-чтения, находящейся в одном из множества состояний, которая может изменять свойства активной ячейки под ней, и набора инструкций, как головка должна изменять активную ячейку и перемещать ленту. На каждом шаге машина может доработать свойство активной клетки и изменить положение головки, а после переместить ленту на одну ячейку.
МООК – массовые открытые онлайн-курсы. Лекции по широкому кругу тем, находящиеся в свободном доступе в Интернете. Первый MOOC появился в 2006 году, к 2017 году было открыто 6850 онлайн-курсов, которые прослушали 59 миллионов человек.
Нейрон – специализированная клетка мозга, которая объединяет входные сигналы от нейронов и отправляет выходные данные другим нейронам.
Нормализация – поддержание амплитуды сигнала в заданных пределах. Например, если изменяющийся во времени положительный сигнал делится на его максимальное значение, то он будет ограничен 1.
Обратная связь – соединения, которые движутся в нейронной сети в обратном направлении от более высоких уровней к более низким, создавая в сети петлю, позволяющую сигналам циркулировать.
Обратное распространение ошибки – алгоритм обучения, который оптимизирует нейронную сеть с помощью градиентного спуска, чтобы минимизировать функцию затрат и повысить производительность.
Обучающие и тестовые наборы – производительность обучающего набора недостаточно точно оценивает, как нейронная сеть будет работать на новых входных данных. Тестовый набор, не используемый во время обучения, позволяет оценить, насколько хорошо обобщена сеть. Когда наборы данных малы, одну выборку можно убрать из обучающего набора и использовать для тестирования производительности сети, обученной на остальных примерах, повторяя процесс для каждой выборки, чтобы получить среднюю производительность теста. Это частный случай перекрестной проверки с n = 1, в которой удерживается n подвыборок.
Ограничения – условия задачи по оптимизации, которым должно удовлетворять решение. Например, решение может иметь только положительное значение.
Оптимизация – процесс максимизации или минимизации функции путем систематического поиска входных значений из допустимого набора и вычисления значения функции.
Переобучение – состояние, когда количество настраиваемых параметров в сетевой модели сильно превышает количество обучающих данных, и большинство алгоритмов обучения просто запоминают примеры. Это значительно снижает способность обобщать новые примеры. Регуляризация – способ уменьшить переобучение.
Пластичность – изменения функций нейрона, проявляющиеся в усилении связей (синаптическая пластичность) или в том, как нейрон реагирует на его входные сигналы (внутренняя пластичность).
Правило Байеса – формула, обновляющая вероятность события на основе новых данных и уже известных условий, связанных с событием. В более общем случае байесовские вероятности – это представления о результатах, основанные на текущих и предыдущих данных.
Равновесие – состояние термодинамической системы, при котором отсутствуют чистые макроскопические потоки вещества или энергии. В машине Больцмана элементы вероятностны, и если входные сигналы остаются постоянными, то система приходит в равновесие.
Распределение вероятностей – функция, определяющая вероятность возникновения всех возможных состояний системы или результатов эксперимента.
Регуляризация – способ избежать переобучения модели с большим количеством параметров, когда данные ограничены. Распространенным методом является снижение веса, при котором все веса в сети уменьшаются в каждую эпоху обучения, и выживают только веса с большими положительными градиентами.
Рекуррентная сеть – нейронная сеть с обратными связями, позволяющими сигналам циркулировать внутри сети.
Свертка – способ смешивания одной функции с другой путем вычисления, в какой мере одна функция перекрывает другую при их наложении.
Сеть прямого распространения – многоуровневая нейронная сеть с односторонней связью между слоями, начиная с входного слоя и заканчивая выходным.
Синапс – особое соединение между двумя нейронами, где сигнал передается от пресинаптического нейрона к постсинаптическому нейрону.
Функция стоимости – функция, которая определяет цель сети и количественно оценивает ее производительность. Целью обучения является снижение функции стоимости.
Шипик – тонкий вырос на дендрите, способный образовать синаптическое соединение.
Эпоха – одно обновление весов во время обучения после того, как средний градиент вычислен на основе заданного количества примеров.
* * *
Примечания
1
Астро Теллер, «капитан муншотов» Google (moonshot – полет на Луну, в переносном смысле – смелый и передовой проект), 6 февраля 2015 года сказал, что глубокое обучение помогло снизить потребление энергии на 15 % и тем самым ежегодно экономить компании Google X сотни миллионов долларов. – Прим. авт.
2
Реверсивная инженерия, или обратное проектирование, – исследование объекта с целью понять принцип его работы. – Прим. ред.
3
Перцептрон – математическая или компьютерная модель восприятия информации мозгом.
