социальным инкубатором для развития многих алгоритмов обучения и научных открытий, описанных в этой книге
«Группа Терри Сейновски в Институте Солка собирается на неформальное чаепитие почти каждый вечер. Эти чаепития – идеальный повод обсудить результаты последних экспериментов, выдвинуть новые идеи или просто посплетничать о науке, политике и новостях в целом. Однажды я пришел на такое чаепитие и объявил Пэт Черчленд и Терри Сейновски, что нашел место, где находится воля! Она в передней поясной коре или где-то рядом. Когда я обсудил этот вопрос с Антонио Дамасио, выяснилось, что он тоже пришел к той же мысли».
Особенно мне памятен день в 1989 году, когда Фрэнсис Крик пришел на чай с Беатрис Голомб. Он сказал мне, что она хочет работать в области нейронных сетей, и я должен взять ее на работу. Беатрис получила докторскую степень по медицине и на тот момент была аспиранткой в Калифорнийском университете в Сан-Диего и некоторое время занималась исследованиями под началом Крика. Она хотела работать над нейронными сетями для своей докторской диссертации, но биологический факультет не дал разрешения. Я последовал совету Крика и узнал от Беатрис столько же, сколько она узнала от меня, и продолжаю учиться у нее с тех пор, как мы поженились в 1990 году.
Стол для чаепитий приехал со мной из Университета Хопкинса: это был первый предмет, который я купил в 1981 году для новой лаборатории на моей первой работе на кафедре биофизики имени Томаса Дженкинса. Кафедра биофизики была похожа на старую семью, а я – на младшего сыночка, которого окружили заботой. Они вселили в меня уверенность двигаться в новом направлении, за что я бесконечно им благодарен. Я приобщился к традиции послеобеденного чаепития, будучи постдокторантом на кафедре нейробиологии Гарвардской медицинской школы. На крупной разносторонней кафедре это был способ поддерживать связь и узнавать о проводимых экспериментах. Моя лаборатория – миниатюрный университет, в котором обучаются студенты из разных областей естественных и технических наук, математики, и медицины, и чаепития – время, когда мы собираемся вместе как группа.
Я везунчик. Мои родители ценили образование и доверяли мне с раннего возраста. Я жил в период беспрецедентного экономического роста и возможности расширять свой кругозор. У меня были наставники и сотрудники, которые щедро делились со мной идеями и советами, и мне посчастливилось работать с поколением исключительно талантливых студентов. Я особенно благодарен Майку Стимаку, Джону Уилеру, Джону Хопфилду, Брюсу Найту, Штефану Куффлеру, Джеффри Хинтону и Соломону Голомбу, которые на развилках моей карьеры помогали мне повернуть в нужную сторону.
Я много кому благодарен за помощь в написании этой книги. Источником вдохновения послужили дискуссии с давней коллегой Патрицией Черчленд и Роджером Бингемом, основателем виртуального научного форума The Science Network. Выводы Джона Дойла из теории управления привели к обсуждению операционной системы мозга. Длительный поход с Кэри Сталлер в горы в Швейцарии помог мне разобраться со вселенной алгоритмов. Барбара Оакли научила меня обращаться к гораздо большей аудитории, чем класс. И Кэри, и Барбара помогли мне оформить эту историю. Многие помогли отзывами и идеями для книги, в том числе Марни Стюарт-Бартлетт, Йошуа Бенджио, Сидней Бреннер, Андреа Чиба, Патриция Черчленд, Гэри Коттрелл, Пол Экман, Микаэла Эннис, Джерри Фельдман, Адам Газзали, Джеффри Хинтон, Джонатан С. Ховард, Скотт Киркпатрик, Ли Тэ Вон, Марк и Джек Никрем, Джей Макклелланд, Барбара Оакли, Томми Поджио, Чарли Розенберг, Дэвид Сильвер, Джим Саймонс, Ричард Саттон, Джерри Тезауро, Паула Таллал, Себастьян Тран, Аджит Варки, Массимо Вергассола и Стивен Вольфрам.
На семинар по вычислительной нейробиологии в Вудс-Хоул, который проводится каждое лето с 1984 года с небольшим постоянным ядром и новыми участниками, всестороннее обсуждение проходило по утрам и вечерам, а послеобеденные часы оставались свободными для активного отдыха. Это было идеальное сочетание умственной и физической деятельности. Слушатели семинара сделали блестящую карьеру. Вудсхоулский семинар все еще существует, но в 1999 году он переехал в Теллурайд, чтобы совпасть с ежегодным семинаром по нейроморфной инженерии. Я благодарен всем тем, кто приходил на эти семинары за последние 30 лет, особенно Стиву Цукеру, Джону Оллману, Майку Страйкеру, Каталин Готард, Бэрри Ричмонду, Джону Дойлу, Дане Балларду, Джону Маунселлу, Бобу Десимону, Биллу Ньюсому и Кристофу Коху.
Мои коллеги из Института биологических исследований Солка и Калифорнийского университета в Сан-Диего – группа выдающихся практиков и исследователей, создающих будущее биомедицинских наук. Преподаватели и студенты Института нейронных вычислений Калифорнийского университета в Сан-Диего интегрировали нейробиологию и вычисления таким образом, о котором я и не мечтал, когда основывал его в 1990 году.
Лаборатория вычислительной нейробиологии в Институте Солка была моим домом последние 30 лет, и многие мои «дети» сделали успешную карьеру по всему миру. Лаборатория походит на семью, и поколения аспирантов и постдокторантов, полных энтузиазма, значительно обогатили мою жизнь. О том, чтобы этот корабль держался на плаву, заботились Розмари Миллер и Мэри Эллен Перри.
Я благодарен издательству MIT Press, которое было надежным партнером 40 лет, опубликовав серию книг по вычислительной нейробиологии, которую я редактировал с Томми Поджио, и журналу Neural Computation, который я основал в 1989 году. Они выпустили в 1992 году мою книгу «Вычислительный мозг» и многие другие основополагающие книги по машинному обучению, включая книгу Саттона и Барто об обучении с подкреплением и передовой учебник по глубокому обучению. Боб Прайор из MIT Press помог довести эту книгу до момента публикации – это был долгий путь с неожиданными поворотами на дороге.
Благодарю сообщество NIPS, без которого я бы не писал эту книгу. Это не всеобъемлющая история данной области, и я сосредоточился только на нескольких темах и людях, которые участвовали в исследованиях нейронных сетей. Например, Международное общество нейронных сетей (International Neural Network Society; INNS) было основано в 1988 году и запустило новый журнал Neural Networks, который стойко ратовал за расширение охвата нейронных сетей. В партнерстве с Институтом инженеров электротехники и электроники (Institute of Electrical and Electronic Engineering; IEEE) они проводят ежегодную Международную совместную конференцию по нейронным сетям. Машинное обучение также породило много конференций высокого уровня, включая Международную конференцию по машинному обучению (International Conference on Machine Learning; ICML), которая сродни Конференции NIPS. Область получила большую выгоду от всех подобных организаций и исследователей, внесших свой вклад.
Беатрис Голомб – критически мыслящий интеллектуал, и у нее я научился избегать шаблонного мышления. Я благодарен Джеффри Хинтону за то, что он делился со мной своим мнением о сетевых моделях на протяжении многих лет. Джефф был избран членом Королевского общества Англии и
