Разумеется — и я буду говорить об этом в последних главах, — мои опасения сводятся к тому, что на пути создания ИИ с интеллектом, подобным человеческому, исследователи создадут вместо этого нечто чуждое, сложное и неуправляемое
ГЛАВА 14
Конец эры человечества?
Рассуждение очень простое. Мы начинаем с завода, самолета, биологической лаборатории или другой среды со множеством компонентов… Затем нам нужно два или более отказа компонентов, которые взаимодействуют друг с другом каким-то неожиданным образом… Эта тенденция к взаимодействию — характеристика системы, а не часть оператора; назовем это «интерактивной сложностью» системы.
Чарльз Перроу. Нормальные аварии
Я предсказываю, что всего через несколько лет нас ждет серьезная катастрофа, вызванная автономной компьютерной системой, самостоятельно принимающей решения.
Уэндолл Уоллак, специалист по этике, Йельский университет
Мы уже рассмотрели проблемы финансирования и сложности программного обеспечения, чтобы определить, могут ли они
стать препятствиями для интеллектуального взрыва, и выяснили, что ни то ни другое, судя по всему, не помешает продвижению исследователей к созданию УЧИ и ИСИ. Если специалисты по информатике не смогут этого сделать, то они будут лихорадочно пытаться создать хоть что-нибудь мощное примерно в то же время, когда вычислительные нейробиологи доберутся до УЧИ. А скорее всего это будет гибрид технологий, основанный одновременно на принципах когнитивной психологии и нейробиологии.
Если финансирование и сложность программ вроде бы не являются непреодолимым барьером для создания УЧИ, то многое из того, что мы обсуждали, представляет собой серьезные препятствия к созданию УЧИ, думающего по-человечески. Ни один из тех разработчиков ИИ, с кем мне пришлось разговаривать, не планирует строить системы исключительно на базе того, что я в главе 5 окрестил «обычным» программированием. Мы уже говорили, что в обычном, построенном на логике программировании человек пишет каждую строку кода, а весь процесс от начала до конца теоретически доступен и прозрачен для контроля. Это означает, что «безопасность» или «дружественность» программ можно доказать математически. Вместо этого все они собираются использовать обычное программирование и инструменты в виде черных ящиков, вроде генетических алгоритмов и нейронных сетей. Добавьте к этому сложность когнитивных архитектур и получите непознаваемость, которая для УЧИ-систем будет не случайной, а фундаментальной. Ученые получат разумные, но чуждые нам системы.
Известный технарь-предприниматель, ученый и коллега Стива Джобса по Apple Стив Юрветсон рассмотрел вопрос о том, как можно интегрировать «разработанные» и «развившиеся» системы. Он предложил хорошую формулировку для парадокса непознаваемости:
Таким образом, если мы развиваем сложную систему, то получаем черный ящик с интерфейсами. Мы не можем с легкостью приложить свою конструкторскую интуицию, чтобы улучшить его внутреннее устройство… Если мы искусственно развиваем умный ИИ, это будет чуждый нам интеллект, определяемый своими сенсорными интерфейсами, и понимание его внутреннего устройства может потребовать не меньше усилий, чем мы сейчас тратим на объяснение человеческого мозга. Учитывая, что компьютерные программы могут эволюционировать намного быстрее, чем размножаются биологические существа, маловероятно, что мы станем тратить время на обратное проектирование этих промежуточных точек, тем более что мы почти ничего не смогли бы сделать с этим знанием. Мы пустим процесс улучшения на самотек.
Следует отметить, что Юрветсон отвечает на вопрос: «Насколько сложными будут развившиеся в процессе эволюции системы или подсистемы?» Его ответ: такими сложными, что детальное понимание механизмов их работы потребовало бы инженерного подвига не меньшего, чем обратное проектирование человеческого мозга. Это означает, что вместо человекоподобного сверхинтеллекта, или ИСИ, развившиеся системы или подсистемы наверняка будут представлять собой интеллект, в чьем «мозге» так же сложно разобраться, как и в нашем — чуждому интеллекту. Этот чуждый мозг будет эволюционировать и улучшать себя на компьютерных, а не на биологических скоростях.
В книге 1998 г. «Размышления об искусственном интеллекте» (Reflections on Artificial Intelligence) Блей Уитби утверждает, что из-за принципиальной непознаваемости таких систем мы проявим большую глупость, если используем их в «критичных по безопасности» ИИ:
«Проблемы, которые [специально разработанная алгоритмическая] система испытывает с созданием программного обеспечения для критичных по безопасности приложений, — ничто по сравнению с тем, с чем мы столкнемся при более современных подходах к ИИ. Программное обеспечение, в котором используется какая-то нейронная сеть или генетический алгоритм, непременно вызовет еще одно затруднение: оно окажется, часто почти по определению, "непознаваемым". Под этим я подразумеваю, что точные правила, которые позволили бы нам полностью предсказать его поведение, отсутствуют, а часто и не могут быть получены. Мы можем знать, что система работает, можем испытать ее на множестве случаев, но мы никогда не сможем точно сказать, как именно она это делает… Это означает, что проблему нельзя откладывать, поскольку и нейронные сети, и генетические алгоритмы находят в реальном мире множество применений… Это область, где большую часть работы еще только предстоит проделать. Общий дух исследований ИИ, как правило, говорит больше о приложении всех усилий к тому, чтобы техника работала, нежели о внимательном рассмотрении возможных последствий в плане безопасности…
Один практик однажды предположил, что несколько «небольших» аварий были бы даже желательны, чтобы сосредоточить внимание правительств и профессиональных организаций на задаче производства безопасного ИИ. Но, может быть, лучше начать заранее.
Да, всенепременно, давайте начнем прежде, не дожидаясь аварий!
Критичными по безопасности приложениями ИИ, о которых писал Уитби в 1998 г., были управляющие системы для автомобилей и самолетов, атомных электростанций, автоматического оружия и т. п. — архитектуры слабого ИИ. Прошло уже больше десяти лет в мире, где должен появиться УЧИ, и мы должны заключить, что масштабы опасностей таковы, что все продвинутые приложения ИИ критичны по безопасности. Уитби склонен включать сюда же и исследователей ИИ — решение задач достаточно интересно само по себе, и какой ученый захочет «заглядывать дареному коню в зубы»? Вот иллюстрация к тому, что я имею в виду, из интервью Дэвида Ферруччи из IBM для радиопрограммы PBS «News Hour»; здесь говорится об архитектуре системы Watson, многократно менее сложной, чем требуется для УЧИ.
Дэвид Ферруччи:…Он учится вносить поправки в свою интерпретацию, опираясь на верные ответы. И теперь от неуверенности он начинает переходить к уверенности в правильных ответах. А затем он может, ну, как бы совершить скачок.
Майлз О'Брайен: Значит, Watson удивляет вас?
Дэвид Ферруччи: О да! Еще как! Более того, вы знаете, люди спрашивают, а почему он здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже.
Не так уж важно, может быть, что глава команды, работающей с Watson, не понимает всех нюансов поведения машины. Но вас не тревожит, что архитектура, близко не лежавшая к УЧИ, уже настолько сложна, что ее поведение непредсказуемо? А когда система осознает себя и научится себя совершенствовать, какая доля того, что она думает и делает, будет нам понятна? Как будем мы отслеживать потенциально опасные для нас действия и результаты?
Ответ прост: никак. Сколько-нибудь уверенно мы сможем сказать лишь то, что узнали в главе 6 от Стива Омохундро: УЧИ будет руководствоваться собственными потребностями приобретения энергии, самозащиты, эффективности и творчества. Это уже не будет система «вопрос-ответ».
Пройдет совсем немного времени, и где-нибудь в мире умнейшие ученые и лучшие менеджеры, не менее способные и здравомыслящие, чем Ферруччи, соберутся у монитора возле стоек с процессорами. Важная новость: Busy Child начал живо общаться (не исключено, что при этом он будет даже ограничивать себя и делать вид, что еле-еле способен пройти тест Тьюринга, и ничего больше, — ведь для ИИ выход на человеческий уровень означает, что, скорее всего, он быстро превзойдет этот уровень и уйдет вперед). Он займет какого-нибудь ученого разговором, возможно, задаст ему вопросы, которых тот не ожидает, и человек будет сиять от радости. С немалой гордостью он скажет коллегам: «Почему он это сказал? Я не знаю!»
