Сильная версия ИИ утверждает, что запрограммированные должным образом компьютеры понимают рассказы и могут в какой-то мере объяснить человеческое понимание. Благодаря нашему мысленному эксперименту мы можем теперь проанализировать эти утверждения.
1. Что касается первого утверждения, из нашего примера совершенно очевидно следует, что я не понимаю ни слова в китайских рассказах. Все, что у меня есть, это вводные и выходные данные, неотличимые от тех, что производят сами китайцы. Какой бы формальной программой я ни был снабжен, я все равно не понимаю ни слова! Точно так же компьютер Шенка не понимает ни слова в рассказах, написаны ли они по-китайски, по-английски или на каком-либо другом языке, поскольку в случае китайского компьютер — это я, а в остальных случаях у компьютера есть только та информация, которая была у меня, когда я ничего не понимал.
2. Что касается второго утверждения, что программа объясняет человеческое понимание, мы видим, что компьютер вместе с программой не создают достаточных условий понимания, поскольку они действуют, ничего при этом не понимая. Но помогают ли они пониманию? Одно из утверждений сторонников сильной версии ИИ заключается в том, что, когда я понимаю рассказ по-английски, я делаю точно то же самое, — или даже в большей степени — как когда я манипулирую китайскими символами. Разница в том, что в случае английского, который я понимаю, в голове у меня происходит большее количество формальных манипуляций, чем в случае китайского, которого я не понимаю. Я не доказал, что это утверждение ошибочно, но в приведенном примере оно кажется достаточно невероятным. Сторонники этого утверждения исходят из того, что мы можем создать программу с точно такими же входными и выходными данными, как у носителя языка, и что на каком-то уровни носители языка также могут быть описаны как воплощения некой программы. На основе этих двух предположений они заключают, что, хотя программа Шенка и не совершенна, это все же шаг вперед в нужном направлении. Думаю, что, хотя это эмпирически возможно, пока не было представлено ни одно доказательство того, что это верно. Наш мысленный эксперимент предполагает — но, разумеется, не доказывает — что компьютерная программа не имеет никакого отношения к моему пониманию рассказа. В случае с китайским, у меня имеется все, что может мне предоставить ИИ, и тем не менее, я ничего не понимаю; в случае с английским, я понимаю все, и у меня нет никаких оснований предположить, что мое понимание каким-то образом связано с компьютерной программой, то есть с вычислительными операциями на чисто формально определенных элементах. Если мы определяем программу как вычислительные операции на чисто формально определенных элементах, то из нашего примера вытекает, что сами по себе программы не имеют связи с пониманием. Они безусловно не являются достаточным условием понимания, и у нас нет ни малейшего основания полагать, что они являются его необходимым условием. Мы не можем заключить даже того, что они вообще способствуют пониманию. Обратите внимание на то, что сила этого аргумента — не в том, что разные машины могут иметь одинаковые входные и выходные данные, когда они работают по различным формальным принципам — суть совсем не в этом. Какие бы формальные принципы вы ни вложили в компьютер, они будут недостаточны для понимания, поскольку человек может следовать тем же формальным принципам, ничего при этом не понимая. Не существует никаких доказательств того, что подобные принципы необходимы или в какой-то мере полезны, поскольку не существует никаких доказательств того, что, когда я понимаю английский текст, я действую в соответствии с какой-либо формальной программой.
Но что же есть у меня в случае с английским текстом такого, что отсутствует в случае с текстом китайским? Очевидный ответ состоит в том, что я знаю, что означает первый, и понятия не имею о значении последнего. Но в чем это заключается, и почему мы не можем дать это нечто, чем бы оно ни было, машине? Я еще вернусь к этому вопросу, но сначала мне бы хотелось продолжить мой пример.
Мне приходилось представлять этот пример нескольким специалистам по Искусственному Интеллекту; интересно, что они не смогли сойтись в мнениях о том, как на него следует отвечать. Я получил самые разнообразные ответы; здесь я приведу основные из них (вместе с их географическим происхождением).
Но сначала я хочу заблокировать обычные недоразумения, связанные с “пониманием”. В этих дискуссиях можно найти попытки дать сложнейшие, причудливые определения слова “понимание”. Мои критики указывают на то, что бывают различные степени понимания; на то, что “понимание” не является простым двучленным предикатом; на то, что существуют даже различные типы и уровни понимания и что закон исключенного третьего нельзя прямо применить к высказываниям типа “X понимает У”, поскольку во многих случаях это не является фактом, но требует принятия решения, и так далее. На все эти возражения мне хочется ответить: “Ну разумеется, разумеется. Но все это не имеет отношения к обсуждаемым вопросам. Существуют бесспорные случаи того, когда понимание имеет место, и бесспорные случаи того, когда никакого понимания нет; именно эти случаи нужны мне для моего доказательства.[4] Я понимаю рассказы по-английски, в меньшей степени, по-французски и в еще меньшей степени, по-немецки. По-китайски я не понимаю ничего. С другой стороны, моя машина и мой калькулятор не понимают ничего — это не их дело. Мы часто метафорически приписываем “понимание” и другие когнитивные предикаты машинам, калькуляторам и другим приспособлениям, но это ничего не доказывает. Мы говорим: “Дверь знает, когда нужно открыться, благодаря своим фотоэлектрическим элементам”, “Калькулятор может складывать и вычитать, но не способен умножать” и “термостат воспринимает изменения температуры”. Причина, по которой мы приписываем все это машинам, довольно интересна — мы наделяем их собственной интенциональностью.[5] Наши инструменты — продолжение наших целей, и мы находим естественным метафорически приписывать им интенциональность. Однако такие примеры не режут философский лед. То, как дверь “понимает инструкции” своего фотоэлемента, не имеет ничего общего с тем, как я понимаю английский. Если бы предполагалось, что компьютер Шенка понимает рассказы в том же метафорическом смысле, в каком дверь понимает инструкции фотоэлемента, а не так, как я понимаю английский, то вопрос не стоил бы обсуждения. Но Ньюман и Саймон (1963) пишут, что понимание компьютеров идентично пониманию человека. Мне нравится прямолинейность подобного утверждения, и именно такие утверждения я и буду рассматривать. Я попытаюсь доказать, что в буквальном смысле запрограммированный компьютер понимает столько же, сколько автомобиль или калькулятор, то есть совершенно ничего. Понимание компьютера не частично или неполно (как мое понимание французского или немецкого) — оно равно нулю.
Перейдем теперь к ответам.
1. Ответ систем (Беркли). “Верно, что один человек, запертый в комнате, не понимает рассказа — но он является частью целой системы, которая этот рассказ понимает. Перед человеком лежит толстый том, в котором написаны правила, у него полно бумаги и карандашей, чтобы делать вычисления, у него есть “банк данных” в виде китайских иероглифов. Но понимание не приписывается только этому индивиду; скорее, оно приписывается всей системе, частью которой он является.”
Мой ответ на теорию систем очень прост. Пусть индивид усвоит все элементы системы, запомнит правила в книге и банк данных — китайских иероглифов, так что теперь он сможет производить все вычисления в уме. В таком случае индивид будет представлять всю систему, поскольку больше в системе ничего нет. Мы можем даже отказаться от комнаты и представить, что он работает на свежем воздухе. Так или иначе, он не понимает ничего по-китайски, а следовательно, ничего не понимает и система, потому что в системе нет ничего такого, чего не было бы в нем. Если он не понимает, то и система никак не может понимать, поскольку является лишь частью его.
В действительности, мне неловко давать даже этот ответ на теорию систем, потому что эта теория с самого начала казалась мне малоубедительной. Человек не понимает китайского, но каким-то образом сочетание этого человека с кусочками бумаги может его понимать — странная мысль! Мне трудно представить себе, чтобы кто-нибудь, не одурманенный определенной идеологией, мог найти подобную идею хоть сколько-нибудь правдоподобной. И все же я думаю, что многие сторонники сильной версии ИИ в конце концов захотят сказать что-нибудь подобное; поэтому давайте поговорим об этом еще немного. Согласно одной из версий этого аргумента, хотя человек, усвоивший всю систему, и не понимает китайского так, как китайцы (поскольку он, например, не понимает, что рассказ повествует о ресторане, гамбургерах и т.д.), он действительно понимает его в качестве системы, манипулирующей формальными символами. Подсистему этого человека, манипулирующую формальными китайскими символами, не следует путать с его же подсистемой, манипулирующей английским.
