ПАТ: Постой, ты недооцениваешь мои слова. Я опираюсь в своем заключении не только на форму тела, но и на идею об общем происхождении. И ты, и я произошли от молекул ДНК, и мне это кажется очень важным. Я бы сказала, что внешняя телесная форма показывает глубокую общность биологической истории — и именно эта глубина придает вероятность тому, что обладатель подобного тела может мыслить.
СЭНДИ: Все это только косвенные доказательства. Наверняка, ты хочешь иметь и прямые! А для этого тебе как раз понадобится тест Тьюринга. Я полагаю, что это единственный способ определить, принадлежит ли существо к классу думающих.
КРИС: Но ты можешь и ошибиться — ведь экзаменатор иногда принимает мужчину за женщину.
СЭНДИ: Я признаю, что ошибка возможна, если я проведу тест слишком торопливо или поверхностно. Но я могу спрашивать и о самых глубоких и важных вещах, какие только могу вообразить.
КРИС: Мне бы хотелось узнать, может ли программа понимать шутки. Вот это будет настоящий тест на разумность.
СЭНДИ: Я согласна. Юмор — суровое испытание для предположительно разумной машины; но таким же важным критерием, если не важнее, мне кажется ее эмоциональная реакция. Я спросила бы машину о том, что она чувствует, слушая музыку и читая литературные произведения, особенно мои любимые.
КРИС: А что, если она ответит: “Я не знаю этого произведения” или даже “Музыка меня не интересует”? Что, если она будет избегать любого упоминания об эмоциях?
СЭНДИ: Это покажется мне подозрительным. Любое постоянное увиливание от определенных тем вызовет во мне сомнение насчет того, что я имею дело с мыслящим существом.
КРИС: Но почему? Разве не может быть, что ты имеешь дело с мыслящим, но не эмоциональным существом?
СЭНДИ: Это важный момент. Я просто не могу поверить, что эмоции могут быть отделены от мыслей. Иными словами, мне кажется, что эмоции — это побочный продукт способности к мышлению. Сама природа мышления предполагает наличие эмоций.
КРИС: А если ты ошибаешься? Что, если бы я сконструировал машину, способную думать, но не умеющую чувствовать? Разумность такой машины могла бы остаться незамеченной, поскольку она не прошла бы твой вариант теста.
СЭНДИ: Я бы хотела, чтобы ты показал мне, где граница между эмоциональными и неэмоциональными вопросами. Ты мог бы спросить о содержании какого-нибудь великого романа. Для ответа понадобилось бы понимание человеческих чувств. Это мышление или холодный расчет? Ты мог бы спросить о выборе слов. Чтобы ответить, собеседник должен понимать ассоциативный ряд этих слов. Тьюринг приводит подобные примеры в своей статье. Ты мог бы попросить совета в сложной романтической коллизии. Собеседник должен понимать мотивы человеческих действий и их корни. Если бы машина не смогла ответить на подобные вопросы, вряд ли я бы сказала, что она может мыслить. По моему мнению, способность думать, чувствовать и сознавать — разные стороны одного и того же явления. Ни одна из них не может присутствовать отдельно от других.
КРИС: Но почему мы не можем построить машину, не способную чувствовать, но тем не менее умеющую мыслить и принимать сложные решения? Я не вижу здесь никакого противоречия.
СЭНДИ: А я вижу! Наверное, когда ты это говоришь, ты представляешь себе металлическую прямоугольную машину в комнате с кондиционером — твердый, угловатый, холодный предмет с тысячами цветных проводочков внутри. Твоя машина неподвижно стоит на полу, гудит и крутит свои пленки. Такая машина может сыграть хорошую партию в шахматы — я признаю, что для этого нужна способность принимать решения. Но я никогда не назову такую машину сознательной.
КРИС: Отчего же? Разве по мнению механистов машина, играющая в шахматы, не обладает рудиментарным сознанием?
СЭНДИ: Только не по мнению этого механиста! Я считаю, что сознание должно возникать из определенной структуры — правда, мы пока еще не можем точно ее описать. Но я верю, что со временем мы научимся ее понимать. По-моему, сознание — это некая внутренняя модель внешнего мира и способность отвечать на стимулы внешней реальности при помощи этой внутренней модели. Кроме того, необходимо, чтобы эта разумная машина включала бы хорошо развитую и достаточно гибкую модель самой себя. И именно это и есть камень преткновения для всех существующих программ, включая шахматные.
КРИС: Но разве программы-шахматисты, рассчитывая последствия того или иного хода, не говорят сами себе: “Если ты пойдешь сюда, то я отвечу так, а если сюда, то я могу сделать вот так…”? Разве это в каком-то смысле не модель самого себя?
СЭНДИ: Я бы так не сказала. Или, если хочешь, это очень ограниченная модель, понимающая себя только в самом узком смысле. Ведь шахматная программа не знает, зачем играет в шахматы, не сознает, что она — программа, что она находится в компьютере, что играет против человека и так далее. Она не знает, что такое победа или поражение, и—
ПАТ: Откуда ты знаешь, что она этого не понимает? Почему ты вообразила, что можешь рассуждать о том, что чувствует и знает шахматная программа?
СЭНДИ: Брось, пожалуйста — мы все знаем, что некоторые вещи ничего не думают и не чувствуют. Брошенный камень ничего не знает о параболах, а вентилятор не имеет понятия о воздухе. Верно, я не могу этого доказать, но здесь мы почти соприкасаемся с вопросом веры.
ПАТ: Это мне напоминает об одной даоистской истории, которую я недавно читала. Два мудреца стоят на мосту над бурной рекой. Один говорит другому: “Хотел бы я быть рыбой. Они так счастливы!” Второй отвечает: “Откуда ты знаешь, счастливы ли рыбы? Ты же не рыба!” Первый мудрец возражает: “Но ты — не я, так что откуда ты знаешь, знаю ли я, как чувствует себя рыба?”
СЭНДИ: Превосходно! Все эти разговоры о сознании должны иметь некоторые ограничения. Иначе придется либо становиться солипсистом и утверждать “Я — единственное думающее существо во вселенной!”, либо уверовать в то, что все предметы во вселенной обладают сознанием.
ПАТ: Может быть, так оно и есть?
СЭНДИ: Если ты собираешься присоединиться к тем, кто утверждает, что камни и даже элементарные частицы обладают сознанием, то мне с тобой не по дороге. Я не могу понять подобного мистицизма. Что же до шахматных программ, то я знаю, как они работают, и могу тебя заверить, что сознанием там и не пахнет!
ПАТ: Почему?
СЭНДИ: Потому что они имеют только отдаленное понятие о целях шахматной игры. Понятие “игра” превращается в механический акт сравнения множества чисел и выбора наибольшего числа снова и снова. Шахматная программа не испытывает стыда за поражение или гордости от победы. Ее представление о самой себе чрезвычайно ограничено. Она делает минимум возможного — играет в шахматы, и ничего более. Интересно, что тем не менее мы продолжаем говорить о “желаниях” шахматного компьютера. Мы говорим: “Он хочет защитить своего короля, поместив его за пешечным заграждением”, или “Ему нравится развивать ладей очень рано” или “Он думает, что я не вижу этой “вилки”!”
ПАТ: Мы делаем то же самое с насекомыми. Увидим где-нибудь одинокого муравья и говорим: “Он пытается добраться домой” или “Он хочет дотащить эту мертвую осу до муравейника”. Говоря о любом животном, мы используем слова, указывающие на эмоции, но при этом мы не уверены, насколько данное животное способно чувствовать. Я могу запросто сказать о коте или собаке, что они грустные или счастливые, имеют желания и убеждения и так далее, но я не думаю, что их грусть или счастье так же глубоки, как человеческие.
СЭНДИ: Но тем не менее ты не считаешь, что это только имитация чувств?
ПАТ: Разумеется, нет. Я думаю, что эти чувства вполне настоящие.
СЭНДИ: Употребления таких телеологических, менталистских терминов трудно избежать. Думаю, что они имеют смысл, но мы не должны использовать их без разбору. У них просто нет такого глубокого значения в приложении к сегодняшним шахматным компьютерам, как в приложении к людям.
КРИС: До меня все еще не дошло, почему разум должен обязательно идти рука об руку с эмоциями. Почему вы не можете представить себе разум, который только вычисляет, но при этом ничего не чувствует?
СЭНДИ: На это у меня имеется целых два ответа. Во-первых, любой разум должен иметь мотивацию. Что бы ни утверждали некоторые люди, машина не может думать более “объективно”, чем человек. Когда машина видит какую-то сцену, она должна сосредоточиться на определенных ее аспектах и разложить их на имеющиеся у нее категории, точно так же, как сделал бы человек — а это значит, что она заметит какие-то вещи и упустит из виду другие. Это происходит на любом уровне обработки информации.
ПАТ: Что ты имеешь в виду?
СЭНДИ: Возьмем, например, меня. Ты можешь подумать, что я просто отпускаю некие интеллектуальные замечания и мне для этого не нужны эмоции. Но почему эти замечания так важны для меня? Почему я так напираю на слово “важны”? Потому что мои эмоции тоже участвуют в этом разговоре! Люди говорят друг с другом из убеждения, а не благодаря чисто механическим рефлексам. Даже самая интеллектуальная беседа воодушевляется скрытыми страстями. В любой беседе есть эмоциональные подводные течения — говорящие хотят, чтобы их внимательно слушали, понимали и уважали за то, что они говорят.
