ИИ может посчитать людей полезным инструментом для достижения своих целей, этакими пешками в конкурентной борьбе с другими суперинтеллектами. Или же сочтет нас попросту ненужными. Не исключено, что машинный интеллект уже возник, но мы пока не опознали его как таковой. Возможно, он не хочет быть замеченным – или настолько нам чужд, что мы не способны его осознать. В общем, сценарий эгоистичного ИИ наиболее труден для понимания. Полагаю, что доступные нашему воображению версии – скажем, интеллектуальные человекоподобные роботы – наименее вероятны. Наши сложнейшие системы, взять хотя бы интернет, уже вышли за пределы понимания индивида, а их поведение в будущем и подавно превзойдет все человеческие возможности к пониманию.
Последний сценарий состоит в том, что машинный интеллект не предусматривает комбинирования мощностей в корыстных целях; он будет развиваться на пользу человечества в целом. В этом оптимистичном сценарии ИИ поможет нам восстановить баланс между индивидом и корпорацией, между гражданином и государством. Он поможет справиться с проблемами, порожденными гибридным суперинтеллектом, который преследует собственные цели. Согласно этому сценарию, новый ИИ расширит наши возможности, предоставит доступ к вычислительным мощностям и знаниям, которые в настоящее время доступны лишь корпорациям и государствам. По сути, он способен стать продолжением наших индивидуальных умственных возможностей в достижении человеческих целей. Он может изрядно усилить наш слабый индивидуальный разум. Эта перспектива выглядит одновременно захватывающей и правдоподобной. Она правдоподобна потому, что мы вольны выбирать, что именно разрабатывать, а за плечами у нас богатая история использования технологий для расширения человеческих возможностей. Самолеты, образно говоря, дали нам крылья, двигатели дали мышцы для сворачивания гор, а компьютерная сеть может укрепить и расширить наш разум. Да, мы вряд ли полностью поймем и сможем контролировать свою судьбу, но у нас есть шанс изменить ее соответственно нашим ценностям. Грядущее – не то, что с нами случится; оно есть то, что мы сами создадим.
Почему Винер заметил то, что упустили другие
«В электротехнике существует разделение на области, называемые в Германии техникой сильных токов и техникой слабых токов, а в США и Англии – энергетикой и техникой связи. Это и есть та граница, которая отделяет прошедший век от того, в котором мы сейчас живем»[138].
Норберт Винер. «Кибернетика, или Управление и связь в животном и машине»
Кибернетика есть изучение того, как слабые могут управлять сильными. Вспомним исходную метафору этой дисциплины: кормчий ведет корабль. Его цель состоит в том, чтобы контролировать курс и вести корабль в правильном направлении. Информация, то есть сообщения, поступающие кормчему, приходит от компаса или звезд, а сам кормчий замыкает контур обратной связи, отправляя ответные сообщения через аккуратные движения руки по рулевому веслу. Эта картина рисует нам корабль, идущий наперекор ветру и волнам в реальном мире благодаря коммуникационной системе сообщений в мире информации.
Но все же различие между «реальным» и «информационным» сводится в основном к различию перспективы. Сигналы, содержащие сообщения, такие как свет звезд и давление пальцев на рулевое весло, относятся к пространству энергии и физических сил, как и сам кормчий. Слабая сила, контролирующая руль, столь же реальна и «физична», как и могучие силы природы. Если перенести кибернетический фокус внимания с корабля на кормчего, давление на руль превратится в могучую мышечную силу, подчиненную слабым сигналам от разума кормчего. Эти ментальные сообщения преобразуются в физическую силу, достаточно мощную для управления кораблем. Или мы можем увеличить масштаб рассмотрения и отталкиваться от широкой кибернетической перспективы. Мы могли бы трактовать корабль как элемент обширной торговой сети, контура обратной связи, который регулирует цены на товары через их поток. С такой точки зрения крошечный корабль будет просто посланником. Вот почему различие между физическим и информационным мирами является способом описания отношений между слабыми и сильными.
Винер предпочитал смотреть на мир с позиции индивида. Будучи кибернетиком, он принял перспективу слабого деятеля, встроенного в могучую систему и стремящегося извлечь максимальную пользу из своих ограниченных сил. Он включил эту перспективу в свое определение информации. «Информацией мы называем сведения, которыми мы обмениваемся с внешним миром в процессе приспосабливания к последнему и улавливания того воздействия, какое оказывает на внешний мир наше приспосабливание», – писал он в «Человеческом применении человеческих существ». По его словам, информация есть «процесс нашей жизнедеятельности во внешней среде». Иначе говоря, для Винера информация представляла собой способ слабых эффективно справляться с сильными. Та же перспектива отражена в определении информации, данном Грегори Бейтсоном: «различие, имеющее значение», то есть малое различие, имеющее большое значение.
Целью кибернетики считалось создание крошечной модели системы, использующей «слабые токи» для усиления и управления «сильными токами» реального мира. Основная идея заключалась в том, что проблемы управления можно разрешить, построив аналогичную систему в информационном пространстве сообщений, а затем транслировать результат в реальный мир. Для системы управления актуальна концепция усиления, которая делает малое большим, а слабое – сильным. Усиление позволяет создавать различие, принципиально важное для изменения положения дел.
При подобном взгляде на мир система управления должна быть не менее сложной, чем система, которой она управляет. Кибернетик У. Росс Эшби[139] математически доказал, что это именно так, и вывел закон необходимого разнообразия Эшби (порой его называют первым законом кибернетики). Данный закон гласит, что для эффективного управления какой-либо системой орган управления должен быть таким же сложным, как и сама контролируемая система. Потому кибернетики склонны рассматривать системы управления как своего рода аналог систем, которыми они управляют; примером может служить гомункул – гипотетический крохотный человечек в нашей голове, управляющий поведением реального человека[140].
Это представление о тождественности (аналогичности) структур иногда путают с понятием аналогового кодирования сообщений, но указанные идеи различаются логически. Норберт Винер восторгался дифференциальным анализатором Вэнивара Буша; этот прибор можно было настроить так, чтобы он соответствовал структуре любой задачи, которую ему поручали решить, но в нем использовалось цифровое кодирование сигналов. Сигналы возможно упростить для наглядного отражения соответствующих различий, и это обеспечит более точную передачу и более надежное хранение. В цифровом обмене требовалось лишь воспроизводить различие в сигналах, имевшее значение. Именно это различие и кодирование сигналов мы обычно используем для противопоставления «аналога» и «цифры». Цифровое кодирование сигнала полностью соответствовало кибернетическому мышлению – даже его стимулировало. Развитие кибернетики ограничивалось подразумеваемым тождеством структуры контролера и контролируемого. К 1930-м годам Курт Гедель, Алонсо Черч[141] и Алан Тьюринг успели описать универсальные системы вычислений, где для работы не требовалось структурной аналогии с вычисляемыми функциями. Эти универсальные компьютеры также могли вычислять функции управления.
Аналогия структур контролера и контролируемого являлась основополагающей для кибернетической перспективы. Подобно
