У нас в руках оказывается нетронутый запас аудиовизуального восприятия. Насколько он велик? Как волшебные объекты могут использовать нашу способность видеть что-то, расположенное не прямо у нас под носом? Давайте для начала сфокусируемся на визуальном восприятии, раз оно является ключевым методом считывания информации. Благодаря научным исследованиям мы знаем, что наше поле зрения не делится строго на фовеальное (центральный фокус) и периферийное. Данные окулографии показывают, что наши глаза сканируют окружающий мир весьма примечательным образом. Они находятся в постоянном движении, перебегая с одного на другое, фокусируясь то тут, то там. Работа мозга состоит в том, чтобы собирать эти изображения в единое целое в режиме реального времени.
Поразительно, что при этом мозг постоянно фокусируется на лицах. В отличие от других животных человек в состоянии различить мельчайшие детали в лицах и мимике. Эта способность появилась в глубокой древности, помогая нам узнавать своих издалека, отличать друга от врага и говорящего правду от обманщика. Мы обладаем выдающейся способностью считывать информацию с малейших движений рта, глаз и других участков лицевой мускулатуры, мгновенно распознавать цвет глаз, изменения формы, шрамы, морщины и складки.
Все мы догадываемся об этом, но Герман Чернов, почетный профессор прикладной математики в МТИ и профессор статистики Гарварда, провел в 1973 г. весьма остроумный эксперимент, призванный подкрепить наше интуитивное понимание ситуации научными доказательствами1. Чернов попытался связать некоторую условную информацию с выражениями лица, чтобы выяснить, насколько лучше человек запоминает числовые данные, если они увязаны с мимикой. Для чистоты эксперимента ему была необходима такая информация, с которой испытуемые были бы заведомо незнакомы, поэтому он избрал результаты геологических замеров одной из шахт в Колорадо. Выбор был случайным — ни шахты, ни геология не имели никакого отношения к сути эксперимента. Отобрав несколько десятков замеров, он сгенерировал на компьютере изображения лиц, которые соответствовали каждому из них. Как вы уже, вероятно, догадались, изображения несколько разнились между собой — формой рта, разрезом глаз и т.д. Испытуемые оказались в состоянии различать выражения лиц так же легко и последовательно, как разницу между цифрами, и могли выстраивать связи между различными типами «лицевой информации», группируя их по тому или иному признаку.
Общий вывод, который можно сделать из эксперимента Чернова, состоит в том, что наша способность считывать выражения лица может быть использована для значительно более широкого спектра задач, нежели просто распознавание эмоций. Но каких результатов мог бы добиться Чернов, если бы скомбинировал механические навыки распознавания мимических движений с нашими навыками распознавания, толкования и отклика на эмоции? Например, один замер соответствует золотому самородку и закреплен за лицом с жадной ухмылкой, а другой, напротив, означает пустую породу и прикреплен к равнодушному лицу.
Люди обладают столь же развитым навыком распознавания звука, разных его типов, вариаций громкости и частоты, последовательностей и комбинаций. Что, если мы научимся задействовать эти способности более полно в создаваемых волшебных объектах? В то время как испытуемые Чернова обрабатывали большие массивы данных благодаря способности распознавать небольшие мимические движения, мы могли бы попробовать нечто аналогичное в области слухового восприятия — распределить части информации между большим набором звуков и мелодий. Мы уже задействуем эту способность — пусть весьма грубо и искусственно — в том, что касается именных рингтонов, закрепленных за определенными номерами наших записных книжек в мобильных телефонах. Здесь явно кроется большой нереализованный потенциал.
Использование незадействованных способностей для многозадачных взаимодействий
Сколько дел вы можете делать одновременно, используя разные органы чувств? Если вы сфокусированы на выполнении какой-то визуальной задачи, насколько можно загрузить слуховое восприятие? Можете ли вы слушать новости или спортивный матч, писать e-mail или рисовать и следить за детьми одновременно? Насколько эти способности выражены у разных людей? Зависит ли способность делать много дел одновременно от возраста?
Когда я был ребенком, мой отец брал меня с собой в канадскую глушь летом на неделю, чтобы порыбачить. Дорога от нашего родного Мэдисона была неблизкая, и мы всегда слушали аудиокниги и старые радиопостановки на кассетах из библиотеки. Среди последних моими любимыми были «Одинокий рейнджер» и «Тень». В то время я об этом не задумывался, но на самом деле ни мне, ни моему отцу не было сложно следить за повествованием или слушать музыку, потому что слух практически не задействован в процессе вождения. В то время как осязание и зрение у отца были полностью заняты, канал слухового восприятия оставался совершенно свободен.
Незадействованные или не полностью используемые каналы восприятия подкидывают нам новые возможности для создания волшебных объектов. Многие из тех, кто работает с информацией, совершенно не задействуют слуховое восприятие, так как в основном они заняты чтением и ведением записей, электронной перепиской, составлением финансовых моделей, правкой документов и презентаций. Какую дополнительную информацию они могли бы воспринимать на слух, не отвлекаясь от своей основной задачи?
Профессор Технологического института Джорджии Брюс Уокер разработал систему SoundScapes, которая позволяет использовать незадействованное слуховое восприятие для обработки информации. В основе работы системы лежит тот же принцип «лиц Чернова», однако вместо изображений Уокер использует набор звуков природы, за каждым из которых закреплен определенный тип данных о состоянии фондовой биржи.
SoundScapes начинает с общей звуковой темы леса, которая представляет из себя постоянный поток звуков, например, шум речного потока. Как только отслеживаемая информация претерпевает какие-то изменения, скажем, происходит скачок цен на золото, некоторые звуки в общей теме меняются, например, пение птиц становится громче. Если цена продолжает расти, система задействует новые звуки, делая их внутреннюю структуру естественно хаотичной, добавляя динамику во избежание монотонности. С падением цен система убирает звуки один за другим, а если на бирже происходит обвал, в динамиках звучит гром, за которым следует шум дождя2.
Однако даже эта система использует лишь толику нашей способности различать звуки и получать аудиальную информацию. Наиболее очевидный пример колоссальных возможностей этого аппарата — наше восприятие музыки, способность вычленять крошечные детали в строении мелодий, хоть это и требует некоторого навыка. Параллельно с обучением в старших классах и колледже я брал уроки вокала и пел в составе разных хоров: в хоре Sen-Olaf, хоре церкви Святой Троицы и хоре фестиваля Tanglewood. Последний коллектив выступает вместе с Бостонским симфоническим оркестром в музыкальном центре Tanglewood, расположенном в Леноксе, штат Массачусетс. Мне доводилось работать с величайшими дирижерами, такими как Сэйдзи Одзава, Саймон Рэттл и Джеймс Левин. Их музыкальный слух, как фокальный, так и периферийный, был потрясающим. Во время репетиции Сэйдзи, бывало, опускал руки, останавливая весь оркестр и хор — две сотни человек — на полном ходу посреди «Торжественной мессы» Бетховена затем лишь, чтобы сказать гобоисту: «Ваш си минор звучит резковато». Или, печально глядя в сторону моей секции теноров, произносил: «Вам следует четче произносить “к” в слове “кредо”». Или, обращаясь к альтам: «Вы опоздали на четверть в двенадцатом такте». Все эти тонкости и нюансы неразличимы не только для неподготовленного уха — даже профессиональные музыканты отнюдь не всегда могут выловить их в урагане звуков оркестра. Мораль истории в том, что человек может обрабатывать музыкальную информацию в огромных объемах, в том числе и на подсознательном уровне.
Осязание, так же как и слух, относится к числу каналов восприятия, мало задействованных в области технологий очарования. Поэтому я постоянно подталкиваю своих студентов из группы осязаемых медиа в МТИ к использованию тактильных интерфейсов в их проектах. Я уже упоминал куртку, которая может приобнять хозяина. Среди других идей, родившихся в аудитории: мобильный телефон, тяжелеющий по мере накопления голосовых сообщений, ботинки, направляющие ваш шаг в нужном направлении, дверная ручка, которая нагревается, если между людьми в комнате происходит конфликт, и кошелек с замочком, который становится туже по мере приближения к установленному вами лимиту расходов.
Потенциал неисчерпаем. Учитывая площадь нашего кожного покрова, сколько информации мог бы полный комплект одежды с тактильными сенсорами передать своему владельцу? Если мы можем научиться читать шрифт Брайля кончиками пальцев, сколько вообще информации мы можем пропустить через себя посредством простого касания и поглаживания?
