Он знакомит меня с Бреттом — антропоморфным роботом ростом 1,8 метра, созданным компанией Willow Garage, высококлассным производителем робототехники из Кремниевой долины, ныне обанкротившейся. Лаборатория приобрела этого робота несколько лет назад для экспериментов. Имя Бретт (Brett) означает «Робот для выполнения скучных задач, созданный в Беркли (Berkeley Robot for the Elimination of Tedious Tasks)». Бретт — это дружелюбно выглядящее существо с большой, плоской головой и широко расположенными камерами вместо глаз, широким корпусом, двумя руками с клешнями на концах и колесами вместо ног. Сейчас для Бретта нерабочее время, он стоит в центре лаборатории с таинственной, тихой грацией выключенного робота. Рядом на полу стоит коробка игрушек, которыми Эббил и студенты учат Бретта играть: деревянный молоточек, пластиковый самолет, несколько огромных Lego-блоков. Бретт — один из множества роботов в лаборатории. В другой офисной кабинке безымянный полуметровый робот свисает со спинки стула на веревке. Внизу в подвале держат промышленного робота, которому каждый день часами дают играть в аналог песочницы для роботов только для того, чтоб посмотреть, сможет ли он научиться чему-нибудь сам. Через дорогу, в другой лаборатории Беркли, хирургический робот учится сшивать человеческую плоть, пока аспирант учит дронов самостоятельно огибать препятствия. «Мы не хотим, чтобы дроны врезались в окружающие вещи и падали с неба, — говорит Эббил, — мы пытаемся научить их видеть».
Промышленные роботы уже давно программируются на конкретные задачи: подвинуть руку на 6 дюймов влево, взять модуль, развернуться вправо, вставить модуль в печатную плату. Повторять 300 раз каждый час. Эти машины не умнее самой обычной газонокосилки. Но за последние годы прорыв в области обучения машин — создание алгоритмов, в общих чертах имитирующих работу человеческого мозга и позволяющих машинам учиться самостоятельно — дал компьютерам исключительную возможность распознавать речь и зрительные образы. Задача Эббила состоит в том, чтобы наделить роботов чем-то вроде общего уровня развития, позволившего бы им понять мир и научиться выполнять работу самостоятельно. Впереди у него долгий путь. «Способность к обучению у роботов не может сравниться даже с уровнем 2-летнего ребенка», — рассказывает Эббил. К примеру, Бретт научился выполнять такие простые задачи, как завязывание узла или складывание белья для стирки. Вещи, которые легко получаются у людей, например, распознавание в скомканном кусочке ткани на столе полотенца, даются роботам с большим трудом. Отчасти это происходит потому, что роботам не знакомо понятие здравого смысла, у них нет воспоминаний о предыдущих попытках сложить полотенце, и, самое главное, у них отсутствует общее представление о том, что такое полотенце в принципе. Все, что видит робот — это цветной комок.
Чтобы обойти эту проблему, Эббил изобрел самообучающийся алгоритм, на который его вдохновили кассеты с видеоуроками по психологии, где дети постоянно изменяли подход к решению задачи, чтобы ее выполнить. Сейчас, когда Бретт сортирует одежду для стирки, он делает похожую вещь: хватает скомканное полотенце своими руками-клешнями, пытается понять, какой оно формы и как его складывать. Звучит примитивно, и так оно и есть. Но затем ты прокручиваешь эту мысль в голове еще раз: Робот учится складывать полотенце.
Все это жутковато и напоминает мир Франкенштейна. Сложность задач, которые могут выполнять разумные машины, растет в геометрической прогрессии. Куда в конечном счете это нас приведет? Если робот может научиться самостоятельно складывать полотенце, научится ли он когда-нибудь готовить вам ужин, выполнять хирургические операции, или даже вести войну? Искусственный интеллект вполне может помочь решить самые сложные проблемы, с которыми приходится сталкиваться человечеству — рак или глобальное потепление, но в ближайшем будущем вполне возможно, что он может поспособствовать расширению возможностей слежки, разрушению границ личного пространства, а также наделению телемаркетологов еще большими возможностями. Кроме того, есть и более серьезные вопросы: будут ли машины когда-либо способны мыслить самостоятельно, обдумывать проблемы, испытывать эмоции? Никто не знает. Восстание разумных машин не похоже ни на одну другую научно-техническую революцию, поскольку на карту может быть поставлено существование самого человечества. Возможно, мы находимся на грани создания новой формы жизни, которая может обозначить не только эволюционный прорыв, но и потенциальную угрозу продолжению существования человечества как вида.
Бретт («Робот для выполнения скучных задач, созданный в Беркли») — антропоморфный робот, который научился строить и сортировать объекты. Фото: Спенсер Лоуэл
Эббил ведет меня к своему офису — рабочему месту без окна — где он рассказывает о недавних достижениях компании DeepMind — стартапа в области ИИ, который был куплен компанией Google в 2014 году предположительно за $400 миллионов. Пару лет назад DeepMind потрясли научное сообщество, обучив компьютер играть в видеоигры, например, в Space Invaders от Atari, лучше любого человека. Но, что удивительно, это было сделано без программирования компьютера на понимание правил игры. Это не было похоже на то, как Deep Blue (шахматный компьютер — прим. Newочём) победил человека в шахматы, когда правила игры были занесены в его программу. Все, что было известно компьютеру — нужно набрать наибольшее количество очков. Компьютер пользовался особым методом обучения — обучением с подкреплением, который сродни тому, как мы хвалим пса, говоря ему «хороший мальчик», когда тот сделал что-то правильно. Таким образом, компьютер пробовал разные стратегии в игре и выучил все правила сам. Уже через несколько часов он мог играть на сверхчеловеческом уровне. Это стало главным прорывом в области искусственного интеллекта — момент, когда компьютер впервые самостоятельно обучился сложному навыку.
Это заинтриговало ученых из лаборатории Эббила, и они решили поэкспериментировать с алгоритмом обучения с подкреплением, похожим на тот, что они написали, чтобы помочь роботам научиться плавать, прыгать и ходить. Как он будет работать с видеоиграми? К их удивлению, способ, известный как алгоритм доверительной области (Trust Region Policy Optimization) или TRPO, достиг почти таких же хороших результатов, как алгоритм DeepMind. Другими словами, TRPO обнаружил способность к обучению в обобщенном виде. «Мы обнаружили, что TRPO может побеждать людей в видеоиграх, — рассказывает Эббил, — а не просто учить робота ходить».
Эббил показывает видео. На нем программа-симулятор робота. На первых кадрах показывают робота, лежащего на черно-белом клетчатом полу. «Помни, что это тот же алгоритм, что и в видеоиграх». Роботу поставили три задачи: пройти так далеко, как это возможно, не топать слишком сильно и держать корпус не ниже определенной высоты. «Он не знает, что такое ходьба, — рассказывает Эббил. — Он не знает, что у него есть руки и ноги — ничего подобного. У него есть только цель. Он должен догадаться, как ее достигнуть».
Эббил нажимает на кнопку и симуляция начинается. Робот корчится на полу, не понимая, что он делает. «Теоретически, он мог бы решить пойти, прыгнуть, или поскакать,» — говорит Эббил. Но алгоритм в режиме реального времени «учится» тому, что если он поставит ноги перед собой, то сможет двигаться вперед. Это позволяет роботу анализировать свои предыдущие действия и выбирать из них то, которое привело к наилучшему результату. В соответствии с этим робот отстраивает последующее движение. Вскоре робот начинает плестись, раскачиваясь, будто пьяный. Он подает корпус вперед, падает, снова поднимается, делает несколько шагов, и опять падает. Но постепенно он встает и начинает, спотыкаясь, бежать к цели. Заметно, как он будто бы набирается уверенности, ставя ноги впереди себя, двигаясь все плавнее и быстрее. Робот не знает, что он бежит. Он не был запрограммирован на то, чтобы бежать. Но, несмотря на это, он бежит. Он самостоятельно вычислил, как балансировать и управлять конечностями. Это не просто удивительно — это невероятно. Как смотреть на рыбу, которая за 40 секунд превращается в человека.
«Робот выглядит почти что живым, когда он движется и делает первые шаги», — делюсь я своими впечатлениями.Несмотря на то, каким показывают искусственный интеллект в книгах и фильмах, это не синтетический мозг, который плавает где-то в пространстве, погруженный в синюю жидкость. Это алгоритм — математическое уравнение, которое говорит компьютеру, какие функции он должен выполнить (представьте себе это как кулинарный рецепт для машин). В XXI веке алгоритмы значат то же, что в XIX веке значил уголь — это двигатель нашей экономики и топливо для современной жизни. Без алгоритмов не работал бы ваш телефон. Не было бы ни Facebook, ни Google, ни Amazon. Алгоритмы составляют расписания полетов и затем управляют самолетами, они же помогают врачам ставить диагнозы. «Если бы все алгоритмы внезапно перестали работать, это положило бы конец миру, каким мы его знаем», — пишет Педро Доминьос в своей книге «Универсальный Алгоритм» — популярном труде о машинном обучении. В мире ИИ открытие того самого алгоритма, который позволит машинам понимать мир — это своего рода Святой Грааль, цифровой эквивалент Стандартной Модели в физике, при помощи которой ученые пытаются объяснить, как работает вселенная.
«Почти что», — улыбается Эббил
Демис Хассабис из Google DeepMind в офисе в центральном Лондоне. Хассабис — нейробиолог, дизайнер компьютерных игр и игрок мирового класса. Он является ведущим британским исследователем в области ИИ. Фото: Мэтт Риттл/Redux
Математические алгоритмы существуют уже на протяжении тысячелетий и лежат в основе современных методов программирования. В компьютер вводят данные, он делает свою работу, и алгоритм выдает результат. Ученые смогли вывернуть этот процесс наизнанку, позволив компьютерам писать свои собственные алгоритмы. Предположим, вы бы хотели совершить полет на вертолете вниз головой: вы пишете алгоритм, который дает компьютеру информацию о системе управления вертолетом (входные данные), потом даете указания о том, как именно и под каким углом вы бы хотели лететь (требуемый результат), и вуаля — компьютер выдает алгоритм, который указывает вертолету, как лететь вниз головой. Этот процесс, называемый машинным обучением — идея, которая стоит за ИИ; если машина может обучить себя управлять вертолетом так, чтобы он летел вниз головой, возможно, она также способна научиться делать другие вещи — например, найти вам любовь на Tinder или распознать ваш голос в разговоре по iPhone, или же, если говорить о маловероятном будущем, превратиться в Skynet, штампующий Терминаторов. «Искусственный интеллект — это наука о том, как научить машины мыслить», — считает Демис Хассабис, сооснователь DeepMind.
Конечно, мы уже окружены умными машинами. При использовании Google Maps алгоритмы находят кратчайший путь и высчитывают время простоя в пробках, основываясь на данных реального времени и упреждающего анализа движения. Способность Google Voice распознавать вашу речь основывается на нейронных сетях — типе машинного самообучения, который позволяет компьютерам превращать ваши слова в биты звука, сравнивать их с другими битами и понимать ваши вопросы. Facebook борется с нежелательным контентом, сканируя миллионы картинок программами для распознавания изображений, которые отмечают видео с отсечением голов и фотографии пенисов.
Куда приведет улучшение умных машин? У жизни на Земле ушло три миллиарда лет, чтобы выползти из ила и достичь разумного состояния. Компьютерам же понадобилось шестьдесят лет, чтобы развиться от куска кремния до устройства, способного вести машину через всю страну или распознавать лица в толпе.
Еженедельно сообщается о новых открытиях: в январе выяснилось, что в DeepMind разработали алгоритм, обыгравший чемпиона Европы по го — древней китайской настольной игре, которая в несколько раз сложнее шахмат (алгоритм, получивший название AlphaGo, сразится с чемпионом мира в середине марта). Конечно, люди приложили руку к столь быстрой эволюции, но трудно не задуматься о том, что мы достигли переломного момента в развитии умных машин. Стоим ли мы на грани зарождения нового вида? Сколько времени пройдет, прежде чем машины станут умнее нас?
Маск утверждает: «Возвышение умных машин вызывает серьезные вопросы о роли человека и о том, какое будущее мы создаем для себя, и на эти вопросы нужно ответить»Как отмечает Илон, наша зависимость от машин является фактом:
«Мы уже киборги. Просто попробуйте выключить свой телефон ненадолго, и вы поймете, что такое фантомные боли»Сверхразумным машинам не обязательно быть злыми, чтобы представлять угрозу.
«Настоящим риском работы с ИИ является не злой умысел, а компетентность. Сверхразумные ИИ будут очень хороши в достижении своих целей, и если их цели не совпадут с нашими, у нас возникнут проблемы. Вы вряд ли ярый ненавистник муравьев, который давит их из злобы, но если вы руководите гидроэлектрическим проектом добычи чистой энергии, и вам нужно затопить муравейник неподалеку, то это проблемы муравьев. Давайте не будем ставить человечество в положение таких вот муравьев», — заявил недавно физик Стивен ХокингНесмотря на развитие умных алгоритмов и появление более умелых роботов, будущее сверхразумных машин все еще ближе к научной фантастике, чем к самой науке. По словам Яна Лекуна, главы исследований ИИ Facebook, «ИИ сейчас не умнее крысы». Да, спустя годы программирования и миллионы долларов IBM построили Watson — машину, обыгравшую умнейших людей в Jeopardy! в 2011 году и ставшую основой для программы «когнитивных вычислений». Она может читать 800 миллионов страниц в секунду и сохранить всю Википедию, не говоря уже о статьях в выпускающихся десятилетиями журналах по праву и медицине. И все же она не может научить вас вождению мотоцикла, поскольку узколоба — машина понятия не имеет, как на самом деле работает мир. Одна из самых сложных ИИ-программ, Aristo из института искусственного интеллекта Аллена в Сиэтле, не может понять предложение типа «Люди дышат воздухом». Чтобы осознать его смысл, надо знать общие вещи о мире — этого знания у машины нет. Даже если б она сумела подобрать слова, программа не знает, является ли вдыхание воздуха залогом людской жизни: дышат ли они раз в минуту или раз в жизни. Впечатляющие успехи вроде Skype Translator (все еще на стадии превью), который позволяет пользователям вести разговоры на разных языках в реальном времени, также нуждаются в доработке. В одном из таких разговоров с жителем Италии мои замечания о погоде были переведены как замечания о Библии.
Чемпионы Jeopardy! Кен Дженнингс и Брэд Раттер беспомощно смотрят на то, как компьютер IBM Watson властвует на поле.
Фото: Сет Венинг/AP
Это не дает повода сказать, что риск восстания умных машин необоснован, или что Скайнет не появится однажды из каких-нибудь точек данных (элементарная единица в массиве каких-либо данных, например рост одного конкретного человека — прим. Newочём), которые мы и вообразить вряд ли сможем. Автономное оружие вроде беспилотников, которые могут самостоятельно убивать людей с помощью технологии распознавания лиц и других данных, является реальной угрозой. Но они не угрожают существованию человечества. И вряд ли какой-нибудь хакер из Северной Кореи внезапно создаст новый алгоритм, который позволит Ким Чен Ыну устроить атаку Терминаторов на мир. В данном контексте ИИ — это не айфон, где вы пишете новое приложение и больше ничего не делаете. Скорее, это создание Интернета как такового — процесс, который потребует очень много времени и множество последовательных шагов. Как мне недавно объяснил Эндрю Ын, руководитель исследований в китайском аналоге Google — Baidu,
«волноваться о роботах-убийцах — это как волноваться о перенаселении на Марсе; у нас полно времени на то, чтобы с этим разобраться»Собственно, проблема с гиперболой о роботах-убийцах в том, что она маскирует реальные опасности, которые грозят нам с развитием умных машин — потери рабочих мест ввиду замещений рабочих роботами, распространение автономного оружия в боевых действиях и простой факт, что чем больше мы зависим от машин, тем опаснее становятся перебои, будь они вызваны техническими неполадками или китайским хакером.
Дело в отчуждении, которое возникнет из-за жизни в мире, где мы общаемся с машинами больше, чем с людьми, а искусство превращается в стройный алгоритмичный сигнал. Век ИИ также принесет с собой глубокие проблемы приватности, не только со шпионящими дронами над головой, но и с корпорациями, которые будут отслеживать каждый ваш шаг, чтобы всучить свой товар. Как выразился Марсело Ринези, технический директор в Институте этики и новых технологий,
«будущее не за роботами, втаптывающими человечество в грязь. Будущее за миром, где во всё вокруг вас встроен маленький специалист по продажам, который знает о вас всё и никогда не прекратит продавать вам всякий хлам»Также гипербола отвлекает от пользы, которую может принести глубокий союз с машинами. Большинство ученых вроде Демиса Хассабиса из DeepMind верят, что если мы дадим машинам разум, они смогут помочь нам в решении как серьёзных проблем эпидемий и здравоохранения, так и научных вопросов глобального потепления и физики. Эрик Хорвитц из Microsoft считает работу над ИИ ещё более значимой:
«Вопрос для человечества в том, исчислим ли его опыт? И если так, что мы узнаем о себе как жителях планеты, изучая работу своего разума? И что мы можем сделать с этими знаниями о себе?»Технологические революции внушают страх — иногда обоснованный, иногда нет. Во время промышленного переворота британские текстильщики ломали машины, боясь, что те отберут у них работу (что и случилось). В начале века электричества люди верили, что провода могут вызывать безумие (что оказалось неправдой). А в 50-ых годах изготовители техники ждали появления ядерных пылесосов.
ИИ долго страдал от страхов, которые намного опережали саму науку. В 1958 году, с появлением «перцептрона» — первой так называемой нейросети — одна газета предположила, что вскоре это приведет к появлению «мыслящих машин», которые смогут размножаться и быть разумными. В 1960-ых, когда Джон Маккарти, ученый, которому принадлежал термин «искусственный интеллект», предложил новый исследовательский проект чиновникам из Пентагона, он заверил их, что создание системы ИИ займет около десятилетия. Когда прогноз не оправдался, в сфере изучения ИИ начался упадок. Этот период 1970-1980-х годов известен как «закат ИИ».
Но закат кончился. Во-первых, продолжительный подъем в вычислительных способностях компьютеров наряду с падениями цен обеспечили мощность, в которой нуждались сложные ИИ-алгоритмы. Новый вид чипов, известный как графический процессор, — который изначально создавался для видеоигр — был особенно важен для работы нейросетей, между нейронами которых могут пролегать сотни миллионов узлов.
Во-вторых, появились большие массивы данных. Как и у людей, разум машин надо обучать. Мозг человека, который генетически настроен сортировать вещи, всё ещё нуждается в примерах из жизни, прежде чем он сможет различать кошек и собак. Это ещё более истинно для обучения машин. Для того, чтобы прорыв DeepMind с Го и играми от Atari стал реальностью, компьютеры нарабатывали опыт, играя в тысячи игр. Массивные базы данных, терабайты сохраненной информации, десятилетия результатов поиска и вся цифровая вселенная стали учителями, которые сейчас делают ИИ умными.
Исследователи из лаборатории обучения роботов в Беркли работают над созданием машин, которые могут учиться сами и однажды сумеют достичь полной разумности.
Фото: Спенсер Лоуелл
В прошлом попытки создания мыслящей машины были, по большей части, теоретическим упражнением для философов и программистов. «Сегодня отличие в том, что эти идеи работают. Facebook, IBM, Microsoft — все их используют. И они приносят деньги», — говорит Лекун. Сегодня лидерство за компанией с лучшими данными и алгоритмами обучения. Даже отличие в полпроцента переходов может принести огромное количество денег компании, чей доход достигает 50 миллиардов долларов в год. Распознавание изображений, которое зависит от машинного обучения, является отраслью суровой конкуренции между Apple, Microsoft, Google и облачными службами вроде Dropbox. Другой такой отраслью является улучшение распознавания речи. Компания, которая первой сможет добиться того, чтобы разговор с машиной был так же натурален, как и разговор с человеком, получит большое преимущество.«Голосовой интерфейс станет таким же важным и информативным, как использование касания в гаджетах» — уверен Ын из Baidu. Google и Apple скупают все стартапы, создатели которых обещают разработать более умные программы-помощники, а искусственный интеллект становится ключевым элементом в самоуправляемых автомобилях, которые будут иметь колоссальное значение в автомобильной индустрии и в перспективе полностью изменят картину и атмосферу городов — после того, как больше не будет надобности в площадях для парковки личных автомобилей.
«ИИ у всех на устах, — воодушевленно рассказывает Джейсон Калаканис, предприниматель из Сан-Франциско. — Вы только упоминаете „искуственный интеллект“ в своем бизнес-плане, и все уже следят за вами. Это просто хит сезона»Такие скептические нотки вполне оправданы. ИИ может распознать кота на фотографии, или разбирать слова, пока вы говорите. Но восприятие и размышление — вещи разные. Зрение и мысль — не одно и то же. И развитие своих навыков игры в Го не сравнится с жизнью в реальном мире. Для того, чтобы искусственный интеллект считался разумным, а тем более опасным, сначала необходимо научить его рассуждать. Или хотя бы привить ему здравый смысл. А исследователям еще предстоит долгий путь до изобретения чего-либо, что хотя бы каким-то образом напомнит человеческое сознание или мышление.
«Мы преодолели одно препятствие, теперь мы знаем, как программировать зрительное восприятие, и это работает, — рассказывает Лекун, — Хорошая новость в том, что у нас много идей о том, как перейти к следующему шагу, и надеюсь, что эти идеи сработают. Но это как ехать по шоссе со скоростью 80 км/час в полном тумане и знать, что где-то там есть кирпичная стена, которую мы не видим. Поэтому сейчас мы просто рады ехать, пока не кончится бензин».
Макс Тегмарк, 48-летний физик из Массачусетского Технологического Института, пострижен «под горшок» и обладает мальчишеским пылом, благодаря чему он выглядит моложе своих лет. Гостиная в его двухэтажном пригородном доме недалеко от Бостона обставлена скудно, на стенах — картины уток и лесных сурков. Тегмарк занимается физикой и космологией, поэтому у него тоже есть свои странности. Больше всего он известен своим исследованием идеи о параллельных вселенных, которая заключается в том, что вселенных может быть великое множество, и не все они подчиняются привычным законам физики. Он признает, что такая гипотеза находится на грани традиционной науки. Но Тегмарк (который на своем сайте оценивает все грандиозные промахи в своей жизни по шкале от 0 до 20) принимает эту идею с головокружительным энтузиазмом. За последние несколько лет он стал одним из самых заметных голосов, предупреждавших об опасности ИИ, вышедших из-под контроля.
Как-то этим летом мы сидели в столовой Тегмарка, обсуждая риски, связанные с развитием ИИ, а также работой ученого в основанном им институте Future of Life, охарактеризованном им как «волонтерская исследовательская организация, работающая над смягчением стоящих перед человечеством экзистенциальных рисков». И хотя в состав института входят такие светила, как Стивен Хокинг, в целом это довольно узкая группа друзей и коллег Тегмарка, которые встречаются в его гостиной раз в несколько месяцев. Институт, функционирующий на средства фонда Open Philanthropy Project и подаренные Маском $10 млн, финансирует исследования, целью которых является максимальное развитие ИИ и объяснение людям рисков высоких технологий. Спустя несколько дней после того обеда Институт опубликовал открытое письмо, которое потом выпустили издания The New York Times и The Washington Post, предупреждающее об опасностях автономного оружия. «Как только какая-нибудь военная держава начнет проталкивать производство оружия с искусственным интеллектом, мировая гонка вооружений станет неизбежной. Автономное оружие станет Калашниковым завтрашнего дня», — утверждается в письме. Под обращением подписалось более 20 000 человек, включая таких ученых и предпринимателей, как Хокинг, Маск, сооснователь Apple Стив Возняк и нобелевский лауреат Фрэнк Уилчек.
Макс Тегмарк, профессор физики в Массачусеттском Технологическом Институте, и член института Илона Маска Future of Life, который финансирует исследования, делающие ИИ безопаснее. Фото: Джош Рейнольдс/Getty
В январе 2015 года, Тегмарк организовал первую крупную конференцию по рискам, связанным с ИИ. (Стоит заметить, что Тегмарк является физиком, а не информатиком. На самом деле, тревогу бьют в основном предприниматели, философы, писатели-фантасты, и ученые, не работающие над искусственным интеллектом.) Трехдневное мероприятие в Пуэрто-Рико собрало множество исследователей и ученых, а также предпринимателей вроде Маска. Обсуждение было проведено по модели Конференции по Рекомбинантной ДНК в Асиломаре в 1975 году, которая запомнилась как эталон дискуссии касательно опасности синтетической биологии и клонирования. По словам некоторых участников конференции, одной из главных тем, обсуждавшихся в Пуэрто-Рико, был вопрос о том, сколько времени пройдет, прежде чем ИИ достигнет уровня человеческого интеллекта или даже превзойдет его. На одной стороне спора первопроходцы в сфере ИИ вроде Эндрю Ына утверждали, что до этого момента еще сотни лет; другие, как Маск и Стюарт Рассел, профессор информатики в Калифорнийском Университете Беркли, заявляют, что это может произойти намного раньше. «Средним значением этих предположений в Пуэрто-Рико стало около 40 лет», — заключает Тегмарк.
Как и Хокинг, Тегмарк не верит, что сверхразумные машины обязательно должны быть опасными. «Мы хотим создавать компьютеры, которые не просто будут иметь какие-то цели, а именно совпадающие с нашими, — поясняет он. — Если у вас есть самоуправляемый автомобиль с распознаванием речи, и вы говорите ему: „Отвези меня в аэропорт как можно скорее“, конечно он довезет, но в поездке вас будут преследовать вертолеты, а сами вы будете покрыты рвотой. Потом вы скажете: „Я так вообще не хотел“. А автомобиль ответит: „Ты сам попросил меня сделать это“».
Тегмарк верит, что о таких вещах важно думать сейчас, отчасти потому, что неясно, как быстро будет развиваться ИИ. Может, пройдет 100 лет, прежде чем он будет обладать хоть какими-то свойствами человеческого разума. А может, всего 10 лет. Тегмарк приводит пример с исследованием атома. «Задумайтесь о том, что случилось с атомной бомбой. Когда ученые принялись работать над ней, если бы они могли знать наперед, что она будет означать для всего мира, и приняли бы меры предосторожности — разве сегодняшний мир не был бы лучше? А может, это вообще ничего бы не изменило?».
Куда бы вы ни пошли, будьте готовы к тому, что на вас нацелена камера. Они расположены на улицах, на дронах и в большинстве из примерно четырех миллиардов телефонов на планете. В 2012 году ФБР запустила систему идентификации нового поколения , которая стоила один миллиард долларов и с помощью алгоритмов собирала изображения лиц, отпечатков пальцев и других биометрических данных миллионов американцев, делая их доступными 18 000 органам правопорядка.
Ничего из этого не было бы возможно — или хотя бы эффективно — без работы Лекуна. В мире ИИ Лекун ближе всех к статусу рок-звезды, будучи одним из трех первых разработчиков ИИ, которые создали алгоритмы для распознавания изображений. Лекун никогда не работал на органы правопорядка и предан идее гражданских прав, но это не имеет значения — после появления на свет технология начинает жить своей жизнью.
В наши дни Лекуна можно найти в офисе Facebook в пригороде Манхэттена. В помещении, размером с баскетбольную площадку, ровные ряды людей таращатся в мониторы под фракталами на стенах. ИИ-лаборатория Лекуна расположена в углу, её двадцать с лишним сотрудников неотличимы от прочих трудяг Facebook. (На его лабораторию работает ещё двадцать пять человек в офисах Кремниевой долины и Парижа) Лекун сидит за длинным рядом столов, плечом к плечу с командой. Выглянув в окно, он может краем глаза увидеть здание, где хранится IBM Watson.
В джинсах и рубашке поло, Лекун показывает мне лабораторию со спокойным, «профессорским» выражением на лице. Он вырос в пригороде Парижа, но его акцент едва ощутим. «Я сочетаю в себе всё, что презирают религиозные правые — ученый и атлет, человек левых взглядов (по американским стандартам), профессор в университете и француз», — бахвалится он на своем сайте. Он воспитывает троих детей и возится с моделями самолетов по выходным.
Лекун был первооткрывателем в глубинном обучении — подвиде машинного обучения, который совершил революцию в области ИИ. Работая над получением степени бакалавра в 1980, он прочитал о «персептроне» 1958-го и предсказании алгоритмов нейросети, которые позволят машинам «воспринимать» такие вещи, как изображения и слова. Сети, которые имитируют структуру нейронных проводящих путей нашего мозга — это алгоритмы, использующие сеть нейронов или «узлов», для взвешенного статистического анализа вводных параметров (которые могут быть чем угодно — числами, звуками, изображениями). Увидев потенциал сетей, Лекун посвятил свою диссертацию обучению нейросетей автоматической настройке на более точное распознавание последовательностей — создавая в конце концов алгоритмы, которые сейчас позволяют кассовым аппаратам считывать чеки. В последующие годы усовершенствование нейросетей другими программистами было технологическим фундаментом для практически каждого этапа развития «умных машин», от машинного распознавания образов в беспилотных автомобилях до распознавания речи в Google Voice. Лекун будто создал нервную систему для искусственной жизни.
Несмотря на название, Лекун считает, что нейросети не являются попыткой подражать мозгу.
«Это не самое новое, не самое великое и не самое свежее открытие в нейробиологии. Это очень базовая вещь. Если вы строите самолеты, вас могут вдохновить птицы, потому что они умеют летать. Даже если вы мало что знаете о птицах, вы можете понять, что у них есть крылья и они двигаются в воздухе. Но строить самолет — не то же самое, что строить птицу. Вам придется отказаться от генетических принципов — но вы не можете отказаться от генетических принципов, изучая детали работы биологии»По мнению Лекуна, это недостаток большинства нынешних исследований мозга, включая расхваленный в Европе проект «Мозг человека», десятилетнюю затею стоимостью в 1.3 миллиарда долларов, которая должна раскрыть тайны мозга, симулируя работу 86 миллиардов нейронов и 100 триллионов синапсов на суперкомпьютере. «Идея в том, что если вы изучите каждую деталь работы нейронов с синапсами и как-то повторите процесс на достаточно больших сетях, у вас получится ИИ. Я считаю, что это полное безумие», — рассказывает он.
После работы в лабораториях Bell, Нью-Джерси, Лекун десять лет проработал преподавателем в университете Нью-Йорка. В 2013 Марк Цукенберг заманил его в Facebook, отчасти благодаря тому, что Лекун смог остаться на полставки в университете. «Марк сказал мне — “Facebook работает уже десять лет, нам нужно думать о следующих двадцати: Как будет выглядеть связь между людьми и цифровым миром?” Он был убежден, что ИИ сыграет в этом большую роль и что будет очень важно иметь возможность организации взаимодействий между людьми и цифровым миром с помощью разумных систем. И когда кто-то говорит тебе “Создай исследовательскую организацию с нуля”, отказаться трудно», — вспоминает Лекун.
Ян Лекун — первопроходец в работе с ИИ в Facebook.
Фото: Деннис аллард/REA/Redux
Лекун не скажет, насколько много средств Facebook инвестировал в лабораторию ИИ, но она признана одной из самых амбициозных в Кремниевой долине. «Бóльшая часть наших исследований искусственного интеллекта сфокусирована на понимании того, чем люди делятся, — написал Цукерберг во время сессии в формате «вопрос-ответ» на вебсайте. — Например, когда вы выкладываете фотографию, на которой запечатлен ваш друг, мы должны убедиться, что ваш друг ее увидит. Если вы выкладываете фото собаки или пишете пост о политике, мы должны это понимать, чтобы показать эти посты и помочь вам познакомиться с людьми, которые тоже любят собак или политику. Чтобы это все работало действительно качественно, нашей целью является построить системы ИИ, которые превосходят человеческие органы чувств: зрение, слух, и так далее». В январе Цукерберг заявил, что его личная задача на 2016 год — разработать простой ИИ, который будет управлять его домом и поможет ему в работе: «Это будет что-то вроде Джарвиса из Железного Человека».
Лекун утверждает, что один из лучших примеров работы ИИ в Facebook это новое приложение Moments, которое определяет ваших друзей через распознавание лиц и позволяет отправлять им фотографии. Но менее развитые системы ИИ встроены во все сферы компании: начиная с анализа изображений, заканчивая тем, что ИИ отслеживает, какие страницы вы обычно просматриваете, чтобы определить, статусы каких друзей показывать вам в первую очередь. Также ИИ используется для управления безумным количеством данных, с которыми работает Facebook. Пользователи загружают по два миллиарда фотографий и просматривают по восемь миллиардов видео каждый день. Компания использует метод преобразования с помощью ИИ, чтобы разбить файлы по видам и сделать их «легче». Выигрыш не кардинален, но он приводит к большей эффективности и сохранить значительные объемы памяти.
Несмотря на все успехи, Лекун понимает, что это лишь крохотные шаги на пути к общему интеллекту. Даже с распознаванием изображений, которое в последнее время значительно улучшилось, существуют некоторые проблемы: ИИ-программы вводят в заблуждение тени, отражения и различия в пикселизации. Но самым большим препятствием является то, что называется «неконтролируемым обучением». В данный момент машины в основном совершенствуются посредством «контролируемого обучения», когда системе показывают тысячи картинок, например, котика, пока она не поймет все атрибуты кошек. Другой, менее распространенный метод — это укрепляющее обучение, когда компьютеру дают информацию для идентификации, он принимает решение, и затем ему говорят, прав он или нет. Неконтролируемое обучение не требует ответной реакции или вводных данных, основываясь на чем-то вроде искусственной интуиции. «Так учатся люди. Мы наблюдаем, делаем выводы и добавляем их к своим знаниям. Всё это один большой орешек, который нам надо расколоть», — утверждает Лекун.
В воздухе витает идея того, что бесконтрольное обучение должно быть основано на предсказании. «Если я покажу тебе короткое видео и затем спрошу, что произойдет в следующую секунду, ты, скорее всего, догадаешься», — говорит Лекун. Объект, плавающий в воздухе обязательно упадет — тебе не нужно много знать о мире, чтобы предсказать это. «Но если мы говорим о детективной истории, и я спрошу тебя, кто убийца, а затем попрошу сказать, чем закончится фильм, тебе потребуется достаточно много информации о том, что происходит в фильме, — считает Лекун. — Предсказание есть суть интеллекта. Как вообще мы можем построить машину, которая, посмотрев фильм, сможет описать, каким будет следующий кадр, не говоря уже о том, чтобы сказать, что случится через полчаса, где будут находиться объекты, сам факт того, что эти объекты существуют, и что мир трехмерен — все, что мы знаем о физических ограничениях мира?»
Одно из решений, над которым работает Лекун, состоит в том, чтобы представлять все содержимое Facebook в виде вектора, что позволит компьютерам задавать точку координат в пространстве. «Среднестатистические векторы, которыми мы пользуемся для передачи таких идей, как „изображение“, имеют размер около четырех тысяч величин. По сути, это лист с четырьмя тысячами чисел, в которых заключены все характеристики изображения», — объясняет Лекун. Векторы могут представлять изображение, текст или список человеческих интересов. Компьютерам легко искать и сравнивать их, поскольку векторы сжаты до числа. Если человеческий интерес представлен вектором, который соответствует вектору изображения, то, скорее всего, человеку понравится это изображение. «В сущности, это сводит логический ход мысли к геометрии», — считает Лекун.
Что касается связанных с ИИ опасностей, Лекун считает их «очень далекими от реальности». Он находит ошибочным мнение о том, что машины смогут развиться и начать показывать признаки человеческого интеллекта или человеческих эмоций:
«Большая часть плохих вещей происходит из-за того, что человеческим поведением заведуют инстинкты — желание жить, размножаться и избегать боли. Нет причин думать, что роботы обзаведутся тем же инстинктом самосохранения, что есть у человека, если только мы сами его в них не встроим. Но они смогут обладать эмпатией, ведь мы заложим ее в них, чтобы они смогли общаться с людьми должным образом. Вопрос в том, какие именно низкоуровневые механизмы и стереотипы поведения следует заложить в машины, чтобы они стали продолжением нашего интеллекта, нежели его заменой»На пути из офиса Facebook меня поразило, как плотно заполнен офис — это империя людей и машин, работающих вместе. Сложно представить, что будущее будет каким-либо другим, независимо от того, насколько продвинутыми станут наши роботы. «Алгоритмы создаются людьми, и они отображают склонности своих создателей», — считает Джарон Ланир, известный писатель и ученый в области компьютерных наук. Как бы то ни было, будущее будет таким, каким его придумаем мы сами. Перефразируя известное изречение о трех китах и устройстве вселенной: мир стоит на людях.
Странное это чувство: разъезжать по Кремниевой долине в никем не управляемой машине. Я нахожусь на заднем сиденье одного из беспилотных автомобилей Google — переоборудованный внедорожник Lexus с лазерами, радаром, и камерами низкого разрешения, установленными на крыше и в передней части авто, — пока он маневрирует по улицам Маунтин-Вью, штат Калифорния, что недалеко от штаб-квартиры Google. Я вырос в восьми километрах отсюда и помню, как ездил по этим улицам на своем велосипеде Schwinn Sting-Ray. А сейчас меня «везет» алгоритм — математическое уравнение, которое, будучи внесенным в компьютерный код, управляет автомобилем. Автомобиль не кажется опасным, также не чувствуется, что он управляется человеком. Он тормозит до полной остановки на всех знаках «СТОП» (ни один калифорниец так не делает), начинает объезжать развозной фургон слишком рано и тормозит без причины, когда мы проезжаем вдоль припаркованных машин.
Может это я ошибаюсь, а не машина, которая реагирует на что-то, чего я не замечаю? Автомобиль в состоянии засечь бегущую кошку или машину, пересекающую улицу в сотнях метрах и в любом направлении от него в любое время суток (мы сейчас не учитываем снег или туман). «Он видит намного лучше человека», — с гордостью рассказывает Дмитрий Долгов, ведущий разработчик ПО в проекте беспилотных автомобилей Google. Он сидит за рулем, положив руки на колени. На всякий случай.
Мы останавливаемся на перекрестке и ждем поворота налево, а я гляжу в ноутбук, который лежит на пассажирском кресле и в реальном времени показывает, как автомобиль воспринимает информацию о происходящем вокруг. На экране я вижу мир графиков и красочных объектов — машин, грузовиков, велосипедистов, пешеходов — передвигающихся на табло, как в видеоигре. Каждый сенсор обеспечивает разную перспективу: лазеры создают трехмерную глубину, камеры распознают дорожные знаки, сигналы поворотов, цвет и свет. Компьютер на заднем сиденье обрабатывает всю информацию в реальном времени: измеряет скорость движения потока машин и рассчитывает, когда можно поворачивать. Ожидание того, когда автомобиль, наконец, примет решение — довольно жуткий момент. По сути, я ставлю свою жизнь на то, что написавший этот алгоритм программист не поссорился со своей девушкой (или парнем) за день до этого и не наделал ошибок в коде. Этот Lexus — потенциальный робот-убийца. Один ошибочный алгоритм и я мертвец.
Но ведь это не плохое кино о вышедших из-под контроля роботах. В реальности машина ждет, пока между автомобилями не будет достаточного расстояния, а потом очень резко выныривает и поворачивает налево. Я отмечаю, что автомобиль слишком быстро разгоняется.
«Да, он все еще водит как подросток, — соглашается Долгов. — Мы работаем над этим».
Ноутбук на пассажирском кресле самоуправляемой машины в режиме реального времени показывает, как он воспринимает автомобили, грузовики, велосипедистов, пешеходов — схематичный мир разноцветных объектов. Фото: Google
Ни одна технология не отражает прогресс — и опасность — умных машин лучше, чем самоуправляемые автомобили. Да, роботы могут участвовать в разработке телефона в вашем кармане, а искусственные нейронные сети могут придумывать подписи к вашим фотографиям с отпуска. Но самоуправляемые автомобили могут поменять все, начиная с того, как вы добираетесь из одного места в другое, и заканчивая строительством городов. Они будут спасать жизни и снижать уровень загрязненности. Такие машины заменят романтику «открытой дороги» на романтику покатушек в большом айфоне.
Но неминуемое появление автомобилей на автопилоте также ставит перед нами необходимость ответить на вопросы о наших отношениях с технологиями. В какой степени мы готовы доверить контроль над нашими жизнями машинам и корпорациям, которые создают и обслуживают их? Насколько велик риск, на который мы готовы пойти? И речь ведь не только о физическом риске, как в случае с автомобилями, но и о риске экономическом, ведь все больше и больше финансовых решений разрабатываются и принимаются умными машинами. В случае с самоуправляемыми автомобилями эта невидимая революция — стоящая за всем, от Facebook до роботизированного ведения войны — вдруг врывается в повседневную жизнь, заставляя нас по-новому считаться с технологическим духом.
Самоуправляемые автомобили — это не просто научный эксперимент. Уже сейчас некоторые модели Mercedes фактически могут парковаться самостоятельно и управлять тормозной системой во избежание аварий. Компания Tesla недавно разработала функцию «Автопилот», которая держит автомобиль в полосе автострады (что позволяет управлять, почти не используя руль) и соблюдает безопасное расстояние между машинами в городском транспортном потоке. Что касается полностью автономных автомобилей, то ими занимается не только Google: практически все крупные производители работают над подобными программами, включая концерн Toyota, который недавно объявил о вложении $1 млрд в новую ИИ-лабораторию в Кремниевой долине, где будут разрабатывать, помимо всего прочего, технологии для самоуправляемых автомобилей. Но самым агрессивным новичком в этой сфере оказалась компания Uber, которая совершила «налет» на кафедру роботехники в Университете Карнеги — Меллон, и переманила к себе 40 ученых и исследователей. Сооснователь компании, Трэвис Каланик, никогда не скрывал, что его задачей является снижение расходов за счет создания таксопарка без водителей. Когда я поинтересовался у Криса Урмсона, руководителя проекта беспилотных автомобилей Google, как много времени осталось до появления таких машин на дорогах, он ответил: «Моя личная цель — чтобы моему 12-летнему сыну не пришлось получать водительские права».
Появление самоуправляемых автомобилей стало возможным благодаря нескольким обстоятельствам, включая так называемую обучаемость машин, которая позволяет им «видеть», распространение дешевых сенсорных технологий, прорыв в картографировании, а также успех электромобилей вроде Tesla. Но, наверное, самым важным фактором является окончательное осознание того, что автомобили, какими мы знаем их сегодня, это изобретение ХХ века, которое уже плохо вписывается в наш современный мир, где все — от изменения климата до ухудшающегося благосостояния среднего класса — заставляет сомневаться в том, что у каждого в гараже непременно должен стоять восьмицилиндровый зверь. А большие компании уже преуспели в разработке привлекательных устройств, увеличивающих продажи и сливающих наши личные данные. Как выразился один из топ-менеджеров Apple, подогревая любопытство вокруг слухов о заинтересованности компании в автомобильном бизнесе: самоуправляемые машины являются «высшей ступенью развития мобильных устройств».
После поездки по Маунтин-Вью на автомобиле Google я сажусь обратно в арендуемую мной Hyundai, и первая вещь, которую я замечаю, — это то, насколько плохо водит большинство людей: они невнимательно выезжают с парковки и подрезают других при переходе с полосы на полосу. Я думаю про себя: «Автомобиль Google никогда бы так не сделал». Согласно прогнозу одного из исследований, к середине этого века самоуправляемые автомобили могут снизить уровень ДТП на 90%.
«Нам действительно необходимо помнить, насколько важным будет внедрение автономных машин, — поясняет Урмсон. — Мы говорим о жизнях 30 000 человек в США — и 1,2 млн человек по всему миру. Если задуматься о возможной цене медленного вождения, это просто ужасно»Есть и другие потенциальные преимущества. Автомобили на автопилоте зачастую работают на электричестве, а это ускорит разработку более совершенных батарей, уменьшит загрязнение и замедлит изменение климата. Скорее всего, такие автомобили будут меньше, легче, проще — больше похожими на модные кабинки-гондолы на колесах, чем на Cadillac вашего отца. И вместо приобретения такого автомобиля вам можно будет взять его в аренду, заказав через свой iPhone по мере надобности.
Но так называемая «открытая дорога», воспеваемая всеми, от Джека Керуака до Денниса Хоппера, больше не будет существовать. (Один робототехник предположил, что штаты вроде Колорадо могут стать «парками вождения», где у людей будет возможность ощутить свободу управления автомобилем.) Люди могут погибнуть, если компьютер совершит ошибку и врежется в дерево в дождливую ночь. Управляя вашим автомобилем, хакеры смогут стать киллерами. Без должной защиты данных ваша машина может стать шпионом, докладывающим руководителям компаний о каждем вашем шаге.
Что из этого получится, пока неясно. Компании вроде Google и Uber разрабатывают полностью автономные машины, без руля: вы просто задаете точку прибытия, и — вперед. Другие, вроде Tesla и Toyota, применяют более постепенный подход, утверждая, что автомобили возьмут более громоздкие задания по вождению, но оставляя за человеком контроль за доставляющими удовольствие (и опасными) вещами. «Ясно то, — поясняет профессор Массачусетского технологического института Дэвид Минделл, автор «Мы и наши роботы: роботизация и миф об автономии», недавней книги о революции умных машин, — что самоуправляемые автомобили очень быстро перемещаются из лаборатории в реальный мир».
Крис Урмсон, руководитель проекта Google по роботам-автомобилям, с одним из прототипов. ФОТО: Элайджа Нувлаж/ Рейтерс
Крис Урмсон живет меньше чем в 3 километрах от своего офиса в Google и обычно добирается до работы на велосипеде. В свои 39 лет он выглядит немного застенчивым, совсем не из категории «тайных владык Вселенной». Он одет в старомодный блейзер и водит Mazda 5 — минивэн, который ему нравится из-за сдвижных дверей, которые позволяют его сыновьям легко выбираться из машины в узких парковочных местах.
Офис Урмсона, как и территория всего проекта Google по самоуправляемым автомобилям, расположена в здании Х (бывшем Google X), что примерно в трех километрах от главного комплекса Googleplex в Маунтин-Вью. «X» является полусекретной инновационной лабораторией Google, которой управляют ученый-предприниматель Астро Тэллер и сооснователь компании Сергей Брин. Как утверждает Тэллер, задачей лаборатории является разработка «решений на грани фантастики» для проблем современного мира. Здание, расположенное на территории старого торгового центра, создает ощущение модной постиндустриальной атмосферы: каменные полы, конференц-залы со стеклянными стенами и столовой, в которой подают по большей части органическую еду. (В день моего визита Брин расхаживал в спортивных шортах и кроксах.) В Google X родились такие проекты как Google Glass, более навороченная версия гарнитуры, и Проект Loon, в рамках которого создаются высотные аэростаты, служащие для обеспечения доступа к Интернету в удаленных регионах.
Самоуправляемые автомобили — самый звездный проект Google X, а также один из самых близких к коммерческой реализации. Из 105 машин на автопилоте, зарегистрированных в Калифорнии, 73 принадлежат Google. Хотя компания и не изобрела автономные машины, она может претендовать на звание создателя индустрии самоуправляемых автомобилей — покупая стартапы, нанимая экспертов и разрабатывая картографические и навигационные технологии. В отличие от Apple, которая, по слухам, собирается заняться проектированием и производством автомобилей, в Google дали ясно понять, что не намереваются входить в этот бизнес. В Google хотят контролировать програмное обеспечение, чтобы чтобы оно стало операционной системой роботизированных родстеров (двухместный спортивный автомобиль с мягкой или жесткой съемной крышей — прим. Newoчём).
Урмсон впервые заинтересовался самоупровляемыми автомобилями в 2003 году, когда в Карнеги — Меллон стали строить машину для грядущего соревнования автомобилей-роботов, организуемого агентством передовых оборонных разработок Пентагона (DARPA Grand Challenge). Этот секретный отдел участвовал во множестве разработок, от Интернета до самолетов-невидимок. Агентство надеялось стимулировать прорыв в области автомобилей-роботов, что в свою очередь могло бы пригодиться в военной сфере. В гонке с главным призом в $1 млн участвовали 15 машин, которым предстояло преодолеть почти 250 километров калифорнийской пустыни. Самым лучшим результатом, однако, оказалось расстояние всего в 11,7 километров — именно на этой отметке автомобиль застрял и загорелся. На следующий год, результаты были чуть менее удручающими: пять машин преодолели расстояние в 211 километров, но на это им потребовалось семь часов. Автомобили Университета Карнеги — Меллона заняли второе и третье место. Урмсон, который тогда был техническим директором команды, вспоминает: «Уже тогда было понятно, что эта технология будет развиваться очень быстро».
Google запустил свою программу автомобилей-роботов в 2009 году, отчасти из-за расширения своего картографического проекта «street-view» (если у вас уже есть карта, не так уж и сложно спроектировать ее более детальную версию для использования самоуправляемым автомобилем). В этом же году туда устроился Урмсон, и начал работать под руководством инженера Google Себастьяна Трана (который в последствии покинул компанию и стал сооснователем Udacity, стартапа по онлайн-образованию). Сначала команда Google оборудовала несколько автомобилей Toyota Prius камерами, сенсорами и вращающимися лазерами на крышах. Это было дорогостоящей модернизацией: сообщалось, что только лазерная установка стоила $75 000, а это примерно в три раза дороже самого автомобиля. Следующие три года Урмсон и команда экспериментировали с различными вариантами дизайна и технологии. Перед ними стоял один из сложнейших вопросов: должны ли люди иметь какую-то роль в управлении машиной, и если да, то какую? Другими словами, разрабатывают ли они полностью автономный транспорт, или автомобиль, помогающий человеку водить «умнее»?
Самоуправляемый автомобиль Google на основе марки Toyota Prius кружит по улицам Вашингтона, Округ Колумбия. Фото: Карен Блейер/Getty
Проект столкнулся с дилеммой осенью 2012 года. Как рассказывает Долгов, команды испытателей провели много времени за вождением на шоссе, во время которого они настроили автомобиль так, чтобы он предлагал водителю брать управление на себя каждый раз, когда программа сталкивалась с ситуацией, в которой не была уверена. Их наблюдения не вдохновляли: «Люди не были настолько внимательными, насколько нам бы хотелось, — вспоминает Долгов. — Вместо этого они разговаривали, обменивались смс-сообщениями, мечтали — да чем только не занимались».
«Они работали в Google, мы их подготовили; акцентировали, как важно постоянно быть внимательными, но такова человеческая природа, — заключает он. — И что же делать, если автомобиль просит вас взять контроль над потенциально опасной ситуацией, а человек в это время спит?»
Поэтому Урмсон со своей командой решили, что нужно брать курс на внедрение полной автономии. В 2013 году они начали разрабатывать прототип автомобиля без руля и педалей — по сути, коробки на колесах. Такая симпатичная маленькая городская машинка, что-то среднее между «жуком» и капсулой космического корабля. У нее мягкий передний бампер для амортизации любого столкновения (не дай Бог еще пешехода собьет), а максимальная скорость — 40 км/ч. Долгов поясняет: «В каком-то смысле это упрощает систему, потому что она полностью под контролем». Урмсон считает, что есть и другие преимущества в разработке машин, которые сами могут управлять собой. «Фокус переведен на тех, кому это помогает», — утверждает он. Слепые люди, например. Или инвалиды. «Мы можем подарить им способность передвигаться по городам способом, принимаемым остальными как данность, и на мой взгляд, это важная задача, — продолжает Урмсон. — А так как эта технология будет экономичной, появится возможность предоставить индивидуальный общественный транспорт по цене сегодняшнего проезда на автобусе».
Урмсон умалчивает об одном: полностью автономные машины могут принести доход и Google. Компания представляет собой империю личных данных, которые она собирает, использует как инструмент воздействия и продает в обмен на ряд безумно доходных опций, одна из которых — рекламные объявления. Почему бы им не хотеть быть компанией, от которой вы зависите во всех своих передвижениях, а заодно продавать вам вещи? В данный момент Урмсон занят попытками воспитать в автомобилях Google «достаточный уровень паранойи», чтобы они эффективно реагировали на кучу пугающих ситуаций, в которые водители попадают в реальных условиях. Пока машины проезжают около 16 000 км в неделю, в районах Маунтин-Вью, в Остине, штат Техас, и Киркланде, штат Вашингтон, где компания недавно запустила свои программы уличного вождения. Автомобили уже проехали более 1,6 млн км и, в принципе, имеют типовой тщательно изученный маршрут вождения, что для Google и других — только начало.
«Теперь пора браться за самое сложное, — уверяет Гилл Пратт, руководитель программы по автономным машинам в компании Toyota. — Нужно понять, что делать, когда карты нет, когда дорога отличается от карты, и что делать в непредвиденных ситуациях: когда ребенок выбегает на дорогу за своим мячом, или когда кто-то слишком быстро перестраивается. В таких ситуациях динамика остается очень сложной»
Чтобы проверить, как автомобили ведут себя в опасных ситуациях, Google тестирует их на специальной трассе, на которую выпрыгивают люди из туалетных кабинок и бросают под машину пляжные мячи. Но задача гораздо сложнее, чем способность реагировать на пляжный мячик. Вскоре после нашей поездки по Маунтин-Вью я предложил Долгову гипотетическую ситуацию: «Допустим, автомобиль Google движется по двухполосной дороге, а рядом с ним едет велосипедист. Что случится, если в момент, когда автомобиль поравняется с велосипедом, машина со встречной полосы вдруг свернет прямо на вас? Если бы машине Google пришлось выбирать между лобовым столкновением или наездом на велосипедиста, чтобы она выбрала?»
«Она не собъет велосипедиста, — решительно отвечает Долгов. — По возможности, мы дадим больше пространства надвигающейся на нас машине и сделаем все возможное, чтобы избежать столкновения, а также нажмем на тормоза как можно сильнее, чтобы смягчить удар». Звучит как вполне адекватное решение — но легко придумывать сценарии, в которых верный шаг неясен. А что если автомобилю нужно выбрать: врезаться в бок вылетевшей на него машины или съехать с окаймленной деревьями дороги — действительно ли мы хотим доверить алгоритмам автомобиля принимать верное решение? «Некоторые из этих вариантов являются интересными философскими вопросами, — соглашается он. — И тогда нужно смотреть на это через призму того, что происходит на дорогах сегодня, где живые водители убивают во всем мире более миллиона человек ежегодно».
Пример визуализации данных самоуправляемым автомобилем: видео, отснятое встроенной камерой, сопоставляется с тем же местоположением на улице. Фото: Элайджа Нувлаж/Reuters
Это правда — в большинстве ситуаций самоуправляемые машины намного безопаснее. Они не пьют, не склонны к агрессивному вождению и не пишут смс-ки. Но эта технология не является и никогда не станет абсолютно безупречной. Машины Google попадали в мелкие ДТП на протяжении многих лет, но никогда не были виноваты в происшествии. Однако в прошлом месяце автомобиль Google впервые стал виновником незначительной аварии с автобусом из-за смены полосы движения (никто не пострадал). «Когда самоуправляемый автомобиль впервые станет причиной смерти человека, это станет большой новостью», — говорит Дэнни Шапиро, старший директор отдела автомобилей в Nvidia, который создает чипы для видеообработки, которые используются во многих самоуправляемых автомобилях. Даже если они и безопаснее, сама идея доверить свою жизнь машине, или, если конкретнее, компьютерному коду, написанному Google (или Apple, или Tesla), — это серьезное изменение. Кто решает, сколько риска заложено в алгоритмы, которые управляют автомобилем? В своей книге «Мы и наши роботы: роботизация и миф об автономии» Минделл представляет себе ручку регулировки со шкалой от «больше риска» (ехать быстрее) до «меньше риска» (ехать медленнее). Но кто может гарантировать, что риск откалиброван точно? Если компания Volkswagen смогла обмануть тесты по контролю за уровнем загрязнения, то что мешает ей обмануть тест безопасности?
Возникновение подобных вопросов является основной причиной того, почему пионер робототехники Родни Брукс считает, что вера Google в полностью автономные автомобили слишком преувеличена. Не потому, что технология не готова, а потому, что когда дело доходит до этого, люди хотят видеть рядом человеческое существо — особенно когда их жизнь находится под угрозой. Брукс указывает на историю самоуправляемых поездов, которыми управлять значительно проще: «После долгих лет использования беспилотных поездов в аэропортах, люди только только начинают привыкать к самоуправляемым поездам в метро». Он вспоминает аварию в июне 2009 года, когда в метро Вашингтона управляемый компьютером поезд врезался в другой состав, в которой погибло 9 человек и 80 было ранено. После аварии люди потребовали вернуть людей к управлению поездами. «Когда люди вернулись за управление поездами производительность упала, потому что человек водит не так хорошо, но люди заявили: „Нет, необходимо, чтобы в процессе участвовал человек“», — рассказывает Брукс. На исследования и модернизацию было потрачено 18 млн долларов, прежде чем первые управляемые компьютером поезда вернулись в работу.
Директор главной лаборатории в области изучения ИИ Microsoft Research в Редмонде, штат Вашингтон, Эрик Хорвиц считает, что слишком рано утверждать во что все это выльется — но полагает, что вскоре мы увидим, как по крайней мере один крупный город полностью перейдет на систему общественного микротранспорта***. «Города будут выглядеть совсем по-другому. Допустим, вам надо попасть на окраину Парижа, и вы не можете взять туда свой автомобиль. Но не волнуйтесь, в этом районе действует удобная система микротранспорта. Вы просто задаете пункт назначения, к вам подъезжает такая коробочка, и привозит вас на место. По-моему, звучит здорово»
Если есть компания, которую можно считать образцом трансформации американского рынка труда в сфере промышленности, то это Boeing. Согласно Reuters, Boeing производит на 20% больше самолетов, но использует на треть меньше рабочих, чем в 90-х. Только в прошлом году она заменила сотни работников 60-тонными роботами. В Boeing говорят, что эти роботы работают вдвое быстрее людей, производя на две трети меньше брака. Эффект автоматизации на рабочую силу компании был огромен. В 1998 году фирма производила 564 самолетов в год, занимая примерно 217 человек на самолет. В 2015 она произвела 762 самолета, используя труд примерно 109 человек на каждый. Неудивительно, что в последнем экономическом отчете Белого дома делался вывод, что увеличение производительности труда благодаря робототехнике сравнимо с увеличением производительности благодаря паровым двигателям в XIX веке.
Немногие экономисты ставят под сомнение тот факт, что машины скоро заменят множество разных работников, от персонала фастфудов до дальнобойщиков. Почти 5 миллионов рабочих мест были закрыты с 2000 по 2015 годы. Некоторые из них были переданы за границу, но многие стали жертвой растущей автоматизации.
Но экономические последствия вторжения роботов не так просты, как кажется. Я узнал это сам, когда рос в Кремниевой долине в 70-х. Отец моего друга работал на старом заводе GM в близлежащем Фремонте. Работая у конвейера — у него на руках были ожоги от летящих частиц металла — он мог содержать семью. На своем пике в конце 70-х завод давал работу 6800 людям.
К сожалению, машины там делали ужасные. В 70-х и 80-х автомобили GM были известны прежде всего своей ненадежностью. «Люди говорили, что на заводе во Фремонте купить можно все», — говорит профессор Мичиганского университета Джеффри Лайкер в серии The American Life от 2010 года. «Секс, наркотики, алкоголь, азартные игры — все было там, на этом заводе».
Не так давно я посетил эту старую фабрику GM. Теперь она принадлежит Tesla и преобразована в один из самых продвинутых автоматизированных заводов в мире. На входе — огромные кучи сырого алюминия, на выходе — электромобили за 100 тысяч долларов. «Мы здесь строим будущее», — говорит Жильбер Пассен, вице-президент компании по производству.
На конвейере работает больше тысячи роботов. Некоторые прикреплены к потолку, другие шастают по полу, перенося материалы, а некоторые гиганты с именами вроде «Ледяной», ростом в четыре метра, могут поднимать корпус Tesla весом больше тонны как игрушку. Хотя это один из наиболее автоматизированных автозаводов в мире, Tesla производит лишь около тысячи машин в неделю (GM раньше выпускал тысячу в день). Но вот что действительно удивительно: на заводе работают примерно 3000 человек. Так что Tesla не только производит более качественные машины — для этого требуется и примерно втрое больше людей на машину, чем у GM. В этом случае автоматизация завода не только не уничтожила рабочие места, а еще и создала их.
Что делают эти люди? Некоторые выполняют работу на конвейере, слишком сложную и тонкую для робота, например, установка приборной панели; другие обслуживают роботов и их инструменты. «Этот завод — совместное предприятие людей и роботов», — говорит Пассен. «Роботы занимаются своим делом, а люди — своим». Иными словами, это не автоматизированный завод, но сложный танец людей и роботов.
У Tesla есть один из самых продвинутых автоматизированных заводов в мире, где роботы и люди вместе выпускают 1000 машин в неделю. Фото: Джессика Брэнди Лайфлэнд/Polaris
Однако не вызывает сомнений, что прогресс в сфере умных машин окажет большое влияние на рынок труда. Некоторые из утраченных рабочих мест будут скомпенсированы созданием новых позиций в высокотехнологичной отрасли, другие исчезнут навсегда. В исследовании Оксфордского университета 2013 года высказывается предположение, что почти половина существующих рабочих мест рискуют быть автоматизированными в следующие 20 лет. «Мы сталкиваемся со сменой парадигмы, которая изменит то, как мы живем и работаем, — сообщают авторы недавнего доклада Bank of America Merrill Lynch. — Темп радикальных технологических инноваций в последние годы перешел от линейного к параболическому».
Нетрудно увидеть, какие должности находятся под прицелом автоматизации: клерки, конвейерные рабочие, работники фастфуда. В экономическом отчете Белого дома за прошлый месяц предсказывалось, что если работа приносит в час менее 20 долларов, есть 83-процентный шанс того, что в конце концов ее устранит автоматизация. Но помимо этого, последствия предсказать трудно. Безработица и стагнирующие зарплаты среди менее образованных и индустриальных рабочих уже трансформировали американскую политику и поспособствовали популярности Дональда Трампа — дальнейшая автоматизация лишь ускорит эти тенденции.
«Люди многого боятся», — говорит Кен Голдберг, робототехник Калифорнийского университета Беркли, где он возглавляет инициативную программу «Люди и роботы», призванную найти способы улучшить сотрудничество людей и роботов.
«Но есть то, в чем хороши роботы, и то, в чем хороши люди. Так что мы должны думать о них обоих, потому что тогда можно найти случаи, в которых роботы помогут людям работать лучше, чем раньше»
Один из примеров совместного труда людей и роботов, над которым работает Голдберг — хирургические роботы. Им уже 15 лет, однако до сих пор они представляли собой немногим более чем интересные механические руки, за которыми доктора следят через камеры, позволяя им безопасно проводить наименее инвазивные операции. Никакой автономии при этом нет, однако вскоре это может измениться. В хирургии много рутинной работы, например, наложение швов. «Вы платите первоклассному хирургу за то, что он сидит и шьет. Это нерациональное использование времени», — говорит Голдберг. Другая рутинная задача — удаление мертвых или раковых тканей из тела. «Опять же, мы считаем, что роботы могли бы с этим справиться. Мы можем просканировать тело и найти опухоль под поверхностью ткани, потом надрезать кожу и удалить ее. Это лишит работы хороших хирургов? Нет. Мы говорим о создании инструментов для помощи хирургам, чтобы они смогли сконцентрироваться на важных задачах, оставив рутинную работу роботам».
Тем не менее, экономические преобразования будут жестоки по отношению к многим недостаточно квалифицированным работникам. Как считает Тран, наилучшей реакцией на крупные грядущие перемены будут не попытки затормозить технологию, а улучшение образования. Прошлой осенью он сказал в интервью The Economist: «Мы все еще живем в системе образования, которую создавали в XIX и XX веках». Его онлайн-университет Udacity уже привлек 4 миллиона пользователей по всему миру и выдает «нанодипломы» в области компьютерных технологий.
«У нас сейчас ситуация, в которой разрыв между квалифицированными и неквалифицированными людьми постоянно растет. Моя миссия по всеобщему обучению — это лишь попытка отсрочить то, что с нами в итоге сделает искусственный интеллект, потому что я искренне верю, что у людей должен быть шанс»
Согласно извесному исследованию Центра новой американской безопасности 2014 года, будущее военных действий представляет собой «совершенно новый режим ведения боя, в котором центральные роли играют беспилотные и автономные системы... Военные лидеры США должны уже сейчас готовиться к этому не столь далекому будущему — к войне в Век Роботов». Представьте себе стаи небольших вооруженных дронов, созданных на 3D-принтерах, затмевающие небо над крупным городом; солдат, защищенных экзоскелетами в стиле Железного Человека и оборудованных нейроимплантатами, чтобы принимать данные о целях с далеких компьютеров; беспилотные подлодки в прибрежных водах; убийства целей особой важности, выполненные дронами размером с муху. В эту новую военную эру дорогие технологии Холодной войны вроде истребителей-бомбардировщиков станут все менее актуальными — как компьютеры-мейнфреймы в мире ноутбуков и планшетов.
Солдаты в экзоскелетах могут в будущем использовать нейроимплантаты для управления роботами. Фото: Конрад Джонсон/RDECOM Public Affairs/Армия США
Истоки этой революции в военных технологиях, похоже, в трех факторах. Первый — снижение риска. Роботы могут применяться в ситуациях, в которых нельзя применять солдат, что потенциально спасает множество жизней. В Афганистане и Ираке расположены более 1700 «пэкботов», роботов игрушечного размера, контролируемых беспроводным способом и оборудованных удаленно управляемой механической рукой, которая может быть щупом для обнаружения мин или камерой для слежки. Более современные военные дроны, как MQ-9 Reaper, уже могут взлетать, приземляться и летать в назначенные точки без человеческого вмешательства. Снижение риска изменяет и политическую сторону войны: поскольку роботы не возвращаются домой в гробах, использование умных машин позволит военным лидерам предпринимать сложные операции, которые были бы иначе немыслимы.
Второй фактор — деньги. Ежегодный оборонный бюджет США составляет почти $600 млрд, что больше, чем у десяти следующих за ними стран вместе взятых. Армия в общей сложности потратит около полутора триллионов долларов на реактивный истребитель F-35, который находится в разработке уже 15 лет. В эпоху ИГИЛ такие траты не только трудно оправдать — они могут быть просто глупыми. F-35 бесполезен против роя вооруженных дронов или террориста-смертника в торговом центре. Добавим к этому еще и то, что людей содержать и использовать дорого. «Примерно треть оборонного бюджета уходит на людей», — подтверждает Питер Зингер, старший участник программы New America и автор Ghost Fleet, книги о будущем войны. Не так давно генерал армии США предположил, что численность боевой бригады сократится с 4 до 3 тысяч в ближайшие годы, а множество обязанностей перейдет к роботам.
Третий фактор — страх (а кто-то скажет, что и паранойя) перед стремительно растущим Китаем. С конца Холодной войны США имела беспрецедентное преимущество над соперниками благодаря ракетам точного наведения, разработанных в соревновании с СССР. Но теперь китайцы, похоже, сокращают разрыв, стремительно наращивая расходы на оборону, и новые китайские противокорабельные ракеты могут сделать пребывание американских авианосцев в западном Тихом океане слишком опасным в случае конфликта. Китайцы также делают серьезные инвестиции в современные вооружения, особенно военные дроны, которые они производят и продают политически нестабильным государствам вроде Нигерии и Ирака.
Для военных вопрос заключается в том, в каком направлении развивать использование умных машин, и насколько сильно. Для каких-то работ автоматизация безусловно полезна. «Взлет и посадка на авианосец раньше были одними из сложнейших задач в вооруженных силах», — говорит Мэри Каммингс, которая была одной из первых женщин среди американских пилотов истребителей и теперь возглавляет лабораторию робототехники в Университете Дюка. Каммингс, потерявшая друзей в крушениях при попытках приземлиться на авианосец, ищет пути для более тесного сотрудничества человека и машины, особенно в стрессовых ситуациях, которые могут привести к смертельным ошибкам. «Сегодня автопилот F-18 может взлететь с авианосца и приземлиться на него лучше, чем любой человек. Это намного безопаснее», — говорит она. В иных случаях люди остаются на своих позициях, даже если они технологически уже не нужны. Хотя беспилотники скоро будут достаточно развиты, чтобы распознать, взять на прицел и убить человека с расстояния 12 километров, для любой атаки дронов требуется разрешение высокопоставленных лиц в «цепи ликвидации», на конце которой находится сам президент.
Многие разрабатываемые для военных целей умные машины лучше всего следует понимать как расширение человеческих возможностей (зрения, слуха, а в некоторых случаях — пальцев, нажимающих на курок). Университет Карнеги — Меллон заручился поддержкой Армии США в проекте по разработке робозмей с камерами, способных подползать близко к вражеским целям. Исследователи в Гарварде при поддержке Агентства по перспективным оборонным научно-исследовательским разработкам США (DARPA) разрабатывает «робопчелу» с трехсантиметровым размахом крыльев, которая может пролетать в открытые окна и потенциально проводить тайное наблюдение. DARPA также работает над так называемыми дронами-вампирами, сделанными из материалов, способных «сублимироваться», то есть превращаться в газ, после выполнения миссии. Какие-то исследования DARPA выглядят, будто их взяли из фильма Джеймса Кэмерона: согласно Энни Джейкобсен, автору проекта DARPA под названием «Мозг Пентагона», агентство работает над идеей «дополненного мышления» уже около 15 лет. «В программах Дополненного мышления DARPA создает биогибриды человека и машины, или то, что мы могли бы назвать киборгами», — пишет Джейкобсен. Ученые DARPA экспериментируют с нейроимплантатами в человеческом мозге, которые могли бы быстро передавать информацию между мозгом и компьютером, давая возможность — хоть и весьма отдаленную — того, что солдаты будут контролировать боевых роботов не джойстиком, а мыслями в форме электроимпульсов.
И все же важно различать научно-фантастические проекты DARPA от того, что происходит в реальном мире. В июне прошлого года я посещал финальные испытания в конкурсе по робототехнике DARPA возле Лос-Анджелеса. Этот конкурс с призом в $2 млн был организован Департаментом обороны, чтобы поддержать инновации в робототехнике, которые могут быть полезны в случае катастрофы вроде Фукусимской, где машина могла бы помочь в крайне радиоактивной среде.
Фаворитом конкурса был Чимп, 200-килограммовый робот, построенный и управляемый командой Карнеги-Меллон. Чимп представлял собой потрясающее зрелище: полтора метра ростом, руки, способные выдержать вес в 135 кг. «Мы создали робота, который не упадет», — хвалился один из программных инженеров Чимпа.
Но в мире роботов не все всегда идет по плану. Соревнование быстро превратилось в комедию с разваливающимися роботами. Один упавший робот истекал гидравлической жидкостью, будто инопланетной кровью, у другого отлетела голова. Даже могучий Чимп плюхнулся на лицо, когда попытался открыть дверь. Будущее, похоже, все еще далеко.
Чимп, участвующий в соревновании роботов под эгидой Министерства обороны. Фото: Chip Somodevilla/Getty
Что касается роботов и войны, центральный вопрос не технологического плана, а философского: давать ли машинам власть и право убивать человеческое существо? Идея о передаче такого решения и такой власти машине выглядит ужасающе. В июле прошлого года подросток из Коннектикута вызвал горячие споры, прикрепив пистолет к простому дрону, а потом выложив видео на YouTube (оно набрало более 3,5 миллионов просмотров). Представьте себе панику, которая разразится, когда кто-нибудь прикрепит к купленному в магазине дрону полуавтоматическое оружие и iPhone, создав, по сути, самодельный беспилотник-убийцу на дистанционном управлении.
Разумеется, простое автономное оружие не является чем-то новым: подумайте о противопехотной мине. Это идеальный пример дурацкого автономного оружия, потому что она взорвется, если на нее наступит хоть вражеский солдат, хоть трехлетний ребенок. В девяностых американская активистка организовала кампанию против этих мин, которая в итоге привела к подписанию договора между 162 странами о запрете использования, разработки или хранения противопехотных мин. Уильямс получила за свои усилия Нобелевскую премию мира. Теперь она стала представителем нового движения под названием Кампания против роботов-убийц. С помощью двадцати других нобелевских лауреатов она хочет запретить полностью автономное оружие, прежде чем оно станет реальностью.
«Я нахожу саму идею роботов-убийц более ужасной, чем ядерное оружие», — заявила Уильямс в интервью NBC из Женевы в прошлом году. — Куда катится человечество, если кто-то думает, что нормально отдавать машине власть над жизнью и смертью людей?»
В ООН размышляют о возможных правилах на эту тему с 2014 года.
В США Пентагон требует «приемлемого уровня человеческого суждения об использовании силы». Но что значит «приемлемого»? На самом деле, в некоторых разрабатываемых оборонных системах уже имеется полная автономия. США вскоре поставит на вооружение ракету дальнего действия с автономной системой, способной находить цели самостоятельно. Южная Корея разработала турель автоматического огня, способную почувствовать человеческую цель и открыть по ней огонь на расстоянии более полутора километров в темноте.
На конкурсе роботов в Калифорнии я поговорил с Рональдом Аркином, профессором Технологического университета Джорджии, много писавшим о роботах и этике. Он сказал мне следующее: «Я не сторонник оружия в духе Терминатора. Но я считаю, что это сложный спор». Аркин доказывает, что более умное оружие привело бы к меньшему числу жертв. «Поскольку у них нет эмоций, они с меньшей вероятностью запаникуют в опасной ситуации или примут неверные решения из-за „тумана войны“, как его называют психологи». Яркий пример: в октябре прошлого года после того, как американский боевой самолет AC-130 по ошибке открыл огонь по больнице в Кундузе в Афганистане, приведя к смерти по меньшей мере 42 человек, генерал армии Джон Ф. Кэмпбелл назвал это «трагическим, но предотвратимым случаем, вызванным в первую очередь человеческой ошибкой». Сделал ли бы ту же ошибку автономный дрон?
«В данный момент мы отправляем дроны убивать действительно ужасных людей», — говорит писатель и специалист по вычислительной технике Джерон Ланье.
«Но мы создаем системы, которые могут сами искать людей и убивать их. Вопрос, разумеется, в том, что случится, когда ужасные люди сами достанут себе дроны и начнут за нами охотиться? Случится ли это? Ну, история нас учит, что да, случится. И когда это случится, мы не должны говорить „Ох, эти ужасные машины!“, мы должны говорить „Ну надо же, инженеры и впрямь были безответственными и глупыми, а мы не думали достаточно масштабно“. Мы должны говорить не об ужасах ИИ, а об ответственности инженеров за постройку устойчивых систем, которые не станут бить по своим. Вот это правильный подход»
Некоторые исследователи полагают, что мы сможем запрограммировать в машинах некий грубый этический код, но это потребует уровня сложности и тонкости, о котором мы пока можем лишь рассуждать. Тем не менее, появление все более и более автономного оружия, вероятно, неизбежно. В отличие от ядерного оружия, которое требует огромных государственных инвестиций, эта новая технология движима коммерческими разработками.
«Я вам гарантирую, у Google и Amazon скоро будет больше возможностей для слежки с беспилотников, чем у армии», — говорит Каммингс. «У них крупнее базы данных, лучше работает распознавание лиц, больше возможностей для создания беспилотников и управления ими. Эти компании знают о вас больше, чем ЦРУ. Что происходит, когда наши правительства обращаются к корпорациям за последними военными технологиями?»
Но Каммингс считает, что настоящие роботы-убийцы появятся еще не скоро: легче придумать идеи автономных роботов и оружия в лаборатории, чем воплотить их в реальном мире. Я убедился в этом сам сразу после окончания конкурса роботов в Калифорнии. Я пришел обратно к гаражу, где проводили время команды, создавшие и управлявшие роботами. Похоже было на гараж NASCAR, с ящиками для инструментов, высококлассным оборудованием и членами команд, пьющими пиво, только вместо машин были роботы. Первый приз выиграл маленький робот DRC-Hubo, созданный командой из Южной Кореи, что привело к шуткам про Пентагон, финансирующих наших союзников по соседству с Китаем.
Что до самих роботов, их час тогда прошел. Они свисали с подвесок, не более живые, чем припаркованные машины. Даже могучий Чимп с краской, потертой от эпичного падения, выглядел слабеньким. В то же время инженеры и программисты Карнеги — Меллон суетились вокруг, убирая инструменты или глядя на экраны компьютеров. Это был момент как в Волшебнике страны Оз, внезапный взгляд за кулисы, где было видно, что такая потрясающая машина, как Чимп — продукт человеческого труда и изобретательности, и что без десятков людей, работавших над дизайном и построивших его, робот бы не существовал. То же самое можно сказать про беспилотный автомобиль Google или дроны ЦРУ, убившие лидеров Аль-Каиды в Пакистане и Йемене. По сравнению с тостером они и правда умные машины. Но они лишь продукт человеческого воображения и инженерного таланта. Если в будущем мы создадим машины, соперничающие с нами, вредящие нам, наносящие урон тому, что мы любим, или даже пытающиеся нас убить, то это случится потому, что мы их такими придумаем. В конце концов, самое страшное в восстании машин не то, что у них будет собственный разум, но что у них будет разум, который мы, люди — со всеми нашими недостатками и тонкостями — создадим для них.
