Почему будущее не нуждается в нас

С того момента, как я стал заниматься созданием новых технологий, меня беспокоили их этические аспекты, но только осенью 1998 года я с тревогой осознал, насколько велики опасности, стоящие перед нами в 21 веке. Я могу датировать начало своего беспокойства тем днем, когда я встретил Рэя Курцвейла, заслуженно известного изобретателя первой читающей машины для слепых и многих других удивительных вещей.

Мы с Рэем выступали на конференции Джорджа Гилдера Telecosm, и я случайно встретил его в баре отеля после того, как обе наши сессии закончились. Я сидел с Джоном Серлом, философом из Беркли, изучающим сознание. Пока мы разговаривали, подошел Рэй и начался разговор, тема которого не дает мне покоя по сей день.

Я пропустил выступление Рэя и последующую дискуссию, на которой были Рэй и Джон, и теперь они продолжили с того места, на котором остановились, и Рэй сказал, что темпы совершенствования технологий будут ускоряться и что мы собираемся стать роботами или слиться с роботами или что-то в этом роде, а Джон возражает, что этого не может быть, потому что роботы не могут быть сознательными.

Хотя я и раньше слышал подобные разговоры, мне всегда казалось, что разумные роботы — это из области научной фантастики. Но теперь от кого-то, кого я уважал, я услышал веский аргумент, что они возможны в ближайшем будущем. Я был ошеломлен, особенно учитывая доказанную способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, такие как генная инженерия и нанотехнологии, дают нам возможность переделать мир, но реалистичный и неизбежный сценарий для разумных роботов удивил меня.

Такие прорывы легко утомляют. Почти каждый день мы слышим в новостях о каком-то технологическом или научном прогрессе. Однако это не было обычным предсказанием. В баре отеля Рэй дал мне частичный препринт своей будущей книги «Эпоха духовных машин», в которой излагалась утопия, которую он предвидел, — утопия, в которой люди обрели почти бессмертие, слившись с роботизированными технологиями. Прочитав его, мое чувство беспокойства только усилилось; Я был уверен, что он недооценивает опасность, недооценивает вероятность плохого исхода на этом пути.

Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:

 

НОВЫЙ ЛУДДИТСКИЙ ВЫЗОВ

Сначала предположим, что ученым-компьютерщикам удалось разработать интеллектуальные машины, которые могут делать все лучше, чем люди. В этом случае, по-видимому, вся работа будет выполняться обширными, высокоорганизованными системами машин, и никаких человеческих усилий не потребуется. Может иметь место любой из двух случаев. Машинам может быть разрешено принимать все свои собственные решения без надзора со стороны человека, или же человеческий контроль над машинами может быть сохранен.

 

Если машинам разрешено принимать все свои собственные решения, мы не можем делать никаких предположений относительно результатов, потому что невозможно предположить, как такие машины могут себя вести. Мы только отмечаем, что судьба человеческого рода была бы во власти машин. Можно возразить, что человеческая раса никогда не окажется настолько глупой, чтобы передать всю власть машинам. Но мы не предполагаем ни того, что человеческая раса добровольно передаст власть машинам, ни того, что машины умышленно захватят власть. Что мы действительно предполагаем, так это то, что человеческая раса может легко позволить себе перейти в положение такой зависимости от машин, что у нее не будет практического выбора, кроме как принимать все решения машин. По мере того как общество и проблемы, с которыми оно сталкивается, становятся все более и более сложными, а машины становятся все более и более разумными, люди будут позволять машинам принимать за них больше решений просто потому, что решения, принимаемые машинами, приносят лучшие результаты, чем решения, принимаемые людьми. В конце концов может быть достигнута стадия, на которой решения, необходимые для поддержания работоспособности системы, будут настолько сложными, что люди будут неспособны принимать их разумно. На этом этапе машины будут находиться под эффективным контролем. Люди не смогут просто выключить машины, потому что они будут настолько зависимы от них, что выключение их будет равносильно самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранен. В этом случае средний человек может иметь контроль над определенными собственными машинами, такими как его автомобиль или его персональный компьютер, но контроль над большими системами машин будет в руках крошечной элиты — так же, как это происходит сегодня, но с двумя отличиями. Благодаря усовершенствованным методам элита будет иметь больший контроль над массами; и поскольку человеческий труд больше не будет нужен, массы станут излишними, бесполезным бременем для системы.

В этом случае средний человек может иметь контроль над определенными собственными машинами, такими как его автомобиль или его персональный компьютер, но контроль над большими системами машин будет в руках крошечной элиты — так же, как это происходит сегодня, но с двумя отличиями. Благодаря усовершенствованным методам элита будет иметь больший контроль над массами; и поскольку человеческий труд больше не будет нужен, массы станут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто решить истребить массу человечества. Если они гуманны, они могут использовать пропаганду или другие психологические или биологические методы для снижения уровня рождаемости до тех пор, пока масса человечества не вымрет, оставив мир элите. Или, если элита состоит из мягкосердечных либералов, они могут решить сыграть роль добрых пастырей для остального человечества. Они позаботятся о том, чтобы все физические потребности были удовлетворены, чтобы все дети воспитывались в психологически гигиенических условиях, чтобы у каждого было полезное хобби, чтобы занять его, и чтобы любой, кто может стать неудовлетворенным, подвергался «лечению» для решения своей «проблемы». " Конечно, жизнь будет настолько бесцельной, что людей придется подвергать биологической или психологической инженерии либо для устранения их потребности в процессе власти, либо для того, чтобы заставить их «сублимировать» стремление к власти в какое-то безобидное хобби. Эти искусственные человеческие существа могут быть счастливы в таком обществе, но уж точно не будут свободными. Они будут низведены до статуса домашних животных.

В книге вы не узнаете, пока не перевернете страницу, что автором этого отрывка является Теодор Качиньский — Унабомбер. Я не апологет Качиньского. Его бомбы убили трех человек во время 17-летней кампании террора и ранили многих других. Одна из его бомб серьезно ранила моего друга Дэвида Гелернтера, одного из самых блестящих и дальновидных ученых-компьютерщиков нашего времени. Как и многие мои коллеги, я чувствовал, что легко мог стать следующей целью Унабомбера.

Действия Качиньского были кровавыми и, на мой взгляд, преступно безумными. Он явно луддит, но констатация этого не отменяет его аргумента; как бы мне ни было трудно это признать, я увидел некоторые достоинства рассуждений в этом единственном отрывке. Я чувствовал себя обязанным противостоять этому.

Антиутопическое видение Качинского описывает непреднамеренные последствия, хорошо известную проблему проектирования и использования технологий, явно связанную с законом Мерфи: «Все, что может пойти не так, пойдет не так». (На самом деле это закон Финагла, который сам по себе показывает, что Финагл был прав.) Наше чрезмерное использование антибиотиков привело к тому, что может быть самой большой проблемой на сегодняшний день: появлению устойчивых к антибиотикам и гораздо более опасных бактерий. Подобные вещи произошли, когда попытки уничтожить малярийных комаров с помощью ДДТ привели к тому, что они приобрели устойчивость к ДДТ; малярийные паразиты также приобрели гены множественной лекарственной устойчивости.

Причина многих таких неожиданностей кажется очевидной: задействованные системы сложны, включают взаимодействие и обратную связь между многими частями. Любые изменения в такой системе будут происходить каскадом, который трудно предсказать; это особенно верно, когда речь идет о действиях человека.

Я начал показывать друзьям цитату Качинского из «Эпохи духовных машин»; Я вручал им книгу Курцвейла, давал им прочитать цитату, а затем наблюдал за их реакцией, когда они узнавали, кто ее написал. Примерно в то же время я нашел книгу Ханса Моравека «Робот: от простой машины к трансцендентному разуму». Моравек является одним из лидеров исследований в области робототехники и основателем крупнейшей в мире исследовательской программы в области робототехники в Университете Карнеги-Меллона. Робот дал мне больше материала, чтобы я опробовал его на моих друзьях, — материал, удивительно подтверждающий аргумент Качинского. Например:

Биологические виды почти никогда не выживают при столкновении с превосходящими их конкурентами. Десять миллионов лет назад Южную и Северную Америку разделял затонувший Панамский перешеек. Южная Америка, как и нынешняя Австралия, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда поднялся перешеек, соединяющий Северную и Южную Америку, северным плацентарным видам с несколько более эффективным метаболизмом и репродуктивной и нервной системами потребовалось всего несколько тысяч лет, чтобы вытеснить и уничтожить почти всех южных сумчатых.

На полностью свободном рынке превосходные роботы, несомненно, повлияли бы на людей, как североамериканские плацентарные повлияли на южноамериканских сумчатых (и как люди повлияли на бесчисленное количество видов). Отрасли робототехники будут активно конкурировать между собой за материю, энергию и пространство, попутно повышая их цену за пределы досягаемости человека. Будучи не в состоянии позволить себе все необходимое для жизни, биологические люди будут вытеснены из мира.

Вероятно, передышка есть, потому что мы не живем в полностью свободном рынке. Правительство принуждает к нерыночному поведению, особенно путем сбора налогов. При разумном применении государственное принуждение могло бы поддерживать человеческое население на высоком уровне за счет плодов труда роботов, возможно, в течение длительного времени.

Азбучная антиутопия сильно взволновала Моравеца. Далее он обсуждает, как нашей основной задачей в 21 веке будет «обеспечение постоянного сотрудничества с индустрией робототехники» путем принятия законов, определяющих, что они должны быть «хорошими», и описывает, насколько может быть опасен человек, «после превращения в робота». Неограниченно разумный робот». По мнению Моравеца, роботы в конечном итоге придут на смену нам —людям грозит вымирание.

Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machines Corporation, которая построила очень мощный параллельный суперкомпьютер. Несмотря на мою нынешнюю должность главного научного сотрудника Sun Microsystems, я больше компьютерный архитектор, чем ученый, и я уважаю знания Дэнни в области информационных и физических наук больше, чем знания любого другого человека, которого я знаю. Дэнни также является уважаемым футуристом, который мыслит в долгосрочной перспективе: четыре года назад он основал Фонд «Долгое время сейчас», который строит часы, рассчитанные на 10 000 лет в попытке привлечь внимание к жалкой короткой продолжительности внимания нашего общества.

Ответ Дэнни, направленный конкретно на сценарий Курцвейла о слиянии людей с роботами, пришел быстро и весьма удивил меня. Он просто сказал, что изменения будут происходить постепенно, и мы к ним привыкнем.

Но, думаю, я не был полностью удивлен. Я видел цитату Дэнни в книге Курцвейла, в которой он сказал: «Я люблю свое тело так же, как и все остальные, но если я побуду 200 лет с телом из кремния, я соглашусь». Казалось, что он мирится с этим процессом и сопутствующими ему рисками, а я нет.

Говоря и думая о Курцвейле, Качинском и Моравце, я вдруг вспомнил прочитанный почти 20 лет назад роман Фрэнка Герберта «Белая чума», в котором молекулярный биолог сходит с ума из-за бессмысленного убийства его семьи. Чтобы отомстить, он создает и распространяет новую и очень заразную чуму, которая убивает широко, но избирательно. (Нам повезло, что Качинский был математиком, а не молекулярным биологом.) Мне также напомнили о Борге из «Звездного пути» — улье частично биологических, частично роботизированных существ с сильным разрушительным характером. Катастрофы, подобные боргам, являются одним из основных продуктов научной фантастики, так почему же меня раньше не беспокоили такие роботизированные антиутопии? Почему другие люди не были более обеспокоены этими кошмарными сценариями?

Часть ответа, безусловно, кроется в нашем отношении к новому — в нашей склонности к мгновенному знакомству и беспрекословному принятию. Привыкшие жить с почти рутинными научными прорывами, мы все еще должны смириться с тем фактом, что самые убедительные технологии 21-го века — робототехника, генная инженерия и нанотехнологии — представляют иную угрозу, чем технологии, которые были раньше. В частности, у роботов, искусственных организмов и нанороботов есть один опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается только один раз, но один бот может стать многими и быстро выйти из-под контроля.

Большая часть моей работы за последние 25 лет была связана с компьютерными сетями, где отправка и получение сообщений создают возможность для неконтролируемой репликации. Но хотя репликация на компьютере или в компьютерной сети может доставлять неудобства, в худшем случае она выводит из строя машину или отключает сеть или сетевую службу. Неконтролируемое самовоспроизведение в новейших технологиях сопряжено с гораздо большим риском: риском существенного ущерба физическому миру.

Каждая из этих технологий также предлагает невыразимые перспективы: видение почти бессмертия, которое Курцвейл видит в своих снах о роботах, движет нас вперед; генная инженерия может вскоре обеспечить лечение, если не прямое излечение, от большинства болезней; а нанотехнологии и наномедицина могут решить еще больше проблем. Вместе они могли бы значительно увеличить среднюю продолжительность нашей жизни и улучшить ее качество. Тем не менее, с каждой из этих технологий последовательность небольших, индивидуально разумных достижений приводит к накоплению большой силы и, соответственно, большой опасности.

Что изменилось в 20 веке? Безусловно, технологии, лежащие в основе оружия массового уничтожения (ОМП) — ядерного, биологического и химического (ЯБХ) — они были мощными, а оружие представляло огромную угрозу. Но создание ядерного оружия требовало, по крайней мере, на какое-то время, доступа как к редкому — на самом деле, практически недоступному — сырью, так и к высокозащищенной информации; программы биологического и химического оружия также, как правило, требуют крупномасштабных мероприятий.

Технологии 21-го века — генетика, нанотехнологии и робототехника (GNR) — настолько мощны, что могут породить целые новые классы несчастных случаев и злоупотреблений. Наиболее опасно то, что впервые эти несчастные случаи и злоупотребления широко доступны отдельным лицам или небольшим группам. Они не потребуют больших мощностей или редкого сырья. Только знание позволит использовать их.

Таким образом, у нас есть возможность не только оружия массового уничтожения, но и массового уничтожения, основанного на знаниях (ОМУ), причем эта разрушительная сила чрезвычайно усиливается силой самовоспроизведения.

Я думаю, не будет преувеличением сказать, что мы находимся на пороге дальнейшего совершенствования крайнего зла, возможности которого простираются далеко за пределы того, что оружие массового уничтожения оставило в наследство национальным государствам, к удивительному и ужасающему усилению крайнего зла.

Ничто в том, как я увлекся компьютерами, не предполагало, что я столкнусь с подобными проблемами. Моей жизнью двигала глубокая потребность задавать вопросы и находить ответы. Когда мне было 3 года, я уже читал, поэтому отец отвел меня в начальную школу, где я сидел на коленях у директора и читал ему сказку. Я рано пошел в школу, позже пропустил класс и увлекся книгами — у меня была невероятная мотивация учиться. Я задавал много вопросов, часто сводя взрослых с ума. Подростком я очень интересовался наукой и техникой. Я хотел быть радиолюбителем, но не имел денег на покупку оборудования. Любительское радио было Интернетом своего времени: очень захватывающим и довольно уединенным. Если оставить в стороне денежные вопросы, моя мать твердо стояла на своем: я не должен был быть одиночкой. Я слишком антисоциален.

Возможно, у меня не было много близких друзей, но я был переполнен идеями. В старших классах я открыл для себя великих писателей-фантастов. Мне особенно запомнился роман Хайнлайна «Скафандр будет путешествовать» и «Я, робот» Азимова с его «Тремя законами робототехники». Я был очарован описаниями космических путешествий и хотел иметь телескоп, чтобы смотреть на звезды; поскольку у меня не было денег, чтобы купить или сделать его, я взял книги по изготовлению телескопов в библиотеке и вместо этого прочитал об их изготовлении. Я парил в своем воображении.

В четверг вечером мои родители ходили играть в боулинг, а мы, дети, оставались дома одни. Это была ночь оригинального «Звездного пути» Джина Родденберри, и программа произвела на меня большое впечатление. Я пришел к выводу, что у людей есть будущее в космосе, в западном стиле, с большими героями и приключениями. Видение Родденберри грядущих столетий основывалось на сильных моральных ценностях, воплощенных в таких кодексах, как Основная директива: не вмешиваться в развитие менее технологически развитых цивилизаций. Это было невероятно привлекательным для меня; этические люди, а не роботы, доминировали в этом будущем, и я воспринял мечту Родденберри как часть своей собственной.

Я преуспевал в математике в старшей школе, а когда я поступил в Мичиганский университет на бакалавриат инженерного факультета, я прошел продвинутый курс по математике. Решение математических задач было захватывающим, но когда я открыл для себя компьютеры, я обнаружил нечто гораздо более интересное: машину, в которую можно было поместить программу, пытающуюся решить задачу, после чего машина быстро проверяла решение. У компьютера было четкое представление о правильном и неправильном, истинном и ложном. Верны ли были мои идеи? Машина могла сказать мне. Это было очень соблазнительно.

Мне посчастливилось получить работу по программированию первых суперкомпьютеров, и я обнаружил удивительную мощь больших машин для численного моделирования передовых проектов. Когда я поступил в аспирантуру Калифорнийского университета в Беркли в середине 1970-х, я начал не спать допоздна, часто всю ночь, изобретая новые миры внутри машин. Решения проблем, написание кода…

В «Агонии и экстазе», биографическом романе Ирвинга Стоуна о Микеланджело, Стоун живо описал, как Микеланджело освобождал статуи от камня, «разрушая мраморное заклинание», вырезая образы в своем воображении. В компьютере - точно так же. Как только я представил это в своем уме, я почувствовал, что это уже было в машине, ожидая освобождения. Не спать всю ночь казалось небольшой ценой, чтобы освободить его — чтобы придать идеям конкретную форму.

Проработав несколько лет в Беркли, я начал рассылать некоторые написанные мною программы — обучающую систему на Паскале, утилиты Unix и текстовый редактор под названием vi (который, к моему удивлению, до сих пор широко используется более 20 лет спустя) — другим, у кого были такие же маленькие миникомпьютеры PDP-11 и VAX. Эти приключения в области программного обеспечения в конечном итоге превратились в версию операционной системы Unix для Беркли, которая стала личной «катастрофой успеха» — так много людей хотели ее, что я так и не защитил докторскую диссертацию. Вместо этого я устроился работать в Darpa, размещая Berkeley Unix в Интернете и улучшая его надежность и возможность хорошо запускать большие исследовательские приложения. Все это было очень весело и очень полезно. И, честно говоря, я не видел ни здесь, ни поблизости роботов.

Тем не менее к началу 1980-х я тонул. Релизы Unix были очень успешными, и вскоре у моего маленького проекта появились деньги и некоторый персонал, но проблема в Беркли всегда заключалась в офисных помещениях, а не в деньгах — не было места для помощи, в которой нуждался проект, поэтому, когда другие основали Sun Microsystems, я ухватился за возможность присоединиться к ним. В Sun долгие часы работы продолжались до первых дней появления рабочих станций и персональных компьютеров, и мне нравилось участвовать в создании передовых микропроцессорных технологий и интернет-технологий, таких как Java и Jini.

 

Из всего этого, надеюсь, ясно, что я не луддит. Скорее, я всегда твердо верил в ценность научного поиска истины и в способность великой инженерии принести материальный прогресс. Промышленная революция неизмеримо улучшила жизнь каждого человека за последние пару сотен лет, и я всегда ожидал, что моя карьера будет связана с поиском достойных решений реальных проблем, по одной проблеме за раз.

Я не был разочарован. Моя работа оказала большее влияние, чем я когда-либо надеялся, и нашла более широкое применение, чем я мог ожидать. Я провел последние 20 лет, все еще пытаясь понять, как сделать компьютеры настолько надежными, насколько я хочу (они еще далеко не готовы) и как сделать их простыми в использовании. Несмотря на некоторый прогресс, нерешенные проблемы кажутся еще более серьезными.

Но хотя я знал о моральных дилеммах, связанных с последствиями технологий в таких областях, как разработка оружия, я не ожидал, что столкнусь с такими проблемами в своей области, или, по крайней мере, не так скоро.

Возможно, всегда трудно увидеть большее влияние, пока вы находитесь в водовороте перемен. Неспособность понять последствия наших изобретений, когда мы находимся в восторге от открытий и инноваций, кажется, является общей ошибкой ученых и технологов; нами давно движет всепоглощающее желание знать, что является природой научных поисков, не останавливаясь, чтобы заметить, что прогресс в области новых и более мощных технологий может жить своей собственной жизнью.

Я давно понял, что большие успехи в информационных технологиях происходят не благодаря работе ученых-компьютерщиков, компьютерных архитекторов или инженеров-электриков, а благодаря работе ученых-физиков. Физики Стивен Вольфрам и Бросл Хаслахер познакомили меня в начале 1980-х с теорией хаоса и нелинейными системами. В 1990-х я узнал о сложных системах из бесед с Дэнни Хиллисом, биологом Стюартом Кауфманом, лауреатом Нобелевской премии по физике Мюрреем Гелл-Манном и другими. Совсем недавно Хасслахер и инженер-электрик и физик Марк Рид рассказали мне о невероятных возможностях молекулярной электроники.

В моей собственной работе в качестве разработчика кода трех микропроцессорных архитектур — SPARC, picoJava и MAJC — и в качестве разработчика нескольких их реализаций я получил возможность глубокого и непосредственного знакомства с законом Мура. На протяжении десятилетий закон Мура правильно предсказывал экспоненциальную скорость совершенствования полупроводниковой технологии. До прошлого года я считал, что скорость продвижения, предсказанная законом Мура, может продолжаться только примерно до 2010 года, когда начнут достигаться некоторые физические пределы. Для меня не было очевидным, что новая технология появится вовремя, чтобы поддерживать плавный рост производительности.

Но из-за недавнего быстрого и радикального прогресса в молекулярной электронике — где отдельные атомы и молекулы заменяют литографически нарисованные транзисторы — и связанных с ними нанотехнологий, мы должны быть в состоянии соответствовать или превышать скорость прогресса закона Мура еще на 30 лет. К 2030 году мы, вероятно, сможем производить машины, в миллион раз более мощные, чем сегодняшние персональные компьютеры — этого достаточно для осуществления мечты Курцвейла и Моравека.

По мере того, как эта огромная вычислительная мощность сочетается с манипулятивными достижениями физических наук и новом, глубоком пониманием генетики, высвобождается огромная преобразующая сила. Эти комбинации открывают возможность полностью изменить мир к лучшему или к худшему: процессы воспроизведения и развития, которые были ограничены природным миром, вот-вот станут областью человеческих усилий.

При разработке программного обеспечения и микропроцессоров у меня никогда не было ощущения, что я проектирую интеллектуальную машину. Программное и аппаратное обеспечение настолько хрупки, а способность машины «думать» так явно отсутствует, что даже в качестве возможности это всегда казалось очень далеким будущим.

Но теперь, с перспективой вычислительной мощности человеческого уровня примерно через 30 лет, напрашивается новая идея: я могу работать над созданием инструментов, которые позволят построить технологию, которая может заменить наш вид. Что я чувствую по этому поводу? Очень неудобно. Всю свою карьеру я боролся за создание надежных программных систем, и мне кажется более чем вероятным, что это будущее не сработает так хорошо, как некоторые люди могут себе представить. Мой личный опыт показывает, что мы склонны переоценивать свои дизайнерские способности.

Учитывая невероятную мощь этих новых технологий, не должны ли мы задаться вопросом, как лучше всего с ними сосуществовать? И если наше собственное вымирание является вероятным или даже возможным результатом нашего технологического развития, не должны ли мы действовать с большей осторожностью?

Мечта робототехники заключается, во-первых, в том, чтобы разумные машины могли выполнять нашу работу за нас, позволяя нам жить в свободное время, возвращая нас в Эдем. Тем не менее, в своей истории таких идей «Дарвин среди машин» Джордж Дайсон предупреждает: «В игре жизни и эволюции за столом три игрока: люди, природа и машины. Я твердо на стороне природы. Но природа, я подозреваю, на стороне машин». Как мы видели, Моравек соглашается, полагая, что мы вполне можем не пережить встречу с высшими видами роботов.

Как скоро можно будет построить такого умного робота? Грядущие достижения в области вычислительной мощности, кажется, сделают это возможным к 2030 году. И когда разумный робот появится, это будет лишь небольшой шаг к виду роботов — к разумному роботу, который сможет создавать эволюционировавшие копии самого себя.

Вторая мечта робототехники заключается в том, что мы постепенно заменим себя нашей роботизированной технологией, достигнув почти бессмертия, загрузив наше сознание. Дэнни Хиллис полагает, что именно к этому процессу мы постепенно привыкнем и что Рэй Курцвейл элегантно описывает в «Эпохе духовных машин». (Мы начинаем видеть намеки на это во имплантации компьютерных устройств в человеческое тело.

Но если нас загрузят в наши технологии, каковы шансы, что после этого мы станем самими собой или даже людьми? Мне кажется гораздо более вероятным, что роботизированное существование не будет похоже на человеческое в том смысле, который мы понимаем, что роботы ни в коем случае не будут нашими детьми, что на этом пути наша человечность вполне может быть потеряна.

Генная инженерия обещает произвести революцию в сельском хозяйстве за счет повышения урожайности при одновременном сокращении использования пестицидов; создать десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить воспроизводство или дополнить его клонированием; создавать лекарства от многих болезней, увеличивая продолжительность нашей жизни и ее качество; и многое, многое другое. Теперь мы с уверенностью знаем, что эти глубокие изменения в биологических науках неизбежны и бросят вызов всем нашим представлениям о том, что такое жизнь.

Такие технологии, как клонирование человека, в частности, повысили наше осознание глубоких этических и моральных проблем, с которыми мы сталкиваемся. Если бы, например, мы преобразовали себя в несколько отдельных и неравных видов, используя силу генной инженерии, то мы поставили бы под угрозу понятие равенства, которое является краеугольным камнем нашей демократии.

Учитывая невероятную мощь генной инженерии, неудивительно, что при ее использовании возникают серьезные проблемы с безопасностью. Мой друг Эмори Ловинс недавно вместе с Хантером Ловинсом написал редакционную статью, в которой представлен экологический взгляд на некоторые из этих опасностей. Среди их опасений: «новая ботаника связывает развитие растений с их экономическим, а не эволюционным успехом». Долгая карьера Амори была сосредоточена на эффективности использования энергии и ресурсов, принимая системный взгляд на системы, созданные человеком; такой взгляд на всю систему часто позволяет найти простые и умные решения для, казалось бы, сложных проблем, и здесь он также с пользой применяется.

Прочитав редакционную статью Ловинса, я увидел статью Грегга Истербрука в «Нью-Йорк Таймс» (19 ноября 1999 г.) о генетически модифицированных культурах под заголовком: «Продовольствие будущего: когда-нибудь рис будет иметь встроенные витамины А. Если только луддиты не победят».

Эмори и Хантер Ловинс - луддиты? Конечно нет. Я думаю, мы все согласимся, что золотой рис с его встроенным витамином А, вероятно, полезен, если его выращивать с должным вниманием и уважением к вероятным опасностям, связанным с перемещением генов через границы видов.

Осведомленность об опасностях, присущих генной инженерии, начинает расти, что отражено в редакционной статье Ловинса. Широкая общественность знает о генетически модифицированных продуктах и ​​беспокоится о них, и, похоже, отвергает их.

Многие чудеса нанотехнологий были впервые представлены нобелевским лауреатом физиком Ричардом Фейнманом в речи, которую он произнес в 1959 году, впоследствии опубликованной под заголовком «На дне много места». В середине 80-х на меня произвела большое впечатление книга Эрика Дрекслера «Двигатели творения», в которой он прекрасно описал, как манипулирование материей на атомном уровне может создать утопическое будущее изобилия, где почти все может существовать. быть дешевым, и почти любое вообразимое заболевание или физическую проблему можно решить с помощью нанотехнологий и искусственного интеллекта.

В последующей книге «Неограниченное будущее: революция в нанотехнологиях», которую Дрекслер написал в соавторстве, представлены некоторые изменения, которые могут произойти в мире, где у нас есть «ассемблеры» молекулярного уровня. Сборщики могли бы сделать возможным невероятно дешевую солнечную энергию, лекарства от рака и простуды за счет усиления иммунной системы человека, практически полную очистку окружающей среды, невероятно недорогие карманные суперкомпьютеры — фактически любой продукт мог бы быть произведен сборщиками за минимальные деньги. Космический полет станет более доступен, чем сегодня трансокеанское путешествие. Станет возможным восстановление вымерших видов.

Я помню, как мне понравились нанотехнологии после прочтения «Двигателей созидания». Мне, как технологу, это давало чувство спокойствия — то есть нанотехнологии показали нам, что невероятный прогресс возможен и, возможно, даже неизбежен. Если бы нанотехнологии были нашим будущим, то я бы не чувствовал необходимости решать так много проблем в настоящем. Ведь я доживу до утопического будущего Дрекслера. Я мог бы больше наслаждаться жизнью здесь и сейчас. С его видением не имело смысла не спать всю ночь, тяжко работая.

Видение Дрекслера доставило мне массу удовольствия. Время от времени мне приходилось описывать чудеса нанотехнологий тем, кто о них не слышал. Поддразнивая их всем, что описал Дрекслер, я давал собственное домашнее задание: «Использовать нанотехнологии для создания вампира; для дополнительной оценки создать противоядие».

Вместе с этими чудесами пришли и явные опасности, о которых я прекрасно знал. Как я сказал на конференции по нанотехнологиям в 1989 году, «мы не можем просто заниматься наукой и не беспокоиться об этических проблемах». Вскоре после этого я переехал в Колорадо, на созданную мной скунсовую фабрику, и основное внимание в моей работе переключилось на программное обеспечение для Интернета, особенно на идеи, которые впоследствии стали Java и Jini.

Затем, прошлым летом, Бросл Хаслахер сказал мне, что наноразмерная молекулярная электроника теперь стала достижимой. Это была новость, по крайней мере для меня и, я думаю, для многих людей, и она радикально изменила мое мнение о нанотехнологиях. Это вернуло меня к «Двигателям творения». Перечитывая работу Дрекслера спустя более 10 лет, я был встревожен, осознав, как мало я запомнил из ее длинного раздела под названием «Опасности и надежды», включая обсуждение того, как нанотехнологии могут стать «машинами разрушения». Действительно, перечитывая сегодня этот предостерегающий материал, я поражен тем, насколько наивными кажутся некоторые из защитных предложений Дрекслера, и насколько большей, по моему мнению, опасность является сейчас, чем даже он казался тогда. (Предвидя и описывая множество технических и политических проблем, связанных с нанотехнологиями, Дрекслер основал в конце 1980-х годов Институт Форсайта, «чтобы помочь подготовить общество к ожидаемым передовым технологиям» — и, что наиболее важно, к нанотехнологиям.)

Прорыв в сторону ассемблеров кажется вполне вероятным в ближайшие 20 лет. Молекулярная электроника — новая область нанотехнологий, в которой отдельные молекулы являются элементами схемы — должна быстро развиться и стать чрезвычайно прибыльной в течение этого десятилетия, что приведет к крупным дополнительным инвестициям во все нанотехнологии.

К сожалению, как и в случае с ядерными технологиями, нанотехнологиям гораздо легче придумать разрушительное применение, чем созидательное. Нанотехнологии имеют явное военное и террористическое применение, и вам не нужно быть самоубийцей, чтобы выпустить массово разрушительное нанотехнологическое устройство — такие устройства могут быть построены так, чтобы они были избирательно разрушительными, воздействуя, например, только на определенную географическую область или группу людей, которые генетически подвержены их воздействию.

Прямым следствием фаустовской сделки по получению великой силы нанотехнологии является то, что мы подвергаемся серьезному риску — риску того, что мы можем разрушить биосферу, от которой зависит вся жизнь.

Как объяснил это Дрекслер:

«Растения» с «листьями», не более эффективными, чем сегодняшние солнечные батареи, могли бы превзойти в конкуренции настоящие растения, заполнив биосферу несъедобной листвой. Выносливые всеядные «бактерии» могут превзойти в конкуренции настоящие бактерии: они могут распространяться, как пыльца, быстро размножаться и превращать биосферу в пыль за считанные дни. Опасные репликаторы легко могут оказаться слишком жесткими, маленькими и быстро распространяющимися, чтобы их можно было остановить — по крайней мере, если мы не будем готовиться к этому. У нас достаточно проблем с контролем вирусов и плодовых мух.

Среди знатоков нанотехнологий эта угроза стала известна как «проблема серой слизи». Хотя массы неконтролируемых репликаторов не обязательно должны быть серыми или липкими, термин «серая слизь» подчеркивает, что репликаторы, способные уничтожить жизнь. Они могут быть лучше в эволюционном смысле, но это не обязательно делает их ценными.

Угроза серой слизи ясно показывает одну вещь: мы не можем допустить определенных несчастных случаев с воспроизводящимися ассемблерами.

Серая слизь, несомненно, стала бы удручающим концом нашего человеческого приключения на Земле, гораздо хуже, чем простой огонь или лед, и причиной этого может быть простой лабораторный инцидент. Упс!

Больше всего нас должна заставить задуматься сила разрушительного самовоспроизведения в генетике, нанотехнологиях и робототехнике (GNR). Самовоспроизведение — это метод работы генной инженерии, использующей механизм клетки для воспроизведения ее конструкции, и главная опасность, лежащая в основе серой слизи в нанотехнологиях. Истории о вышедших из-под контроля роботах, таких как Борг, размножающихся или мутирующих, чтобы избежать этических ограничений, наложенных на них их создателями, хорошо известны в наших научно-фантастических книгах и фильмах. Возможно даже, что самовоспроизведение может быть более фундаментальным, чем мы думали, и, следовательно, его труднее — или даже невозможно — контролировать. В недавней статье Стюарта Кауфмана в журнале Nature под названием «Самовоспроизведение: даже пептиды делают это» обсуждается открытие, что пептид из 32 аминокислот может «автокатализировать свой собственный синтез». Мы не знаем, насколько широко распространена эта способность, но Кауфман отмечает, что она может указывать на «путь к самовоспроизводящимся молекулярным системам на основе гораздо более широкой, чем спаривание оснований Уотсона-Крика».

По правде говоря, в течение многих лет у нас в руках были четкие предупреждения об опасностях, присущих широко распространенному знанию технологий GNR, — о возможности того, что знание само по себе может привести к массовому уничтожению. Но эти предупреждения не получили широкой огласки; общественные обсуждения были явно недостаточными. Нет никакой выгоды в огласке опасностей.

Ядерные, биологические и химические (ЯБХ) технологии, используемые в оружии массового уничтожения 20-го века, были и остаются в основном военными, разработанными в государственных лабораториях. Напротив, технологии GNR 21-го века имеют явное коммерческое применение и разрабатываются почти исключительно корпоративными предприятиями. В наш век триумфальной коммерции технология — с наукой в ​​качестве ее служанки — поставляет серию почти волшебных изобретений, которые являются самыми феноменально прибыльными из когда-либо виденных. Мы настойчиво претворяем в жизнь обещания этих новых технологий в рамках ныне не вызывающей возражений системы глобального капитализма с его многочисленными финансовыми стимулами и конкурентным давлением.

Это первый момент в истории нашей планеты, когда любой вид своими добровольными действиями стал опасен как для самого себя, так и для огромного числа других.

Это может быть знакомая последовательность, происходящая во многих мирах: вновь образовавшаяся планета спокойно вращается вокруг своей звезды; жизнь медленно формируется; развивается калейдоскопическая процессия существ; появляется интеллект, который, по крайней мере до определенного момента, придает огромную ценность для выживания; а потом изобретается технология. До них доходит, что существуют такие вещи, как законы природы, что эти законы могут быть выявлены экспериментальным путем, и что знание этих законов может быть использовано как для спасения, так и для отнятия жизней, причем в беспрецедентных масштабах. Они признают, что наука дает огромные возможности. В мгновение ока они создают устройства, изменяющие мир. Некоторые планетарные цивилизации видят свой путь, устанавливают ограничения на то, что можно и что нельзя делать, и благополучно проходят через время опасностей. Другие, менее удачливые и не столь благоразумные, погибают.

Это Карл Саган, написавший в 1994 году в Pale Blue Dot книгу, описывающую его видение будущего человечества в космосе. Я только сейчас понимаю, насколько глубокой была его проницательность и как сильно я скучаю и буду скучать по его голосу. При всем красноречии вклад Сагана заключался не в последнюю очередь в простом здравом смысле — атрибуте, которого, наряду со скромностью, похоже, не хватает многим ведущим сторонникам технологий 21-го века.

Помню с детства, что моя бабушка была категорически против чрезмерного употребления антибиотиков. Она работала медсестрой еще до Первой мировой войны и придерживалась здравого смысла, что прием антибиотиков, если они не являются абсолютно необходимыми, вреден для здоровья.

Не то чтобы она была врагом прогресса. За почти 70-летнюю карьеру медсестры она увидела большой прогресс; мой дед, диабетик, получил большую пользу от улучшенных методов лечения, которые стали доступны при его жизни. Но она, как и многие уравновешенные люди, возможно, сочла бы слишком самонадеянным, что мы сейчас разрабатываем роботизированный «замещающий вид», когда у нас, очевидно, так много проблем с тем, чтобы заставить работать относительно простые вещи, и так много проблем с управлением или даже пониманием себя.

Теперь я понимаю, что она осознавала природу порядка жизни и необходимость жить в соответствии с этим порядком и уважать его. С этим уважением приходит необходимое смирение, которого нам, с нашей наглостью начала 21-го века, не хватает на свой страх и риск. Взгляд здравого смысла, основанный на этом отношении, часто бывает верным, даже если он опережает научные данные. Очевидная хрупкость и неэффективность созданных нами искусственных систем должны заставить всех нас задуматься; хрупкость систем, над которыми я работал, безусловно, смущает меня.

Мы должны были извлечь урок из создания первой атомной бомбы и последовавшей за этим гонки вооружений. Тогда мы не преуспели, и параллели с нашей нынешней ситуацией вызывают беспокойство.

Усилиями по созданию первой атомной бомбы руководил блестящий физик Дж. Роберт Оппенгеймер. Оппенгеймер, естественно, не интересовался политикой, но с болью осознал то, что он воспринимал как серьезную угрозу для западной цивилизации со стороны Третьего рейха, угрозу, безусловно серьезную из-за возможности того, что Гитлер может получить ядерное оружие. Воодушевленный этой заботой, он привнес свой сильный интеллект, страсть к физике и харизматические лидерские качества в Лос-Аламос и возглавил быструю и успешную работу невероятного собрания великих умов, чтобы быстро изобрести бомбу.

Что поразительно, так это то, как естественно это усилие продолжалось после того, как первоначальный импульс был устранен. На встрече вскоре после Дня Победы с некоторыми физиками, которые считали, что, возможно, усилия следует прекратить, Оппенгеймер выступил за продолжение. Высказанная им причина кажется несколько странной: не из-за боязни больших потерь от вторжения в Японию, а потому, что Организация Объединенных Наций, которая вскоре должна была быть сформирована, должна была предвидеть атомное оружие. Более вероятная причина, по которой проект продолжился, — это нарастание импульса — первое атомное испытание «Тринити» было почти готово.

Мы знаем, что при подготовке этого первого атомного испытания физики действовали, несмотря на большое количество возможных опасностей. Первоначально они были обеспокоены, основываясь на расчетах Эдварда Теллера, что атомный взрыв может поджечь атмосферу. Пересмотренный расчет уменьшил вероятность уничтожения мира до трех шансов на миллион. (Теллер говорит, что позже он смог полностью отбросить перспективу атмосферного возгорания.) Однако Оппенгеймер был достаточно обеспокоен результатом Тринити, организовав возможную эвакуацию жителей юго-западной части штата Нью-Мексико. И, конечно, существовала явная опасность начала гонки ядерных вооружений.

В течение месяца после первого успешного испытания две атомные бомбы уничтожили Хиросиму и Нагасаки. Некоторые ученые предлагали просто продемонстрировать бомбу, а не сбрасывать ее на японские города, заявив, что это значительно повысит шансы на контроль над вооружениями после войны, но безрезультатно. Поскольку трагедия Перл-Харбора все еще была свежа в памяти американцев, президенту Трумэну было бы очень трудно отдать приказ о демонстрации оружия вместо того, чтобы использовать его, как он это сделал, — желание быстро положить конец войне и спасти жизни, которые могли были потеряны при любом вторжении в Японию, было очень сильным. Тем не менее главная истина, вероятно, была очень проста: как позже сказал физик Фримен Дайсон, «причина, по которой идею отбросили, заключалась просто в том, что ни у кого не хватило мужества или дальновидности сказать «нет».

Важно понимать, насколько потрясены были физики после бомбардировки Хиросимы 6 августа 1945 года. Они описывают серию волн эмоций: сначала чувство удовлетворения от того, что бомба сработала, затем ужас перед всеми убитыми, затем убедительное ощущение, что ни в коем случае нельзя сбрасывать еще одну бомбу. Тем не менее, конечно, еще одна бомба была сброшена на Нагасаки всего через три дня после бомбардировки Хиросимы.

В ноябре 1945 года, через три месяца после атомных бомбардировок, Оппенгеймер решительно поддержал научную позицию, заявив: «Невозможно быть ученым, если вы не верите, что знание мира и сила, которую оно дает, являются вещью, которая имеет внутреннюю ценность для человечества, и что вы используете его, чтобы помочь в распространении знаний, и готовы принять последствия».

Оппенгеймер вместе с другими работал над докладом Ачесона-Лилиенталя, в котором, как говорит Ричард Родс в своей недавней книге «Видение технологий», «нашелся способ предотвратить тайную гонку ядерных вооружений, не прибегая к вооруженному мировому правительству»; их предложение было формой отказа национальных государств от работы над ядерным оружием международному агентству.

Это предложение привело к плану Баруха, который был представлен в ООН в июне 1946 года, но так и не был принят (возможно, потому, что, как предполагает Родс, Бернард Барух «настаивал на том, чтобы отягощать план обычными санкциями», тем самым неизбежно обрекая его на провал, хотя он «почти наверняка был бы отвергнут сталинской Россией в любом случае»). Другие усилия по продвижению разумных шагов к интернационализации ядерной энергетики для предотвращения гонки вооружений противоречили либо политике США и внутреннему недоверию, либо недоверию со стороны Советов. Возможность избежать гонки вооружений была упущена, и очень быстро.

Двумя годами позже, в 1948 году, Оппенгеймер, по-видимому, достиг другого этапа в своем мышлении, сказав: «В каком-то грубом смысле, который не может полностью погасить ни вульгарность, ни юмор, ни преувеличение, физики познали грех; знания, которые они не могут потерять».

В 1949 году Советы взорвали атомную бомбу. К 1955 году и США, и Советский Союз испытали водородные бомбы, пригодные для доставки самолетами. Так началась гонка ядерных вооружений.

Почти 20 лет назад в документальном фильме «День после Троицы» Фриман Дайсон резюмировал взгляды ученых, которые привели нас к ядерной пропасти: «Я сам это почувствовал. Блеск ядерного оружия. Перед ним невозможно устоять, если подойти к нему как ученому. Совершить эти чудеса, поднять в небо миллион тонн камней - это то, что дает людям иллюзию безграничной силы, и это, в некотором роде, ответственно за все наши беды, это то, что вы могли бы назвать технической самонадеянностью, это побеждает людей, когда они видят, на что они способны своим разумом».

Сейчас, как и тогда, мы — создатели новых технологий и звезды воображаемого будущего, движимые — на этот раз большими финансовыми вознаграждениями и глобальной конкуренцией — несмотря на явные опасности, с трудом оцениваем каково это — пытаться жить в мире, как  реалистичном результате того, что мы создаем и воображаем.

В 1947 году «Бюллетень ученых-атомщиков» начал размещать на обложке часы Судного дня. На протяжении более 50 лет он давал оценку относительной ядерной опасности, с которой мы столкнулись, отражая меняющиеся международные условия. Стрелки часов переместились 15 раз и сегодня, остановившись на отметке без девяти минут до полночи, отражают постоянную и реальную опасность ядерного оружия. Недавнее добавление Индии и Пакистана к списку ядерных держав усилило угрозу провала цели нераспространения, и эта опасность отразилась в том, что стрелки передвинулись ближе к полуночи в 1998 году.

В наше время с какой опасностью мы сталкиваемся не только от ядерного оружия, но и от всех этих технологий? Насколько высок риск исчезновения?

Философ Джон Лесли изучил этот вопрос и пришел к выводу, что риск вымирания человечества составляет не менее 30 процентов, в то время как Рэй Курцвейл считает, что у нас есть «больше, чем даже шанс выжить», с оговоркой, что его «всегда обвиняли в излишнем оптимизме». Эти оценки не только не обнадеживают, но и не учитывают вероятности многих ужасных исходов, которые не исчезнут.

Столкнувшись с такими оценками, некоторые серьезные люди уже предлагают нам просто как можно быстрее уйти за пределы Земли. Мы бы колонизировали галактику, используя зонды фон Неймана, которые прыгают от звездной системы к звездной системе, воспроизводясь по мере движения. Этот шаг почти наверняка будет необходим через 5 миллиардов лет (или раньше, если на нашу Солнечную систему катастрофически повлияет надвигающееся столкновение нашей галактики с галактикой Андромеды в течение следующих 3 миллиардов лет), но если мы возьмем Курцвейла и Моравека, то их слово это может быть необходимо уже к середине этого века.

Какие здесь моральные последствия? Если мы должны выйти за пределы Земли так быстро, чтобы выжил вид, кто возьмет на себя ответственность за судьбу тех (в конце концов, большинства из нас), кто остался? И даже если мы разлетимся к звездам, неужели мы не унесем с собой наши проблемы или обнаружим, что они последовали за нами позже? Судьба нашего вида на Земле и наша судьба в галактике кажутся неразрывно связанными.

Другая идея состоит в том, чтобы воздвигнуть серию щитов для защиты от каждой из опасных технологий. Стратегическая оборонная инициатива, предложенная администрацией Рейгана, была попыткой создать такой щит против угрозы ядерного нападения со стороны Советского Союза. Но, как заметил Артур К. Кларк, причастный к обсуждению проекта: «Хотя и можно было бы с огромными затратами построить локальные системы защиты, которые «пропускали бы лишь несколько процентов баллистических ракет», рекламируемая идея национального зонтика была чепухой. Луис Альварес, возможно, величайший физик-экспериментатор этого века, заметил мне, что сторонники таких схем были «очень умными парнями без здравого смысла».

Кларк продолжил: «Глядя в свой часто мутный хрустальный шар, я подозреваю, что полная защита действительно может быть возможна через столетие или около того от чего-то столь же примитивного, как баллистические ракеты».

В «Машинах творения» Эрик Дрекслер предложил создать активный нанотехнологический щит — форму иммунной системы для биосферы — для защиты от опасных репликаторов всех видов, которые могут сбежать из лабораторий или быть созданы каким-либо иным образом злонамеренно. Но предложенный им щит сам по себе был бы чрезвычайно опасен — ничто не могло помешать ему развить аутоиммунные проблемы и атаковать саму биосферу.

Аналогичные трудности возникают при создании щитов против робототехники и генной инженерии. Эти технологии слишком мощны, чтобы их можно было защитить в интересующий период времени; даже если бы было возможно реализовать оборонительные щиты, побочные эффекты их разработки были бы не менее опасны, чем технологии, от которых мы пытаемся защитить.

Таким образом, все эти возможности либо нежелательны, либо недостижимы, либо и то, и другое. Единственной реальной альтернативой, которую я вижу, является отказ: ограничить развитие слишком опасных технологий, ограничив наше стремление к определенным видам знаний.

Да, знаю, знания хороши, как и поиск новых истин. Мы ищем знания с древних времен. Аристотель начал свою «Метафизику» простым утверждением: «Все люди по своей природе желают знать». Мы уже давно согласились с ценностью открытого доступа к информации в качестве основополагающей ценности нашего общества и осознаем проблемы, возникающие при попытках ограничить доступ к знаниям и их развитие. В последнее время мы стали почитать научные знания.

Но, несмотря на сильные исторические прецеденты, если открытый доступ к знаниям и их неограниченное развитие отныне подвергают всех нас явной опасности вымирания, а здравый смысл требует, чтобы мы пересмотрели даже эти основные, давние убеждения.

Именно Ницше предупреждал нас в конце XIX века не только о том, что Бог мертв, но и о том, что «вера в науку, которая, в конце концов, бесспорно существует, не может быть обязана своим происхождением расчету полезности; она должна была возникнуть вопреки тому, что ей постоянно доказывается вредность и опасность «воли к истине», «истины во что бы то ни стало». Именно с этой дальнейшей опасностью мы теперь сталкиваемся в полной мере — с последствиями нашего поиска истины. Истина, которую ищет наука, безусловно, может считаться опасной заменой Бога, если она может привести к нашему вымиранию.

Если бы мы как биологический вид могли договориться о том, чего мы хотим, куда идем и почему, тогда наше будущее стало бы намного менее опасным — тогда мы могли бы понять, от чего мы можем и должны отказаться. В противном случае мы можем легко представить себе гонку вооружений, развернувшуюся вокруг технологий НБК, как это было с технологиями ЯБК в 20-м веке. Это, пожалуй, самый большой риск, ибо если такая гонка начинается, ее очень трудно закончить. На этот раз — в отличие от Манхэттенского проекта — мы не находимся в состоянии войны, сталкиваясь с непримиримым врагом, угрожающим нашей цивилизации; вместо этого нами движут наши привычки, наши желания, наша экономическая система и наша конкурентная потребность знать.

Я считаю, что все мы хотим, чтобы наш курс определялся нашими коллективными ценностями, этикой и моралью. Если бы мы приобрели больше коллективной мудрости за последние несколько тысяч лет, то диалог с этой целью был бы более практичным, и невероятные силы, которые мы собираемся высвободить, не вызывали бы такого беспокойства.

Казалось бы, к такому диалогу нас толкает инстинкт самосохранения. У индивидуумов явно есть такое желание, но наше поведение как биологического вида кажется не в нашу пользу. Имея дело с ядерной угрозой, мы часто лгали себе и друг другу, тем самым значительно увеличивая риски. Было ли это политически мотивировано, или потому, что мы предпочли не думать наперед, или потому, что столкнувшись с такими серьезными угрозами, мы действовали иррационально из-за страха, я не знаю, но это не сулит ничего хорошего.

Новые ящики Пандоры генетики, нанотехнологий и робототехники почти открыты, но мы, похоже, этого почти не замечаем. Идеи нельзя положить обратно в коробку; в отличие от урана или плутония, их не нужно добывать и очищать, и их можно свободно копировать. Как только они вышли, они вышли. Черчилль заметил в знаменитом левацком комплименте, что американский народ и его лидеры «неизменно поступают правильно, после того как изучат все другие альтернативы». В этом случае, однако, мы должны действовать более предусмотрительно, так как поступить правильно только в конце концов может означать потерю возможности сделать это вообще.

Как сказал Торо: «Мы не едем по железной дороге, она едет по нам»; и это то, с чем мы должны бороться в наше время. Вопрос в том, кто должен быть хозяином? Выживем ли мы с нашими технологиями?

Нас продвигают в этот новый век без плана, без контроля, без тормозов. Не зашли ли мы слишком далеко, чтобы изменить курс? Я в это не верю, но мы пока не пытаемся, и последний шанс установить контроль — точка безотказной работы — быстро приближается. У нас есть первые роботы-питомцы, а также коммерчески доступные методы генной инженерии, и наши нанотехнологии быстро развиваются. Хотя разработка этих технологий проходит через ряд этапов, совсем не обязательно — как это произошло в Манхэттенском проекте и испытаниях Тринити — что последний шаг в проверке технологии будет большим и трудным. Прорыв к дикому самовоспроизведению в робототехнике, генной инженерии или нанотехнологиях может произойти внезапно, повторив удивление, которое мы испытали, когда узнали о клонировании млекопитающего.

И все же я верю, что у нас есть прочная основа для надежды. Наши попытки иметь дело с оружием массового уничтожения в прошлом веке представляют собой яркий пример отказа, который мы должны рассмотреть: односторонний отказ США без предварительных условий от разработки биологического оружия. Этот отказ проистекал из осознания того, что, хотя для создания этого ужасного оружия потребуются огромные усилия, с этого момента его можно будет легко воспроизвести и он может попасть в руки стран-изгоев или террористических групп.

Ясный вывод в том, что мы создадим для себя дополнительные угрозы, преследуя это оружие, и что мы будем в большей безопасности, если не будем преследовать его. Мы воплотили наш отказ от биологического и химического оружия в Конвенции о биологическом оружии 1972 года (КБО) и Конвенции о химическом оружии 1993 года (КХО)12.

Что касается сохраняющейся значительной угрозы со стороны ядерного оружия, с которой мы живем уже более 50 лет, то недавний отказ Сената США от Договора о всеобъемлющем запрещении ядерных испытаний ясно дает понять, что отказ от ядерного оружия будет политически непростым делом. Но у нас есть уникальная возможность с окончанием холодной войны предотвратить многополярную гонку вооружений. Основываясь на отказах от КБО и КХО, успешная ликвидация ядерного оружия могла бы помочь нам выработать привычку отказываться от опасных технологий. (На самом деле, избавившись от всего, кроме 100 ядерных боеголовок во всем мире), что примерно соответствует общей разрушительной силе Второй мировой войны и значительно более легкой задачей, мы могли бы устранить эту угрозу исчезновения.

Проверка отказа будет трудной проблемой, но не неразрешимой. Нам повезло, что мы уже проделали большую соответствующую работу в контексте КБО и других договоров. Наша главная задача будет заключаться в том, чтобы применить это к технологиям, которые, естественно, гораздо более коммерческие, чем военные. Существенной потребностью здесь является прозрачность, поскольку сложность проверки прямо пропорциональна сложности различения отказа от законной деятельности.

Я искренне считаю, что ситуация в 1945 году была проще, чем та, с которой мы сталкиваемся сейчас: ядерные технологии можно было разумно разделить на коммерческое и военное использование, а мониторингу способствовал характер атомных испытаний и легкость, с которой можно было измерить радиоактивность. Исследования военного применения можно было бы проводить в национальных лабораториях, таких как Лос-Аламос, с сохранением результатов в секрете как можно дольше.

Технологии GNR не разделяются четко на коммерческое и военное использование; учитывая их рыночный потенциал, трудно представить себе их использование только в национальных лабораториях. При их широко распространенном коммерческом преследовании для принуждения к отказу потребуется режим проверки, аналогичный режиму для биологического оружия, но в беспрецедентных масштабах. Это неизбежно повысит напряженность между нашей личной конфиденциальностью и стремлением к конфиденциальной информации, а также необходимостью проверки для защиты всех нас. Мы, несомненно, столкнемся с сильным сопротивлением этой потере конфиденциальности и свободы действий.

Проверка отказа от определенных технологий GNR должна будет происходить как в киберпространстве, так и на физических объектах. Критический вопрос будет заключаться в том, чтобы сделать необходимую прозрачность приемлемой в мире конфиденциальной информации, предположительно, путем предоставления новых форм защиты интеллектуальной собственности.

Проверка соблюдения также потребует, чтобы ученые и инженеры приняли строгий кодекс этического поведения, напоминающий клятву Гиппократа, и чтобы они имели смелость сообщать о нарушениях по мере необходимости, даже ценой больших личных затрат. Это стало бы ответом на призыв — 50 лет спустя после Хиросимы — лауреата Нобелевской премии Ганса Бете, одного из самых высокопоставленных из оставшихся в живых участников Манхэттенского проекта, о том, что все ученые «прекратят и воздержатся от работы по созданию, разработке, совершенствованию и производству ядерных материалов и других видов оружия потенциального массового поражения». В 21 веке это требует бдительности и личной ответственности от тех, кто будет работать как над технологиями ЯБК, так и над НБК, чтобы избежать внедрения оружия массового уничтожения, основанного на знаниях.

Торо также сказал, что мы будем «богаты пропорционально количеству вещей, которые мы можем позволить себе оставить в покое». Каждый из нас стремится быть счастливым, но, по-видимому, стоит задаться вопросом, нужно ли нам идти на такой высокий риск полного разрушения, чтобы получить еще больше знаний и еще больше вещей? Здравый смысл подсказывает, что у наших материальных потребностей есть предел, и что определенные знания слишком опасны, и от них лучше отказаться.

Мы также не должны гнаться за почти бессмертием без учета затрат, без учета соответствующего увеличения риска вымирания. Бессмертие, возможно, изначальная, но, конечно, не единственно возможная утопическая мечта.

Недавно мне посчастливилось познакомиться с выдающимся писателем и ученым Жаком Аттали, чья книга Lignes d'horizons помогла вдохновить подход Java и Jini к грядущей эпохе всепроникающих вычислений, как описано ранее в этой статье. В своей новой книге Fraternités Аттали описывает, как со временем менялись наши мечты об утопии: «На заре общества люди видели свой переход на Земле не более чем лабиринтом боли, в конце которого находилась дверь, ведущая через их смерть к обществу богов и к Вечности. Евреи, а затем греки, осмеливались освободиться от богословских требований и мечтать об идеальном Городе, где процветала бы Свобода. Другие, отмечая эволюцию рыночного общества, понимали, что свобода одних повлечет за собой отчуждение других, и стремились к Равенству.

Жак помог мне понять, как эти три разные утопические цели противоречат друг другу в современном обществе. Далее он описывает четвертую утопию - Братство, основой которой является альтруизм. Только братство связывает личное счастье со счастьем других, давая обещание самообеспечения.

Это кристаллизовало для меня мою проблему со сном Курцвейла. Технологический подход к Вечности — почти бессмертие с помощью робототехники — может быть не самой желанной утопией, и его погоня таит в себе явные опасности. Может нам стоит переосмыслить наши утопические решения?

Где мы можем искать новую этическую основу для определения нашего курса? Я нашел идеи из книги Далай-ламы «Этика нового тысячелетия» очень полезными. Далай-лама утверждает, что самое важное для нас — это вести свою жизнь с любовью и состраданием к другим, и что нашим обществам необходимо развить более сильное представление о всеобщей ответственности и нашей взаимозависимости; он предлагает стандарт позитивного этического поведения для отдельных лиц и обществ, который кажется созвучным утопии Аттали о Братстве.

Далай-лама также утверждает, что мы должны понять, что делает людей счастливыми, и признать убедительные доказательства того, что ни материальный прогресс, ни стремление к силе знания не являются ключом к успеху, что есть пределы тому, что наука и только научные поиски могут сделать.

Наше западное представление о счастье, по-видимому, восходит к грекам, которые определяли его как «упражнение жизненных сил в направлении совершенства в жизни, дающей им простор».

Ясно, что нам нужно найти значимые вызовы и достаточные возможности в нашей жизни, если мы хотим быть счастливыми во всем, что нас ждет. Но я считаю, что мы должны найти альтернативные выходы для наших творческих сил, помимо культуры постоянного экономического роста; этот рост в значительной степени был благословением на протяжении нескольких сотен лет, но он не принес нам абсолютного счастья, и теперь мы должны выбирать между стремлением к неограниченному и ненаправленному росту с помощью науки и техники и явными сопутствующими опасностями.

Прошло больше года с момента моей первой встречи с Рэем Курцвейлом и Джоном Сирлом. Я вижу вокруг себя поводы для надежды в голосах осторожности и отказа в тех людях, которых я обнаружил, которые так же, как и я, обеспокоены нашим нынешним затруднительным положением. Я чувствую также обостренное чувство личной ответственности — не за работу, которую я уже проделал, а за работу, которую я еще мог бы сделать на стыке наук.

Но многие другие люди, знающие об опасности, до сих пор кажутся странно молчаливыми. Когда на них нажимают, они выдают ответ «в этом нет ничего нового», как будто осознание того, что может произойти, является достаточным ответом. Они говорят мне, что есть университеты, заполненные биоэтиками, которые целыми днями изучают этот материал. Мол, обо всем этом уже писали раньше и специалисты. Они жалуются, что мои заботы и аргументы уже устарели.

Я не знаю, где эти люди прячут свой страх. Как архитектор сложных систем я выхожу на эту арену как универсал. Но должно ли это уменьшить мои опасения? Я знаю, как много было написано, сказано и прочитано. Но значит ли это, что оно дошло до людей? Означает ли это, что мы можем сбрасывать со счетов опасности, стоящие перед нами?

Знание не является основанием для бездействия. Можем ли мы сомневаться в том, что знание стало оружием, которое мы используем против самих себя?

Опыт ученых-атомщиков ясно показывает необходимость брать на себя личную ответственность, опасность того, что все будет развиваться слишком быстро, и способ, которым процесс может обрести собственную жизнь. Мы можем, как и они, создавать непреодолимые проблемы почти мгновенно. Мы должны больше думать заранее, если не хотим, чтобы нас так же удивляли и шокировали последствия наших изобретений.

Моя постоянная профессиональная работа связана с повышением надежности программного обеспечения. Программное обеспечение — это инструмент, и как создатель инструментов я должен бороться с тем, для чего используются инструменты, которые я создаю. Я всегда считал, что повышение надежности программного обеспечения с учетом его многочисленных применений сделает мир безопаснее и лучше; если бы я пришел к убеждению в обратном, то я был бы морально обязан прекратить эту работу. Теперь я могу представить, что такой день может наступить.

Все это оставляет меня не злым, а, по крайней мере, немного меланхоличным. Отныне для меня прогресс будет несколько горько-сладким.

Помните красивую предпоследнюю сцену в «Манхэттене», где Вуди Аллен лежит на диване и говорит в диктофон? Он пишет рассказ о людях, которые создают себе ненужные, невротические проблемы, потому что это мешает им иметь дело с более неразрешимыми, ужасающими проблемами вселенной.

Он приводит себя к вопросу: «Почему стоит жить?» и рассмотривает, что делает это стоящим для него: Граучо Маркс, Вилли Мейс, вторая часть Симфонии Юпитера, запись Луи Армстронга «Блюз Картофельной Головы», шведские фильмы, Сентиментальное Воспитание Флобера, Марлон Брандо, Фрэнк Синатра, яблоки и груши Сезанна, крабы у Сэма Во и, наконец, самое главное: лицо его возлюбленной Трейси.

У каждого из нас есть свои драгоценности, и, заботясь о них, мы обнаруживаем сущность нашей человечности. В конце концов, именно из-за нашей большой способности заботиться я сохраняю оптимизм, что мы будем решать опасные проблемы, стоящие перед нами.

Моя непосредственная надежда состоит в том, чтобы принять участие в гораздо более широком обсуждении поднятых здесь вопросов с людьми из самых разных слоев общества, в условиях, не предрасположенных бояться или отдавать предпочтение технологиям как таковым.

Для начала я дважды поднимал многие из этих вопросов на мероприятиях, спонсируемых Аспенским институтом, и отдельно предлагал Американской академии искусств и наук рассмотреть их в качестве продолжения своей работы с Пагуошскими конференциями. (Они проводятся с 1957 года для обсуждения контроля над вооружениями, особенно ядерным оружием, и для формулирования действенной политики.)

К сожалению, Пагуошские встречи начались только после того, как ядерный джин был выпущен из бутылки — с опозданием примерно на 15 лет. Мы также с опозданием начинаем серьезно заниматься вопросами, связанными с технологиями 21-го века — предотвращением массового уничтожения, основанного на знаниях, — и дальнейшая задержка кажется неприемлемой.

Так что я все еще ищу; есть еще много вещей, требующих изучения. Добьемся ли мы успеха или потерпим неудачу, выживем или станем жертвами этих технологий, еще не решено. Я снова опаздываю — уже почти 6 утра.

Wired, 2000

---

Bill Joy, cofounder and Chief Scientist of Sun Microsystems, was cochair of the presidential commission on the future of IT research, and is coauthor of The Java Language Specification.