справиться чуточку лучше. Они рисковали только собой и вредили только себе, а выигрывало от этого все человечество.

Но когда дело дойдет до выравнивания искусственного суперинтеллекта (ИСИ), у человечества не будет роскоши учиться на достаточно серьезных ошибках.

Это также означает, что мы лишены роскоши опыта, который подсказал бы нам впоследствии, была ли задача настолько сложной и проклятой инженерными трудностями, что за нее и браться не стоило.

Нам придется понять это заранее. Но как?

Для начала мы можем взглянуть на другие инженерные вызовы, с которыми борется человечество, исследовать, какие «проклятия» над ними тяготеют, и извлечь возможные уроки. И тогда, возможно, мы сможем сделать обоснованное предположение о сложности проблемы выравнивания ИСИ.

Мы считаем, что уроки истории становятся очевидными, если взглянуть на них под правильным углом. Давайте же разберем, в чем сложность создания работающих космических зондов, работающих ядерных реакторов и невзламываемых компьютеров — задач, которые, на наш взгляд, имеют важное сходство с выравниванием ИСИ.

КОСМИЧЕСКИЕ ЗОНДЫ

Пропасть между «до» и «после» — это то же самое проклятие, из-за которого терпят неудачу многие космические зонды. После запуска они улетают высоко и становятся недосягаемыми, и любой сбой — вопреки всем тщательно проработанным теориям и испытаниям — часто оказывается необратимым.

Космические зонды — это не расходный материал. Они стоят баснословно дорого. Люди ставят на карту всю свою научную и управленческую карьеру ради успеха этих аппаратов. И все равно зонды регулярно выходят из строя.

Миссия Mars Observer в 1992 году, стоимость которой на тот момент составляла 813 миллионов долларов, была потеряна незадолго до прибытия к Марсу. По наиболее вероятной версии, во время полета топливный клапан медленно подтекал, что привело к взрывному разрыву топливопровода, когда в двигателе подняли давление для повторного запуска.

В 1999 году аппарат Mars Climate Orbiter стоимостью 327 миллионов долларов был утерян из-за того, что наземное программное обеспечение от Lockheed Martin передавало результаты расчетов тяги двигателей в имперских единицах (фунт-силах на секунду) навигационному ПО НАСА, которое ожидало метрические единицы (ньютон-секунды). Аппарат либо сгорел в атмосфере Марса, либо отскочил от нее в космос.

Два месяца спустя на Красной планете разбился Mars Polar Lander (стоимостью 110 миллионов долларов). Наиболее вероятная причина: его посадочные опоры завибрировали в разреженной атмосфере Марса так, что бортовой компьютер решил, будто аппарат уже совершил посадку, и отключил двигатель.

Если при подлете к Марсу с космическим зондом что-то идет не так, вы не можете просто подбежать и починить его. Перед запуском зонда можно пойти на разные хитрые уловки, чтобы сохранить над ним контроль, когда он окажется вне зоны досягаемости, — например, оснастить его антенной для приема дальнейших инструкций с Земли. Но если в вашем хитром плане что-то пойдет не так (допустим, сбой произойдет настолько быстро, что у зонда просто не будет времени получить инструкции по его устранению), то после преодоления этой пропасти исправить уже ничего не удастся.

Именно при подобных обстоятельствах был потерян спускаемый аппарат «Викинг-1» (стоимостью 610 миллионов долларов в ценах 1975 года): центр управления полетами попытался загрузить на аппарат новое программное обеспечение для зарядки аккумуляторов и в процессе случайно перезаписал программу наведения антенны. Антенна оказалась в неверном положении, и аппарат больше не мог принимать команды. Связь так и не удалось восстановить.

Когда зонды запущены в космос, условия их работы оказываются не точь-в-точь такими же, как во время наземных испытаний, проводившихся инженерами. Возможно, теоретически они и могли бы провести именно те тесты, которые выявили бы все проблемы до полета зонда, но на практике этого не произошло.

Любой разумный инженер пришел бы в ужас от мысли поставить на кон выживание человеческой цивилизации ради решения подобной инженерной задачи — где нельзя просто взять и исправить ошибки, возникающие «после», когда устройство уже находится вне досягаемости. При этом космические зонды конструируют, а не выращивают; они выходят из строя вопреки упорному труду инженеров, которые понимают все действующие здесь законы физики. А если бы космические зонды выращивали, а не конструировали? Что ж, это было бы несравнимо более сложной задачей.

ЯДЕРНЫЕ РЕАКТОРЫ

Еще один исторический пример, из которого мы можем извлечь уроки о сложных инженерных задачах, — авария с расплавлением активной зоны реактора 26 апреля 1986 года на 4-м энергоблоке Чернобыльской АЭС.

Двести тридцать семь человек были госпитализированы, и тридцать один погиб в первые же дни после катастрофы. В основном это были пожарные, которые без предупреждения об опасности и без средств защиты тушили пожар на крыше, вызванный смертельно радиоактивным графитом из взорвавшейся активной зоны, а также многие члены эксплуатационного персонала реактора. Оценки смертности от рака, вызванного выбросом радиации, остаются спорными. Мы (авторы) склонны доверять оценкам в районе 10 000 избыточных смертей по всему миру, но не претендуем на экспертные знания.i

Политические лидеры искренне не хотели ядерных катастроф. Они требовали, чтобы их реакторы не взрывались. Их подчиненные — инженеры и конструкторы — понимали, какими тяжелыми последствиями для их карьеры обернется взрыв реактора. У операторов Чернобыльской АЭС были самые веские стимулы не допустить катастрофы: на кону стояли их собственные жизни. И все же четвертый энергоблок Чернобыльской АЭС взорвался. Как? Почему?

Если сильно упростить, мы можем выделить четыре действовавших здесь «проклятия», которые, наложившись друг на друга, привели к взрыву.

Во-первых, проклятие скорости: ядерные реакции происходят быстро. Когда атом урана расщепляется («делится»), он испускает нейтроны, которые могут столкнуться с другими атомами урана и вызвать новое деление — высвобождая еще больше нейтронов, которые запускают еще большее деление: это и есть «цепная реакция». Этот процесс протекает в масштабах микросекунд. Если он хоть немного выходит из-под контроля, выделение энергии начинает удваиваться в масштабе миллисекунд.

Стандартный ядерный реактор вообще способен работать лишь потому, что ничтожная доля выделяющихся при делении нейтронов относится к «запаздывающим нейтронам» — их испускают осколки расщепленных атомов урана, которые распадаются медленнее. Если для поддержания цепной ядерной реакции необходимы эти запаздывающие нейтроны, то мощность реактора удваивается в масштабе минут — достаточно медленно, чтобы операторы-люди могли ее контролировать.

Но это если все внутри реактора работает так, как задумано.

Ядерные реакторы спроектированы для работы в масштабах минут, а не микросекунд. Но это лишь тонкий фасад, скрывающий гораздо более быструю физику. Если что-то пойдет не так, истинная физическая скорость ядерных реакций может вернуться.

Во-вторых, проклятие узких границ: между полезной работой и взрывом пролегает тончайшая грань. Менее 1 процента нейтронов, выделяющихся при делении урана, являются запаздывающими — если