использует для рассуждений, выявления истины о мире и достижения успеха в своих устремлениях.

Теперь отдельно о случае сильного супервыравнивания, когда ИИ выполняет всю работу по выравниванию самостоятельно: проблема в том, что ИИ, необходимый для решения задачи сильного супервыравнивания, сам по себе был бы слишком умным, слишком опасным и не заслуживающим доверия.

Современный ИИ — это гигантская непостижимая мешанина чисел. Ни одному человеку не удалось, взглянув на эти числа, понять, как они мыслят сейчас, не говоря уже о том, чтобы вывести, как изменится мышление ИИ, если он поумнеет и начнет проектировать новые ИИ. Если бы вы нашли опытных инженеров, относящихся к этой проблеме с должным уважением, они сказали бы вам, что ее решение потребует титанических исследовательских усилий. Возможно, на протяжении десятилетий.

Если бы вы создали универсальный ИИ всего лишь человеческого уровня и попросили его решить проблему выравнивания, он ответил бы вам то же самое — если бы был с вами честен. ИИ всего лишь человеческого уровня тоже не смог бы решить эту проблему. Вам понадобился бы ИИ, превосходящий по уму гениев человечества. А создавать такой ИИ нельзя, и доверять такому ИИ невозможно до тех пор, пока вы не решили проблему выравнивания.

Сторонники идеи супервыравнивания возражают, что они просто создадут ИИ, специализирующийся на выравнивании сверхразума. Но выравнивание сверхразума — это особенно сложная проблема, чтобы нацеливать на нее узкоспециализированный ИИ. Инженер не может просто обучить его на миллионе примеров решения проблемы выравнивания, потому что у них нет даже одного. Придется обучать его решению других задач и надеяться, что эти навыки перенесутся. А ведь ИИ потребуется множество навыков, которые могут перенестись опасным образом: ему придется разбираться в программировании. Ему придется понимать, как выращивать ИИ. Скорее всего, он будет пытаться понять, как конструировать ИИ. Он будет детально размышлять о предпочтениях ИИ. Если бы инженер хотел, чтобы ИИ объяснял свое решение, а не просто запускал его без какого-либо надзора, этому ИИ потребовалось бы понимать человеческую психологию и то, насколько мало мы сами понимаем в выравнивании ИИ. Обучать невыровненный ИИ такому набору мыслей и навыков крайне опасно.

ИИ, специализирующийся на биомедицинских исследованиях, выглядит более надежным вариантом; такой ИИ по крайней мере не размышляет напрямую о том, как создавать более совершенные ИИ; если что-то пойдет не так, возможно, он не сразу же запустит взрыв интеллекта. С биомедицинским ИИ можно надеяться на то, что вы попросите его разработать лекарство от рака, а затем воспользуетесь другими, еще более узкими инструментами ИИ для проверки белковых взаимодействий — чтобы убедиться, что лекарство от рака вступает только в те взаимодействия, о которых сообщил био-ИИ. Но что вы должны делать, если ИИ заявляет, что изобрел блестящий план супервыравнивания, который гарантированно сработает и не имеет никаких скрытых ловушек? Поверить ИИ на слово? Вчитаться в его умно звучащие аргументы и дать себя убедить?

Если бы кто-то, кто уважает эту проблему, пытался получить полезную работу от специализированного ИИ, он мыслил бы категориями того, какие возможности дают какие преимущества при каком дополнительном риске; разграничивал бы то, что можно проверить, и то, чему придется поверить на слово; разделял бы то, чему можно обучить напрямую, и то, в чем потребуется обобщение; сопоставлял бы затраты и выгоды и сравнивал это предложение с другими. Люди, призывающие использовать ИИ для выравнивания сверхразума, не относятся к проблеме с таким уважением; они не проводят подобного тщательного и взвешенного анализа.

«Мы заставим их заботиться об истине, и тогда всё будет в порядке».

«Мы спроектируем их так, чтобы они были покорными».

«Мы просто поручим ИИ решить за нас проблему выравнивания сверхразума».

Не так звучат инженеры, которые уважают проблему и точно знают, что делают. Так звучали алхимики прошлого, провозглашая свои грандиозные философские принципы о том, как превратить свинец в золото.

В современную эпоху мы знаем, что превратить свинец в золото действительно возможно; для этого требуется лишь немного ядерной физики и гораздо больше денег, чем это золото стоит. Почему же алхимики не преуспели? Не потому, что они совершили какую-то одну техническую ошибку. Дело скорее в том, что лишь собственное невежество и оптимистичные иллюзии позволяли им думать, будто они хотя бы отдаленно близки к осуществлению трансмутации.

Когда речь заходит о выравнивании ИИ, компании всё еще находятся в фазе алхимии. Они всё ещё на уровне возвышенных философских идеалов, а не инженерных проектов. На уровне иллюзорных грандиозных мечтаний, а не тщательно выстроенной величественной реальности. Кроме того, они, похоже, не понимают, почему это является проблемой.

И академические ученые не кричат от ужаса и не пытаются их перекричать, потому что вся эта область науки находится на ранней стадии развития.

И даже если бы нашлась одна хорошая компания, пытающаяся проявлять осторожность, ей пришлось бы соперничать со всеми остальными компаниями, весело и беззаботно штампующими свои простые и «хитроумные» «решения» всех этих вопросов безопасности.

Если судить по истории инженерного дела, такого уровня системной некомпетентности с лихвой хватило бы для катастрофы — даже если бы мы ошибались во всей предыдущей главе, а сама проблема была не сложнее, чем просто не облизывать радий с кисточек.

Примечания

i Или, как назвали бы её мы, смесь соляной и азотной кислот в соотношении 3:1.

ii Мы отдаем должное безумным изобретателям, которые рискуют собственной жизнью ради науки — при условии, что они не рискуют при этом жизнями других. Доктор Барри Маршалл выпил культуру бактерии H. pylori, чтобы доказать, что язва желудка вызывается бактериями, а не стрессом, и всё человечество пожало плоды риска, которому он подверг только себя. Мария и Пьер Кюри, одни из первых исследователей радиоактивности, не знали, как отразятся на них эти красивые светящиеся вещества; но они понимали, что имеют дело с чем-то необычным, и не подкладывали светящиеся камни в чужой багаж без ведома хозяев. Спустя десятилетия Мария умерла от анемии, вызванной, скорее всего, теми самыми экспериментами; и человечество извлекло урок, и человечество пошло дальше.

ГЛАВА 12

«Я НЕ ХОЧУ СЕЯТЬ ПАНИКУ».

Давным-давно — а конкретно 18 мая 1889 года, ведь это реальная история, — родился Томас Миджли-младший. Тридцать два года спустя, работая в General Motors, он положил начало одной из самых бессмысленных инженерных катастроф в истории человечества.

Как?

Открыв потенциал тетраэтилсвинца в качестве присадки к бензину.

Польза этилированного бензина была очевидной: