Мы лишь попытались привести основную , с нашей точки зрения, часть рассуждения, почему ИИ представляет собой экзистенциальный риск. Во-первых, я оценил количество ЭПЗ, работающих напрямую над задачей снижения экзистенциальных рисков от ИИ, в каждой организации из базы данных AI Watch. Для этого я посмотрел, сколько в каждой из организаций числилось персонала — как всего, так и отдельно в 2022 году, — а также сколько в каждой из организаций числилось исследователей. В итоге, по моим оценкам, получилось от 76 до 536 ЭПЗ (доверительный интервал 90%), задействованных в работе над техническими вопросами безопасности ИИ. Количество людей, занимающихся вопросами регулирования ИИ и разработкой стратегий, получилось от 51 до 239 ЭПЗ (доверительный интервал 90%) при среднем значении в 151 ЭПЗ. Из-за неоднозначностей, описанных выше, эти оценки получились во многом субъективными.

Но ведь по-настоящему разумная система ИИ поймёт, что не нужно никого лишать возможности управлять собственной судьбой?

Тем не менее, учитывая каковы ставки, возможно, для многих людей всё равно имеет смысл работать над снижением рисков со стороны ИИ. Нужно полагать, что снизить риски со стороны ИИ чрезвычайно сложно, чтобы решить, что пусть лучше пусть эти риски реализуются. Некоторые утверждают, что ИИ будет менять наше будущее постепенно и влиять на человечество менее заметным образом, но это всё равно приведёт к экзистенциальной катастрофе. Другие утверждают, что наиболее вероятный способ лишить человечество власти — это просто убить всех людей. Мы не готовы рассуждать о том, какой сценарий катастрофы является наиболее вероятным.

1. Однако в целом это наивысшие оценки величины экзистенциального риска среди всех вопросов, которые мы исследовали (например, пандемии искусственного происхождения, конфликт сверхдержав, изменение климата или ядерная война).
2. Скорее всего, ИИ сможет помочь нам решить многие из критичных для нашего мира задач.
3. Однако сложно утверждать, что всё это — лишь научная фантастика, когда столько людей воспринимают эту угрозу всерьёз.
4. Впрочем, из-за технической ошибки можно было использовать лишь 296 ответов.
5. Количество людей, занимающихся вопросами регулирования ИИ и разработкой стратегий, получилось от 51 до 239 ЭПЗ (доверительный интервал 90%) при среднем значении в 151 ЭПЗ.
6. ИИ — пример технологии двойного назначения, то есть такой технологии, которую можно использовать как во благо, так и во вред.

Нам всё равно придётся решить проблему алайнмента, чтобы ИИ оказался для нас полезен

Однако, раз эти системы регулярно строят планы, которые позволяют им достигать целей, наверное, можно сказать, что у них в каком-то смысле есть цели. Система, которая достаточно хорошо умеет планировать, должна неплохо понимать мир — она должна уметь замечать препятствия или дополнительные возможности, которые могут поспособствовать или помешать её планам, и реагировать на них соответственно. Как и Карлсмит, мы будем называть эту способность “стратегическим мышлением”28 , поскольку она позволяет системам строить более сложные стратегии. Однако, как мы увидим ниже, возможное скорое появление чрезвычайно мощного ИИ предсказывает не только гипотеза о масштабировании. К такому же выводу можно прийти и благодаря другим способам оценки прогресса в этой области.

Так как ставки очень высоки, а риски со стороны ИИ не настолько малы, получается, что ожидаемая полезность от помощи в решении этой проблемы высока. Как мы уже обсуждали, системы будущего — не обязательно сверхинтеллект или абсолютно универсальный интеллект, а системы, которые умеют хорошо планировать и способны накапливать власть, — судя по всему, способны представлять угрозу для существования всего человечества. И, похоже, что довольно вероятно, что мы создадим такие системы в этом веке. И да, если бы мы могли задать ИИ цели, которые в самом деле очень точно соответствуют тому, что мы хотим получить, и если бы мы знали, что система будет преследовать лишь эти цели, то риск, представляемый ИИ, был бы гораздо меньше. Однако при таком определении слов “по-настоящему разумная”, риск представляют системы, не являющиеся “по-настоящему разумными”. Как мы указывали выше, риск для человечества представляют развитые системы, которые могут планировать и обладают стратегическим мышлением.

ИИ может дать больше власти тоталитарным правительствам

Идея о том, что, вероятно, трансформационный ИИ появится ещё нескоро, в первую очередь основывается на достаточно убедительном предположении о том, что, первый трансформационный ИИ, скорее всего, не будет построен на основе современных методов глубокого обучения. Хотя автоматизация научной работы даст многие преимущества — например, быструю разработку новых лекарств — какие-то варианты технологического развития могут представлять угрозу для человечества, в том числе экзистенциальную. Например, опасность может прийти из биотехнологийУрбина и соавторы (2022) с помощью компьютерного моделирования доказали, что существующие технологии в fte full form in company области ИИ, используемые для разработки новых лекарств, можно также применить для разработки биохимического оружия. Для меня и многих из нашей команды в ” часов” тратить наше ограниченное время и ресурсы на что угодно, что важно в долгосрочной перспективе, — и таким образом не тратить это время на ужасные проблемы, которые есть в нашем мире сегодня — невероятно тяжело с эмоциональной точки зрения.

Мы считаем, что появление трансформационного ИИ в ближайшие лет достаточно вероятно. Поэтому работать над вопросом безопасности стоит (с точки зрения ожидаемой полезности) уже сейчас. Возможно, конечно, об этом позаботятся будущие поколения, и вся наша работа окажется напрасной. Однако даже если современные методы не позволят создать трансформационный ИИ, всё же есть причины считать, что у нас не настолько много времени на решение этой проблемы. Например, возможно, найти технические решения, позволяющие предотвратить поведение, направленное на захват власти, будет чрезвычайно сложно. Однако, как мы уже упоминали, даже если мы успешно построим ИИ, который делает именно то, что мы хотим (т.е. решим проблему алайнмента), мы, тем не менее, можем потребовать от него сделать что-то плохое!

И без этих дата-центров Гугл работать не в состоянии, поэтому даже если бы его руководству могла прийти в голову идея закрыть весь бизнес, вряд ли бы её кто-то реализовал. Только что мы обсудили основные возражения против работы над рисками со стороны ИИ, которые мы считаем наиболее убедительными. В этом разделе мы рассмотрим возражения, которые считаем менее убедительными, и объясним, почему мы так считаем. Однако даже с учётом упомянутых возражений мы всё же считаем, что шансы на то, что наши выводы в целом верны — или по крайней мере указывают на что-то очень важное, — достаточно высоки, чтобы уделить этому вопросу очень серьёзное внимание. Однако из этого нельзя сделать вывод, что аргумент о стремлении ИИ к власти ошибочен. Ведь у большинства людей всё же появляется мотивация накапливать разные виды влияния с помощью богатства, статуса, высоких должностей и так далее.

Например, исследователям удалось спроектировать биооружие с помощью нейросети, обученной разрабатывать лекарства. А если у нас получится автоматизировать научную работу и разработку новых технологий, мы получим совершенно невероятный экономический и научный прогресс. Скорее всего, ИИ сможет помочь нам решить многие из критичных для нашего мира задач. В обсуждении выше про возможное начало ядерной войны описывалась угроза, для которой не требуется ИИ с особо развитыми способностями. Например, в данных, используемых для обучения нейронных сетей, часто есть неявная предвзятость. Определённо существует опасность и со стороны уже существующего искусственного интеллекта.

Но нельзя с большой уверенностью утверждать, что ИИ будет развиваться постепенно или, точнее, что он будет развиваться достаточно постепенно, чтобы это означало значительное валютная биржа снижение рисков. И даже если ИИ будет развиваться постепенно, возможно, будет очень полезно подготовить планы и технические решения заранее. Поэтому в итоге мы считаем, что всё равно чрезвычайно важно пытаться снижать риски уже сейчас. Если у планирующей системы ИИ также будет достаточно стратегического мышления, она сможет использовать знания о реальном мире (включая информацию о том, что может помешать любым планам) и строить планы, исходя из них. Что особо важно, эти знания будут включать в себя информацию о том, что ресурсы (например, деньги, вычислительные мощности, влияние) и увеличение возможностей — то есть различные формы власти — открывают путь к новым, более эффективным способам достигать целей.

1. В целом мы считаем, что существование человеческого интеллекта показывает, что создать искусственный интеллект принципиально возможно.
2. А некоторые эксперты предупреждают, что в ближайшие годы на политику могут значительно повлиять улучшающиеся способности ИИ создавать реалистичные фото и видео, а также автоматизированные кампании, направленные на изменение общественного мнения.
3. Предполагается, что демократическая политическая модель должна гарантировать, что политики принимают решения на благо обществу.
4. Эти наблюдения привели к гипотезе о масштабировании, которая гласит, что мы можем просто строить всё большие и большие нейронные сети и в итоге будем получать всё более и более мощный искусственный интеллект и таким образом дойдём до интеллекта человеческого уровня и дальше.
5. Дэвидсон (2021) пытается оценить скорость появления “сильного искусственного интеллекта” (СИИ), а не трансформационного ИИ.
6. Этот ИИ позволяет значительно быстрее распознавать и предсказывать действия людей, за которыми следит агентство.

Направления работы

Однако в реальности политические системы вознаграждают за победу на выборах, и поэтому многие политики стремятся именно к этому. Например, ИИ, способный придумать план действий для увеличения прибыли компании (фактически, ИИ, выполняющий роль генерального директора), скорее всего принесёт много денег тем, кто будет им владеть — а это сильный стимул создать такой ИИ. Тем не менее, планирование в реальном мире (в отличие от игр) — это гораздо более сложный процесс, и в настоящее время мы не известны какие-либо убедительные примеры целеориентированных планирующих систем или систем, которые демонстрируют высокий уровень стратегического мышления. Как упоминалось выше, мы уже создаём системы, которые очень хорошо справляются с определёнными задачами.