Это означает, что экзистенциальной катастрофой считается любое событие, которое может помешать всем будущим поколениям прожить жизнь, полную того, что мы считаем fte full form in company ценным (не важно, идёт речь о счастье, справедливости, красоте или процветании в целом). И сейчас, когда мы изучили результаты исследований этого вопроса и поговорили с экспертами, мы считаем, что в настоящее время нет известных способов построить заалайненную систему ИИ, про которые можно было бы сказать, что они удовлетворяют обоим критериям. Достаточно продвинутый ИИ также будет использовать инструментальные цели в своих планах. Таким образом, система функционирует, как минимум, не совсем так, как мы бы от неё хотели в идеальном мире. Предполагается, что демократическая политическая модель должна гарантировать, что политики принимают решения на благо обществу.

Почему у опасного ИИ нельзя просто выдернуть вилку из розетки?

1. Хотя автоматизация научной работы даст многие преимущества — например, быструю разработку новых лекарств — какие-то варианты технологического развития могут представлять угрозу для человечества, в том числе экзистенциальную.
2. В итоге у меня получилось от 2 до 2357 ЭПЗ (доверительный интервал 90%) при среднем значении 770 ЭПЗ для вспомогательного персонала.
3. Поэтому нам следует беспокоиться не только о стимулах для систем ИИ, но и о мотивации использующих их людей.
4. Эрнандес и его команда также проверили, сколько нужно вычислительных ресурсов, чтобы обучить нейронную сеть, у которой будет такая же эффективность, какая была у AlexNet (одного из ранних алгоритмов распознавания картинок).

Учёные занимаются этими исследованиями, несмотря на риск, с которым мы столкнёмся, если такие патогены выйдут за пределы лаборатории. Если у нас действительно получится запереть развитый ИИ в “песочнице” — то есть, ограничить его обучающим окружением без доступа к реальному миру до тех пор, пока мы не будем очень уверены в том, что он не причинит вреда, — то это значительно поможет нам снизить риски со стороны ИИ. Кроме того, даже если мы не сможем использовать глубокое обучение для создания трансформационного ИИ, возможно, мы просто придумаем новые методы. В итоге многие эксперты в области ИИ полагают, что мы увидим трансформационный ИИ довольно скоро. Подробнее о разработке и реализации стратегий регулирования в области ИИ читайте ниже.

Более того, значительная часть исследований по технической безопасности ИИ также связана с решением проблем существующих систем ИИ. Например, некоторые исследования сосредоточены на том, чтобы гарантировать, что модели ML будут делать то, что мы от них хотим, и это не изменится при увеличении их размера и способностей. Другие исследования направлены на то, чтобы выяснить, как и почему существующие модели принимают решения и делают именно то, что они делают. Также возможна проблема, что даже если у одной группы действительно получится дать ИИ лишь “правильные” цели, у других групп это может не получиться, и в итоге мы всё равно столкнёмся с очень способным искусственным интеллектом, рвущимся к власти. И в этом случае шансы экзистенциальной катастрофы того или иного рода станут выше.

А создать искусственный интеллект вообще возможно?

Эти оценки могут оказаться заниженными, если в базе AI Watch отсутствуют данные по каким-то организациям, или завышенными, если данные учитывают каких-то людей по несколько раз или включают людей, которые больше не работают в этой области. Цель исследования заключалась в оценке условий повышения качества образования в колледжах, находящихся в ведении Бюро комиссии по профессиональному образованию (OVEC), а также в анализе и оценке оперативного подхода к обеспечению качества образования. Гарантированная возможность выключить опасный ИИ может быть мерой безопасности, найденной в процессе исследований в области технической безопасности ИИ.

Вполне вероятно, что мы создадим системы, способные строить сложные планы

Нейронная сеть преобразует входные данные в выходные данные, прогоняя их через несколько скрытых “слоёв” простых вычислений, где каждый слой состоит из “нейронов”. Каждый нейрон получает данные с предыдущего слоя, производит какие-то вычисления на основании своих параметров (в сущности, каких-то чисел, связанных с этим нейроном) и передаёт результат на следующий слой. Поэтому перед тем, как переходить к аргументам по поводу биржа рисков от ИИ, давай посмотрим, что думают эксперты. В качестве верхней оценки можно взять общий доход в секторе ИИ в 2021 году, который примерно равнялся 340 миллиардам долларов.

Мы согласны, что упомянутый скептицизм — это определённо повод копнуть поглубже. Тем не менее, мы надеемся, что эти сомнения не будут расценены как повод считать обсуждаемую проблему менее значимой. Мы очень надеемся увидеть огромные блага, которые принесёт нам ИИ, и ждём их с нетерпением. Однако мы также очень хотим минимизировать огромные риски, которые представляют собой продвинутые ИИ. Однако из того, что ИИ может сделать много добра, не следует, что он не может при этом причинить много вреда. ИИ — пример технологии двойного назначения, то есть такой технологии, которую можно использовать как во благо, так и во вред.

1. Как мы уже писали выше, у нас нет полной уверенности в правильности наших доводов о том, что ИИ представляет экзистенциальную угрозу.
2. Поэтому перед тем, как переходить к аргументам по поводу рисков от ИИ, давай посмотрим, что думают эксперты.
3. Например, люди очень хорошо умеют убеждать и/или манипулировать, и это зачастую приносит им власть.
4. Однако поймать на обмане достаточно развитый ИИ, кажется, будет сложнее, чем поймать на лжи человека, что не всегда просто.
5. Вряд ли мы откажемся заниматься фундаментальной наукой из-за того, что у каждого отдельного исследователя есть лишь очень малая вероятность совершить следующее большое открытие.
6. Например, опасность может прийти из биотехнологийУрбина и соавторы (2022) с помощью компьютерного моделирования доказали, что существующие технологии в области ИИ, используемые для разработки новых лекарств, можно также применить для разработки биохимического оружия.

Всё это звучит очень абстрактно. Как на самом деле может выглядеть экзистенциальная катастрофа, вызванная ИИ?

Мы хотим сказать, что если мы не найдём способа спроектировать систему так, чтобы у неё не было этой проблемы, мы сильно рискуем. Победа на выборах выглядит неплохим индикатором для оценки шансов достичь основной цели — если у вас есть план, как улучшить жизни людей, они с большей вероятностью проголосуют за вас. В итоге иногда политики принимают решения, которые очевидно не являются лучшими для страны, — например, увеличивают налоги в начале своего срока и снижают их перед следующими выборами. Том Дэвидсон (также исследователь из Open Philanthropy) написал отчёт, дополняющий работу Котры. Дэвидсон изучал, как быстро подобные виды исследования достигали успеха в прошлом при условии, что у них было достаточное финансирование. Аджея Котра (исследовательница из Open Philantropy) попыталась предсказать, когда появится трансформационный ИИ, путём сравнения современного глубокого обучения с человеческим мозгом.

Но при этом, поскольку ИИ начинает влиять на наше общество всё сильнее, критически важно, чтобы правительства и корпорации влияли на его развитие, руководствуясь лучшими стратегиями. Например, правительства могли бы навязывать соглашения, не позволяющие экономить на безопасности, поддерживать работу тех исследователей, чья работа с меньшей вероятностью причинит вред, или способствовать тому, чтобы блага от ИИ распределялись более равномерно. Поэтому, возможно, рано или поздно очень важными направлениями окажутся популяризация и лоббирование подходящих стратегий регулирования в области ИИ. Хотя сейчас мы ещё не представляем, какие стратегии было бы полезно реализовать.

Из релевантных организаций я выбрал те, для которых было достаточно данных о количестве исследователей среди сотрудников. Я рассчитал соотношения между числом исследователей в 2022 году и общим числом сотрудников в 2022 году в этих организациях, согласно информации из базы данных. Я рассчитал среднее значение этих соотношений и доверительный интервал, исходя из среднеквадратического отклонения.

Например, потребовалось 200 лет, чтобы паровой двигатель начали использовать не только для откачивания воды из шахт. Если вы чем-то похожи на нас, вас тоже удивила сложность и разнообразность задач, которые решают эти системы. Сегодня ML-системы могут выполнять лишь очень малую долю задач, которые способны решать люди. И почти у всех из них очень узкая специализация (например, играть в одну конкретную игру или создавать конкретный тип картинок). Во всех трёх работах опрашивались исследователи, работы которых публиковались в материалах конференций NeurIPS и ICML. Наконец, я оценил количество ЭПЗ для вспомогательного персонала на основании базы данных AI Watch.

Деятельность школы по обеспечению качества образования является движущим механизмом для получения высоких образовательных результатов на следующих ступенях обучения. Успешность этой деятельности будет способствовать устойчивому повышению качества образования. Важно заметить, что для участия в исследованиях в области безопасности ИИ не обязательно быть учёным или экспертом в ИИ или безопасности ИИ. Например, во многих местах, где занимаются исследованиями в области технической безопасности, нужны программисты. Но мы считаем, что мир будет лучше, если некоторые из нас будут решать эту проблему.

По мере усложнения этого оружия оно полностью изменит процесс ведения войны. Ниже мы утверждаем, что ИИ может даже повлиять на сценарии использования ядерного оружия. Тем не менее экономисты всё сильнее склоняются к тому, что ИИ, скорее всего, окажется технологией общего назначения, поскольку его можно применять очень широко. Большинство последних достижений в машинном обучении использует “нейронные сети”.

Когда мы рассуждаем про ИИ, ищущий власти, мы рассматриваем системы, которые относительно успешно планируют, их планы преследуют какую-то цель (или цели), и они способны реализовывать свои планы. Оперативный подход к обеспечению качества образования был разработан с использованием контент-анализа, исходных данных, процессов, результатов и концепций внутреннего и внешнего обеспечения качества на основе анализа перекрестного воздействия. Мы можем помочь тебе составить список вариантов, познакомить тебя с другими людьми, работающими над снижением рисков со стороны ИИ, и, возможно, даже помочь найти работу или финансирование. Сейчас мы лишь начинаем разбираться, какая именно задача стоит перед нами и как её эффективнее всего решать. Это включает в себя исследования в области прогнозов о том, что нам следует ожидать, и исследования в области стратегий и регулирования, чтобы понять, какими действиями легче всего уменьшить риски. Более того, над предотвращением рисков со стороны ИИ работают ведущие учёные и исследователи в МТИ, Кембридже, Оксфорде, Калифорнийском университете и других местах.