Впрочем, из-за технической ошибки можно было использовать лишь 296 ответов. Тем, кто решает работать в этой области, мы обычно рекомендуем идти в организации, которые в первую очередь сосредоточены именно на этой проблеме (хотя кроме работы в уже существующих организациях, есть и другие способы помочь). Вряд ли мы откажемся заниматься фундаментальной наукой из-за того, что у каждого отдельного исследователя есть лишь очень малая вероятность совершить следующее большое открытие. Вряд ли мы перестанем бороться за мир из-за того, что у каждого отдельного активиста есть лишь очень малая вероятность предотвратить третью мировую войну. Как обществу нам надо, чтобы какие-то люди работали над подобными важными вопросами, и ты можешь стать одним из таких людей. То вклад каждого человека, работающего над технической безопасностью, в предотвращение катастрофы составляет 0,0006 процентных пункта.

Если системы ИИ лишат человечество возможности управлять своей судьбой, это будет экзистенциальной катастрофой

Например, нас также очень беспокоят риски от пандемий, а эту проблему, вероятно, решить гораздо проще. При этом мы не утверждаем, что риска уничтожения человечества со стороны ИИ не существует. Наоборот, мы считаем, что уничтожить людей — это довольно вероятный способ, которым система ИИ может полностью и навсегда гарантировать то, что мы не сможем вернуть свою власть обратно. Мы не утверждаем, что любая развитая планирующая система ИИ обязательно попытается накопить побольше власти.

Или это может быть следствием тщательного регулирования в области ИИ, например, согласованных усилий, направленных на остановку автономного программного обеспечения, когда оно запущено. Если для того, чтобы сделать системы ИИ полезными, в любом случае потребуется решить проблему алайнмента, это значительно снижает шансы того, что у нас будут незаалайненные, но тем не менее значительно более полезные системы ИИ. Поэтому стимул запустить незаалайненный ИИ будет значительно меньше, и таким образом будет меньше риск для общества. Также по мере того, как риски со стороны ИИ будут становиться очевиднее, общество будет уделять этому вопросу больше внимания.

Авторы благодарят Управление национальных стандартов образования и оценки качества (Общественную организацию) (Таиланд) за оказание fte full form in company финансовой поддержки проведения данного исследования. Во всех этих случаях есть множество причин, почему что-нибудь может пойти не так, поэтому в первую очередь нужно более детально изучить проблему. Если вы хотите узнать больше о вопросах регулирования в области ИИ, в первую очередь мы рекомендуем присмотреться к курсу по этой теме от AGI safety fundamentals. Если вы хотите реформировать политические институты или в процессе фундаментальных научных исследований сделать открытия, которые когда-нибудь помогут победить рак, то шансы на то, что именно вы внесёте ключевой вклад в решение проблемы, будут ещё ниже.

Регулирование и стратегии в отношении ИИ

Для начала, чтобы ИИ начал влиять на реальный мир, может оказаться достаточно всего лишь одной ошибки — например, кто-то снимет ограничения “песочницы” или в её системе безопасности обнаружится неучтённая уязвимость. Второй подход, направленный на снижение рисков со стороны ИИ, заключается в том, чтобы влиять на его разработку с помощью регулирования, создания норм и прочих механизмов управления. Подробнее об исследованиях в области технической безопасности ИИ читайте ниже. Ниже мы опишем эти способы подробнее, а в этом разделе проиллюстрируем точку зрения, что мы действительно можем что-то сделать в отношении упомянутых рисков. В самых радикальных сценариях, планирующая система ИИ с достаточно развитыми способностями может лишить нас власти полностью и навсегда. Например, люди очень хорошо умеют убеждать и/или манипулировать, и это зачастую приносит им власть.

Но ведь по-настоящему разумная система ИИ поймёт, что не нужно никого лишать возможности управлять собственной судьбой?

В целом мы считаем, что существование человеческого интеллекта показывает, что создать искусственный интеллект принципиально возможно. И, насколько мы представляем, никто из утверждающих, что мы никогда не создадим мощный ИИ общего назначения, не смог предсказать скорость современных достижений в этой области. Чрезмерная сложность задачи — определённо веская причина, чтобы заняться чем-то другим. Разрешимость — важная часть модели, c помощью которой мы сравниваем глобальные проблемы.

Впрочем, реально важно здесь то, в какой мере ваша работа может снизить шансы катастрофы. Мы очень хотели бы, чтобы шансы катастрофы, вызванной ИИ, были бы настолько исчезающе малы. Однако мы постепенно изучили аргументы, упомянутые выше (чтобы разобраться, как мы можем принести больше всего пользы), и со временем стали лучше разбираться в вопросах ИИ. Исследования “приобретения функции” — это исследования, в которых умышленно создаются более опасные патогены, которые способны вызвать пандемию, гораздо более опасную, чем пандемия COVID-19.

Они обнаружили, что после 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей ИИ росло экспоненциально — удваивалось каждые 3,4 месяца. В число современных технологий ИИ входит машинное обучение (ML), которое основано на том, что модели автоматически улучшаются за счёт входных данных. Наиболее популярная на сегодняшний день форма машинного обучения известна как глубокое обучение. Итак, эксперты расходятся в оценках того, насколько ИИ представляет собой экзистенциальный риск — вид угрозы, которая, как мы утверждаем, чрезвычайно важна с этической точки зрения. Чжан и соавторы связались с 2652 авторами, работы которых публиковались в материалах конференций брокер 2018 года, и получили 524 ответа (доля ответов — 20%).

1. Если это действительно так, возможно, мы создадим заалайненный ИИ, потому что иначе мы не сможем сделать его полезным.
2. Более того, значительная часть исследований по технической безопасности ИИ также связана с решением проблем существующих систем ИИ.
3. Если эта гипотеза верна, то наблюдая за скоростью увеличения вычислительных мощностей, доступных для обучения моделей, мы сможем предсказывать, как будут расти возможности искусственного интеллекта.
4. До сих пор мы утверждали, что, с нашей точки зрения, ИИ окажется важной новой технологией, которая, вероятно, значительно изменит экономику и общество.
5. Мы считаем, что работа над снижением наиболее серьёзных рисков, связанных с ИИ, — это одно из самых важных дел, которыми вы могли бы заниматься.
6. По крайней мере мы сами, ” часов”, всё равно хотим помогать решать проблему безопасности ИИ — например, создавая такие статьи, как эта — даже если шансы на успех кажутся низкими (хотя мы на самом деле настроены довольно оптимистично).
7. Подробнее об исследованиях в области технической безопасности ИИ читайте ниже.

Предположим, вы на 90% уверены, что вам успешно удалось построить заалайненный ИИ. Однако технологии часто развиваются разными группами параллельно примерно с одинаковой скоростью, поэтому достаточно вероятно, что кто-то ещё тоже скоро разработает мощный ИИ. И вы считаете, что ваши конкуренты менее осторожны или менее альтруистичны, поэтому вы оцениваете вероятность того, что их ИИ будет заалайнен с хорошими целями лишь в 80%, и таким образом у вас получается вероятность экзистенциальной катастрофы 20%. К тому же, системы ИИ, которые мы сейчас обсуждаем, обладают развитыми способностями — то есть, способны справиться с одной или несколькими задачами, решения которых дают людям значительную власть над сегодняшним миром. При наличии настолько развитых способностей достижение упомянутых инструментальных целей не выглядит невозможным. Поэтому, с нашей точки зрения вполне возможно, что система ИИ применит свои способности, чтобы захватить власть, в качестве одного из шагов по реализации своего плана.

1. Определённо существует опасность и со стороны уже существующего искусственного интеллекта.
2. И без этих дата-центров Гугл работать не в состоянии, поэтому даже если бы его руководству могла прийти в голову идея закрыть весь бизнес, вряд ли бы её кто-то реализовал.
3. Однако в целом нам кажется крайне вероятным, что по крайней мере для некоторых вариантов развитых планирующих систем будет сложнее построить их так, чтобы они не пытались накапливать власть опасным для человека способом, чем построить систему, склонную к такому поведению.
4. Одна из возможных причин этого заключается в том, что его никогда и не будет.
5. Если какая-то идея для вас выглядит похожей на научную фантастику, то тщательно изучить её, прежде чем действовать — это вполне разумно.

Решить проблему алайнмента — это не то же самое, что полностью исключить экзистенциальный риск со стороны ИИ, поскольку заалайненный ИИ всё равно может привести к плохим последствиям — например, в руках авторитарного правительства. Как мы уже писали выше, у нас нет полной уверенности в правильности наших доводов о том, что ИИ представляет экзистенциальную угрозу. Хорошее регулирование в области ИИ может помочь работе над технической безопасностью. Например, оно может способствовать появлению соглашений о безопасности между корпорациями или помочь талантливым исследователям в области безопасности со всего мира переезжать туда, где они смогут принести максимум пользы. Регулирование в области ИИ может также помочь и с другими проблемами, которые порождают риски, например с состоянием “гонки”.