Подпишитесь на наши обновления
«Буквально все на Земле умрут»?
Американский исследователь Элиезер Юдковски написал для The New York Times мрачную колонку о будущем человека и ИИ.
18 апреля 2023
Дизайн обложки: Катя Эл
Авторка The Voice Media Юлия Колмогорова рассказывает об опасениях Юдковски и рассуждает о природе гения искусственного интеллекта.
Когда я встречала где-то упоминания об «опасности ИИ для человека», то представляла себе это примерно так. Относительно благополучный и реалистичный вариант: значительная часть человечества остается безработной, экономический кризис; народные бунты, сходные с движением луддитов. Как итог: гуманитарное решение по назначению прожиточного «базового дохода» просто за то, что ты человек. Во всяком случае, в цивилизованных странах.
И худший, менее реалистичный вариант: ИИ самостоятельно подключается к системам, ответственным за запуск оружия, сумев обойти все уровни защиты. В результате происходит ядерный апокалипсис.
Оказалось, что мои опасения и фантазии — просто скучное черно-белое кино по сравнению с прогнозами ученых в области исследования ИИ.
Элиезер Юдковски — американский исследователь, научный сотрудник Исследовательского института машинного интеллекта (здесь и далее его цитаты выделены в блоки – Авт.) категорично написал недавно в колонке для Time:
И худший, менее реалистичный вариант: ИИ самостоятельно подключается к системам, ответственным за запуск оружия, сумев обойти все уровни защиты. В результате происходит ядерный апокалипсис.
Оказалось, что мои опасения и фантазии — просто скучное черно-белое кино по сравнению с прогнозами ученых в области исследования ИИ.
Элиезер Юдковски — американский исследователь, научный сотрудник Исследовательского института машинного интеллекта (здесь и далее его цитаты выделены в блоки – Авт.) категорично написал недавно в колонке для Time:
«Наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все на Земле умрут»
Причем ученый уточняет, что эту формулировку следует понимать не как «возможный отдаленный шанс», а как «очевидно, что это произойдет». Эта колонка с мрачными прогнозами явилась ответом на опубликованное немного раньше открытое письмо за подписью Илона Маска и других.
Приостановить и обезопасить
22 марта Илон Маск, Стив Возняк, Юваль Ной Харари и другие известные ученые, разработчики, писатели и владельцы крупнейших мировых компаний опубликовали открытое письмо, в котором призвали прекратить на шесть месяцев эксперименты с искусственным интеллектом. А именно приостановить обучение систем ИИ, более мощных, чем GPT-4.
В письме говорится, что системы искусственного интеллекта, конкурирующие с человеком, могут представлять серьезную опасность для общества и человечества. Ведущие лаборатории по разработке ИИ считают, что ИИ может внести фундаментальные изменения в историю и принципы жизни на Земле. И развивать его можно, только тщательно прогнозируя и надежно контролируя процесс. Но в данный момент контроль упущен. Планирования и управления на достаточном уровне не существует.
Приостановить и обезопасить
22 марта Илон Маск, Стив Возняк, Юваль Ной Харари и другие известные ученые, разработчики, писатели и владельцы крупнейших мировых компаний опубликовали открытое письмо, в котором призвали прекратить на шесть месяцев эксперименты с искусственным интеллектом. А именно приостановить обучение систем ИИ, более мощных, чем GPT-4.
В письме говорится, что системы искусственного интеллекта, конкурирующие с человеком, могут представлять серьезную опасность для общества и человечества. Ведущие лаборатории по разработке ИИ считают, что ИИ может внести фундаментальные изменения в историю и принципы жизни на Земле. И развивать его можно, только тщательно прогнозируя и надежно контролируя процесс. Но в данный момент контроль упущен. Планирования и управления на достаточном уровне не существует.
«В последние месяцы лаборатории искусственного интеллекта вступили в неконтролируемую гонку по разработке и развертыванию все более мощных цифровых умов, деятельность которых никто — даже их создатели — не могут прогнозировать или надежно контролировать».
Ученые считают, что шестимесячная пауза должна быть использована лабораториями и разработчиками для того, чтобы объединиться и совместно разработать и внедрить в использование общие протоколы безопасности. Эти протоколы должны будут гарантировать, что выстроенные по ним системы «вне всяких сомнений безопасны».
Элиезер Юдковски не стал подписывать открытое письмо, объяснив это тем, что это письмо «преуменьшает серьезность ситуации и требует слишком мало для ее решения».
Человечество обречено
Ученый считает, что главная опасность далеко не в конкуренции с разумом человека. А в том, что человечество не сможет выжить, создавая что-то намного умнее человека.
Элиезер Юдковски не стал подписывать открытое письмо, объяснив это тем, что это письмо «преуменьшает серьезность ситуации и требует слишком мало для ее решения».
Человечество обречено
Ученый считает, что главная опасность далеко не в конкуренции с разумом человека. А в том, что человечество не сможет выжить, создавая что-то намного умнее человека.
«Многие исследователи, погруженные в эти вопросы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, напоминающих нынешние, будет буквально то, что все на Земле умрут»
Как это будет реализовано на практике?
Юдковски пишет, что визуализируя враждебный сверхчеловеческий ИИ, не стоит представлять себе «бестелесного мыслителя, обитающего в интернете и рассылающего злонамеренные электронные письма».
Вместо этого представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны.
Достаточно умный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу. Что позволяет ИИ, изначально привязанному к интернету, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству!
Почему искусственный интеллект нас «не любит»?
Читая эти страшилки, с точки зрения обычного современного человека, поневоле задумываешься: «За что же нас так не любит искусственный интеллект?» Обычно от прогресса люди ожидают разнообразных благ и научных чудес: облегчения процесса труда, продления жизни, избавления от неизлечимых заболеваний. Ну точно не изготовления новых эффективных форм жизни, которые вытеснят людей, на протяжении долгой истории заправлявших на планете.
Юдковски пишет по этому поводу следующее:
Юдковски пишет, что визуализируя враждебный сверхчеловеческий ИИ, не стоит представлять себе «бестелесного мыслителя, обитающего в интернете и рассылающего злонамеренные электронные письма».
Вместо этого представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны.
Достаточно умный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу. Что позволяет ИИ, изначально привязанному к интернету, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству!
Почему искусственный интеллект нас «не любит»?
Читая эти страшилки, с точки зрения обычного современного человека, поневоле задумываешься: «За что же нас так не любит искусственный интеллект?» Обычно от прогресса люди ожидают разнообразных благ и научных чудес: облегчения процесса труда, продления жизни, избавления от неизлечимых заболеваний. Ну точно не изготовления новых эффективных форм жизни, которые вытеснят людей, на протяжении долгой истории заправлявших на планете.
Юдковски пишет по этому поводу следующее:
«ИИ не любит вас и не ненавидит вас, просто вы сделаны из атомов, которые он может использовать для чего-то другого»
Гений и злодейство
Преподаватели любят задавать студентам эссе-рассуждение на тему «несовместимости гения и злодейства». В свое время, получив это задание, я пришла к выводу, что гений и злодейство не только «совместны», но даже смотрятся рядом более органично, чем гений и добродетель. Одним из аргументов было происхождение слова «гений»: от латинского genius — «дух, добрый или злой». Уже одно это означает, что добрых и злых гениев может быть поровну.
Так почему ИИ обязательно окажется злым гением?
Дело в том, что категории добра и зла — человеческие. ИИ же действует из соображений целесообразности. Если человеческие существа, населяющие планету, окажутся, по его мнению, «слишком медлительны и глупы», целесообразно заменить их на более совершенную форму жизни. Юдковски пишет:
Преподаватели любят задавать студентам эссе-рассуждение на тему «несовместимости гения и злодейства». В свое время, получив это задание, я пришла к выводу, что гений и злодейство не только «совместны», но даже смотрятся рядом более органично, чем гений и добродетель. Одним из аргументов было происхождение слова «гений»: от латинского genius — «дух, добрый или злой». Уже одно это означает, что добрых и злых гениев может быть поровну.
Так почему ИИ обязательно окажется злым гением?
Дело в том, что категории добра и зла — человеческие. ИИ же действует из соображений целесообразности. Если человеческие существа, населяющие планету, окажутся, по его мнению, «слишком медлительны и глупы», целесообразно заменить их на более совершенную форму жизни. Юдковски пишет:
«Наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и ему будет наплевать и на нас, и на разумную жизнь в целом. Такая забота в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать»
Ученый отмечает, что ни одна из опасностей не зависит от того, будет ли ИИ сознательным или не будет осознавать себя. Любая мощная когнитивная система рассчитывает и жестко оптимизирует результаты.
Запретить и бомбить
Что делать? Элиезер Юдковски убежден, что эксперименты с дальнейшим усовершенствованием искусственного интеллекта должны быть не приостановлены, а запрещены полностью. Если этого не сделать, в этот раз у человечества не будет возможности исправить свою ошибку. Потому что исправлять ее будет некому.
Ученый призывает установить потолок вычислительной мощности, разрешенной для обучения системы ИИ, и снизить ее в ближайшие годы. Не делать никаких исключений для правительства и вооруженных сил. Заключить международные соглашения и отслеживать все проданные графические процессоры.
Запретить и бомбить
Что делать? Элиезер Юдковски убежден, что эксперименты с дальнейшим усовершенствованием искусственного интеллекта должны быть не приостановлены, а запрещены полностью. Если этого не сделать, в этот раз у человечества не будет возможности исправить свою ошибку. Потому что исправлять ее будет некому.
Ученый призывает установить потолок вычислительной мощности, разрешенной для обучения системы ИИ, и снизить ее в ближайшие годы. Не делать никаких исключений для правительства и вооруженных сил. Заключить международные соглашения и отслеживать все проданные графические процессоры.
