OpenAI предлагает создание глобальных технических стандартов для передового ИИ
Компания призывает США возглавить международную разработку стандартов для передового ИИ и включить в обсуждение рекурсивное самоулучшение (RSI)
Короткое резюме
21 сентября OpenAI опубликовала политическое предложение о следующем этапе развития ИИ, призвав США возглавить сотрудничество с другими странами для разработки глобальных технических стандартов для передового ИИ. В обсуждение стандартов предлагается включить «рекурсивное самоулучшение» (Recursive Self-Improvement, RSI).
OpenAI отмечает, что по мере роста возможностей ИИ и выполнения им всё большей части исследований и разработок в области ИИ необходимо параллельно развивать исследования выравнивания, чтобы системы оставались согласованными с человеческими ценностями и под контролем человека. Предложение сосредоточено на двух направлениях: создании механизма стандартов передового ИИ, связывающего национальный и международный уровни, и продвижении единых механизмов измерения возможностей ИИ, оценки рисков и отчётности об инцидентах. Особое внимание уделено RSI: автоматизированные исследования ИИ могут вестись при разном уровне надзора человека, и когда ИИ выполняет всё больше работы по созданию следующего поколения ИИ, это может постепенно запустить рекурсивное самоулучшение и заметно ускорить рост возможностей. При этом полностью автономного RSI пока нет, и, по мнению OpenAI, его не следует продвигать без гарантий безопасности.
OpenAI также предлагает создать более единую систему классификации, отслеживания и отчётности об инцидентах в сфере ИИ. В числе возможных стандартов: оценка прогресса возможностей ИИ, связанного с RSI; измерение степени автоматизированных исследований внутри компаний-разработчиков ИИ; определение процессов автоматизированных исследований ИИ, требующих немедленной проверки человеком; единая классификация серьёзности инцидентов ИИ и пороги отчётности; механизмы отслеживания, отчётности и реагирования на проблемы выравнивания и автоматизированных исследований. По мнению OpenAI, такие общие стандарты уменьшат различия между странами в оценке ИИ, требованиях к отчётности и определениях инцидентов, помогут сравнивать технические данные, выявлять новые риски и реагировать на трансграничные инциденты. Компания прямо заявляет, что США должны возглавить сотрудничество со странами мира по разработке глобальных технических стандартов для передового ИИ, включая стандарты для RSI.
OpenAI предлагает глобальные стандарты для передового ИИ под руководством США
Инициатива направлена на сотрудничество с другими странами и создание общих технических стандартов для передового ИИ
В центре предложения — рекурсивное самоулучшение (RSI)
OpenAI хочет включить RSI в обсуждение стандартов, но подчёркивает, что полностью автономного RSI пока нет и его нельзя продвигать без достаточной безопасности
Нужны единые механизмы оценки, рисков и отчётности об инцидентах
Предлагаются общие подходы к измерению возможностей ИИ, оценке рисков, классификации, отслеживанию и отчётности об инцидентах, включая связанные с RSI
Для разработки стандартов предлагается использовать сеть национальных институтов безопасности ИИ
В документе упоминаются соответствующие учреждения Австралии, Канады, Германии, Франции, Кении, Японии, Южной Кореи, Сингапура, Индии и Великобритании
Текст сгенерирован с использованием ИИ
