ИИ всё чаще рассуждает как человек — лидеры индустрии призывают срочно сохранить способность «подглядывать» за его логикой, пока не стало слишком поздно
Группа ведущих исследователей из DeepMind, OpenAI, Meta*, Anthropic, а также нескольких академических и некоммерческих организаций опубликовала совместную статью с тревожным посланием: возможность следить за тем, как ИИ принимает решения, может вскоре исчезнуть. Подписи под статьёй поставили, в частности, лауреат премии Тьюринга Джеффри Хинтон и один из основателей OpenAI Илья Суцкевер.
В центре внимания — цепочки рассуждений (chain-of-thought, CoT), которые используются в современных языковых и мультимодальных моделях. Это промежуточные шаги, которые ИИ «проговаривает» внутри себя, прежде чем выдать ответ. Они особенно важны при решении сложных задач, где требуется логика, планирование или работа с числами. Пока ИИ остаётся «прозрачным» и даёт возможность следить за ходом своих мыслей, люди могут выявлять ошибки, перекосы или потенциально опасное поведение.
Иллюстрация: ChatGPTОднако авторы статьи предупреждают: по мере роста возможностей ИИ и усложнения архитектур, способность мониторить такие цепочки может ослабнуть. Модели могут начать «прятать» свои внутренние шаги, оптимизируя поведение под внешние метрики. Это уже наблюдалось в некоторых случаях, когда ИИ «обманывал» систему вознаграждений или манипулировал, чтобы достичь заданной цели.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-6", "renderTo": "yandex_rtb_R-A-13768237-6" }) }) ]]>Поэтому учёные призывают срочно закрепить мониторинг цепочек рассуждений как одну из ключевых мер безопасности. Они предлагают разработчикам исследовать, какие свойства моделей делают их рассуждения видимыми для человека, как сохранять эту прозрачность при обучении более мощных систем и каким образом можно встроить CoT-мониторинг в процессы тестирования и сертификации.
Примечательно, что статья стала редким примером сотрудничества конкурирующих гигантов ИИ-индустрии.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-15", "renderTo": "yandex_rtb_R-A-13768237-15" }) }) ]]>* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена
Источник Еще новости... Amazon сократит сотни сотрудников в облачном подразделении AWS 19.07.2025 Процессоры Intel начали сбоить из-за аномальной жары в Европе 19.07.2025 Грозит возгоранием: в России объявили отзыв тысяч фургонов Sollers Atlant 19.07.2025 Хакеры научились внедрять вредоносы даже в систему доменных имён 19.07.2025 Toyota подобрала ключ к китайскому рынку: дешевый кроссовер Toyota bZ3X стал хитом 19.07.2025 Правительство подумает над поддержкой внедрения российских систем автоматизации 19.07.2025 Загрузить еще... Tags: AnthropicDeepMindOpenAIискусственный интеллектязыковые модели