Математики рассчитали, когда ИИ станет опасным для человека
Большие языковые модели, такие как ChatGPT, способны справляться с решением сложных математических задач, успешно проходить экзамены и даже предлагать способы урегулирования конфликтов между людьми. Однако, несмотря на впечатляющие возможности, генеративный ИИ вызывает определенные опасения: пользователи нередко сталкиваются с некорректными ответами или потенциально опасными рекомендациями.
Изображение сгенерировано GrokКогда-то полезный ИИ может превратиться в источник проблем. Ученые из Университета Джорджа Вашингтона этот момент смогли предсказать с помощью математической формулы. Их исследование раскрывает, как вычислить критическую точку перехода ИИ от надежного помощника к неуправляемому «мистеру Хайду».
По словам профессора Нила Джонсона, «переломный момент» наступает, когда ИИ перегружается информацией, теряет фокус и начинает выдавать ошибочные или выдуманные данные — так называемые галлюцинации. Разработанная формула, основанная на скалярных произведениях векторов, учитывает содержание запросов и особенности обучения модели, позволяя точно определить шаг, на котором происходит сбой.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-6", "renderTo": "yandex_rtb_R-A-13768237-6" }) }) ]]>Ученые также предложили практические меры для предотвращения подобных сбоев. Например, использование более точных и релевантных слов в запросах помогает ИИ сохранять концентрацию. При этом вежливость в общении с чат-ботом, как выяснилось, не влияет на качество его ответов.
Источник Еще новости... ИИ заменит сценаристов в будущем, заявила российский режиссер 06.05.2025 Новый метод оценки качества изображений предложили в МГУ 06.05.2025 Ученые из Новосибирска создадут ИИ-ассистента для ЖКХ 06.05.2025 Популярный бестселлер Geely Atlas подешевел в России: скидки выросли до 250 тысяч рублей 06.05.2025 «Летающие» кубиты удалось эффективно превратить в стационарные и наоборот 06.05.2025 Юрист раскрыл семь фраз, которые помогут быстро завершить диалог с инспектором ГАИ и уехать 06.05.2025 Загрузить еще... Tags: Наука