Ученые нашли в ИИ-моделях аналоги языковой сети мозга
Ученые из Швейцарской политехнической школы Лозанны (EPFL) обнаружили в крупных языковых моделях (LLM) специализированные элементы, которые напоминают языковую сеть человеческого мозга. Эти «языковые» нейроны играют важную роль в обработке текста, и их отключение резко снижает способности моделей.
Команда из лабораторий NeuroAI и обработки естественного языка изучила 18 популярных языковых моделей. Ученые сравнивали активность нейронов при обработке осмысленных предложений и случайных списков слов. Нейроны, которые активнее реагировали на предложения, были названы «языковыми». Их оказалось менее 1% от общего числа — около 100 нейронов. Когда эти элементы удаляли, модели теряли способность генерировать связный текст и плохо справлялись с языковыми тестами. Удаление случайных нейронов таких последствий не вызывало.
Метод исследования заимствован из нейронауки, где подобные подходы помогают изучать функции мозга. Ученые удивились, что простая техника, используемая для анализа мозга, так эффективно выявила ключевые элементы в искусственном интеллекте (ИИ). Это открытие упрощает понимание того, как модели обрабатывают язык, без сложных методов машинного обучения.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-6", "renderTo": "yandex_rtb_R-A-13768237-6" }) }) ]]>Исследователи также проверили, есть ли в моделях нейроны, отвечающие за логическое мышление или социальное взаимодействие, как в сетях мозга, связанных с теорией разума. В некоторых моделях такие элементы нашлись, в других — нет. Ученые планируют выяснить, почему так происходит и как это связано с обучением моделей или данными.
В будущем команда хочет изучить мультимодальные модели, которые работают не только с текстом, но и с изображениями, видео и звуком.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-15", "renderTo": "yandex_rtb_R-A-13768237-15" }) }) ]]> Источник Еще новости... Представлен DJI Mavic 4 Pro: флагманский дрон получил тройную 100-мегапиксельную камеру Hasselblad с записью видео 6К и увеличенную батарею на 51 минуту полета 14.05.2025 Google оштрафуют на €12 миллиардов из-за жалоб сайтов сравнения цен 14.05.2025 Sony продолжает гнуть свою линию. Представлен Sony Xperia 1 VII — флагман на Snapdragon 8 Elite, с аккумулятором 5000 мАч, улучшенной камерой и очень высокой ценой 14.05.2025 В двух регионах России комары могут заразить лихорадкой Западного Нила 14.05.2025 Apple готовит революцию: управлять iPhone и iPad можно будет силой мысли 14.05.2025 Много белка и другие признаки полезного йогурта 14.05.2025 Загрузить еще...