Исследование MIT: не обращающие внимание на отрицание при диагностике ИИ-модели угрожают пациентам. Но решение существует
Исследователи Массачусетского технологического института (MIT) выявили критический недостаток в популярных моделях, связывающих обработку изображений с текстом (VLM — Vision-Language Models). Эти системы, используемые в медицине для анализа снимков, некорректно интерпретируют слова отрицания, такие как «нет» или «не». Например, при поиске рентгеновских изображений с отёком тканей, но без увеличения сердца, модель может предложить случаи, где оба признака присутствуют. Это чревато ошибками в диагностике: сочетание отёка и увеличенного сердца указывает на сердечное заболевание, а их разделение — на другие причины. Кумайл Альхамуд, аспирант MIT и ведущий автор работы, отметил: «Игнорирование отрицаний может привести к катастрофическим последствиям, если модели внедряются без проверки».
Иллюстрация: LeonardoДля решения проблемы учёные создали специальный набор данных с 10 миллионами пар «изображение-подпись», включающих отрицания. После переобучения на этих данных точность моделей возросла, особенно в задачах поиска изображений без определённых объектов. Однако профессор Марзиех Гассеми предупредила: «Ошибки в столь базовых элементах, как отрицание, сигнализируют — внедрять VLM в критически важные сферы сейчас рискованно». Причина уязвимости — в обучающих данных: классические VLM обучаются на наборах с утвердительными описаниями, почти не содержащими отрицаний.
Параллельно другое исследование предложило прорывную модель для нейронных сетей — сеть Хопфилда с пластичностью, управляемой входными данными (IDP). Классическая модель Хопфилда, описывающая память как переход к ближайшему «устойчивому состоянию», не учитывала динамическое влияние внешних сигналов. Новая модель IDP позволяет входным данным напрямую менять синаптические связи, перестраивая энергетический ландшафт сети. Это делает её устойчивой к шуму: помехи не мешают, а помогают системе выходить из локальных минимумов, находя более релевантные воспоминания. Например, при сбоях во входных сигналах IDP-модель сохраняет стабильность, интегрируя прошлую информацию с текущей.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-6", "renderTo": "yandex_rtb_R-A-13768237-6" }) }) ]]>Учёные также обнаружили, что извлечение памяти в IDP зависит от «коэффициентов заметности» — меры соответствия входных данных сохранённым шаблонам. Если эти коэффициенты ниже порога, то сеть переходит в «состояние замешательства», не выдавая результатов. Однако при достаточной заметности модель эффективно классифицирует даже смешанные сигналы. Это открытие важно для разработки систем непрерывного обучения, где ИИ адаптируется к новым данным без потери предыдущих навыков.
Оба исследования указывают на необходимость переосмысления подходов в ИИ. Уязвимости VLM требуют более внимательного применения в медицине и промышленности, а модель IDP открывает путь к созданию адаптивных систем, имитирующих биологические механизмы памяти. «Связь IDP с архитектурой трансформеров и механизмами внимания — ключ к будущим прорывам в машинном обучении», — заключили авторы.
{ Ya.Context.AdvManager.render({ "blockId": "R-A-13768237-15", "renderTo": "yandex_rtb_R-A-13768237-15" }) }) ]]> Источник Еще новости... Американские ведомства нашли в китайских солнечных инверторах модули связи 16.05.2025 Мобильные процессоры Ryzen нового поколения будут иметь до 22 ядер в четырёх разных кластерах 16.05.2025 В Томске улучшили производство «зелёного» водорода 16.05.2025 Биологи раскрыли детали структуры и динамики нуклеосом на синтетической ДНК 16.05.2025 Безопасность превыше всего: отложен запуск частной миссии Ax-4 от SpaceX и Axiom Space к МКС 16.05.2025 Роскосмос запустит «Прогресс МС-31» к МКС в июле 2025 16.05.2025 Загрузить еще... Tags: MITVLMИИмашинное обучениемедицинская визуализациятрансформеры