Может ли язык влиять на восприятие? Новые подсказки для решения столетней загадки
Исследование с использованием ИИ-моделей и данных пациентов с инсультом впервые нашло прямое доказательство того, что языковой опыт систематически формирует работу нашего визуального восприятия
Скриншот страницы газеты
Короткое резюме
Учёные из Пекинского университета и их коллеги, используя «цифровую лабораторию» искусственного интеллекта, получили первые прямые доказательства того, что языковой опыт формирует визуальное восприятие. Сравнивая две модели ИИ — обученную только на изображениях и обученную на изображениях и тексте, — они обнаружили, что активность визуально-языковой модели гораздо больше похожа на активность зрительной коры человека, особенно в левом полушарии, что указывает на тесную связь языковой обработки и визуального восприятия.
Для установления причинно-следственной связи исследователи обратились к данным пациентов с инсультом, у которых повреждены нейронные пути, соединяющие речевые и зрительные области мозга. Оказалось, что чем сильнее повреждён этот путь, тем больше активность зрительной коры пациента напоминает «чисто визуальную» модель ИИ и тем меньше — модель, обученную с языком. Это прямо доказывает, что языковая система не просто активируется параллельно со зрительной, а активно регулирует её работу через специфические нейронные связи.
Работа демонстрирует новую исследовательскую парадигму, в которой ИИ-модели и нейробиология взаимно обогащают друг друга: контролируемые эксперименты с ИИ генерируют гипотезы о мозге, а уникальные данные пациентов с повреждениями мозга обеспечивают их редкую причинную проверку. Это открытие также указывает направление для развития более разумных систем ИИ, в которых язык будет не просто отдельным модулем, а системой, организующей восприятие и мышление, как в мозге человека.
Прямое доказательство влияния языка на зрение
Данные пациентов с инсультом показали, что повреждение путей между языковыми и зрительными областями делает визуальную обработку мозга более «изолированной» и менее подверженной языковому влиянию, что является прямым доказательством причинной роли языка
Язык систематически «впечатан» в зрительную кору
Визуально-языковые модели ИИ, обученные на тексте и изображениях, воспроизводят паттерны активности человеческой зрительной коры точнее, чем модели, обученные только на изображениях, особенно в левом (языковом) полушарии
Новая парадигма «ИИ-нейронаука»
Исследование создало замкнутый цикл: ИИ-модели используются для генерации гипотез о работе мозга, а данные о редких повреждениях мозга у людей (инсульт) служат уникальным экспериментом для их причинной проверки
Глубинная роль языка в интеллекте
Открытие предполагает, что язык в мозге играет организующую и регулирующую роль для восприятия, что может стать ключом к созданию более сложных, по-настоящему интегрированных систем искусственного интеллекта
Текст сгенерирован с использованием ИИ
Источник:
Журнал медицинских наук
