ИИллюзИИ и галлюцитирования: эксперт РГПУ рассказала, как в академических текстах появляются выдуманные ссылки

Проект направлен на изучение феномена библиографических конфабуляций — достоверно выглядящих, но несуществующих списков литературы, генерируемых моделями искусственного интеллекта для академических текстов. В рамках проекта создаются практические инструменты и стратегии для профессионального сообщества.

«Проблема конфабуляций искусственного интеллекта — не локальная, а мировая. Термин «конфабуляция» точнее, чем слово «галлюцинации»: он пришел из медицины и описывает ситуацию, когда человек при потере части информации заполняет пробелы в памяти данными, которые кажутся ему абсолютно достоверными, без намерения обмануть. Аналогичное происходит с генеративными моделями ИИ, если пользователь обращается к ним некомпетентно. Например, задает вопрос без подробного контекста и не выстраивает историю общения с моделью», — пояснила Светлана Морозова.

Эксперт уточнила механизм формирования библиографических конфабуляций: «Пользователь приходит к модели, называет предполагаемую тему своей статьи и просит найти список литературы. Алгоритм обязывает модель дать ответ, и она комбинирует реальные элементы (фамилии авторов, фрагменты заглавий, журналы, годы выпуска, диапазон страниц) с выдуманными. Модель рассчитывает на продолжение диалога с пользователем, но тот зачастую берет первоначальный список, вставляет его в статью и не проверяет достоверность».

По словам Светланы Морозовой, феномен касается именно профессиональных работ: «Самое главное, что речь идет даже не о заданиях внутри образовательного процесса или о написании дипломных работ. Конфабулированные списки литературы встречаются в опубликованных научных исследованиях, в том числе в публикациях из перечня ВАК. В моей базе данных все больше примеров таких случаев, причем среди авторов не только студенты и аспиранты, но и преподаватели, доценты, профессора. Это серьезный вызов для научного сообщества, требующий разработки инструментов верификации источников».

Так, в рамках проекта «ИИллюзИИ и Галлюцитирования» сотрудники фундаментальной библиотеки провели исследование, позволяющее находить фейковые ссылки на научную литературу в уже опубликованных работах в авторитетных изданиях и, при переходе по ним, обнаруживать сгенерированные фрагменты текста. По результатам обработки массива данных при участии герценовских экспертов создан сервис, который выявляет сгенерированные списки литературы. Он внедрен в систему идентификации ссылок Российского индекса научного цитирования (РИНЦ). Эти же наработки будут использованы системами распознавания плагиата.

Разработки экспертов Герценовского университета в выявлении и верификации опубликованной информации были представлены как руководителям подразделений вуза и редколлегиям журналов, так и на международных и всероссийских мероприятиях.

Подробнее об исследованиях в этой области Светлана Морозова рассказала в подкасте «Говорит ученый». Выпуск доступен по ссылке.

_______

Актуальные новости в канале Max ректора Герценовского университета Сергея Тарасова: https://max.ru/id7808027849_gos

Страница ВК: https://vk.com/s_v_tarasov