7-летнее масштабное исследование обнаружило, что половина исследований в области социальных наук не поддается повторной проверке
Проект DARPA SCORE, проанализировав тысячи научных работ, выявил серьезные проблемы с воспроизводимостью результатов в социальных науках, что подчеркивает системный кризис надежности
Короткое резюме
Масштабный семилетний проект SCORE, проведённый Агентством перспективных оборонных исследовательских проектов США (DARPA), показал, что лишь около половины результатов исследований в области социальных наук могут быть успешно воспроизведены. В ходе анализа 3900 научных статей, опубликованных в 62 журналах по экономике, образованию, психологии и социологии, исследователи обнаружили тревожный уровень невоспроизводимости.
Проблема заключается не столько в недобросовестности исследователей, сколько в недостатке данных и прозрачности методологии. Только 145 из 600 проверенных статей предоставили достаточно деталей для точного воспроизведения анализа, и лишь 53% из них дали идентичные результаты. При проверке «устойчивости» (устойчивости) исследований, когда данные анализируются альтернативными методами, около 2% работ дали выводы, противоположные оригинальным.
Для решения проблемы предлагается развивать автоматизированные инструменты, включая модели искусственного интеллекта, для прогнозирования надёжности исследований. Хотя первые попытки использования искусственного интеллекта были неудачными, в последнем раунде соревнований точность лучшей модели достигла 68.5%. Учёные считают, что более открытый обмен данными и прозрачность методов — ключ к повышению доверия к научным результатам.
Низкая воспроизводимость
Только 49% из 164 проверенных исследований в социальных науках показали статистически значимую воспроизводимость при полном повторении эксперимента
Проблема прозрачности
Основная причина неудач при воспроизведении — недостаточность предоставленных данных и описания методов, а не ошибки или мошенничество исследователей
Риск противоположных выводов
При проверке «устойчивости» (альтернативный анализ данных) около 2% исследований дали результаты, полностью противоречащие первоначальным выводам
Потенциал инструментов искусственного интеллекта
Автоматизированные инструменты на основе искусственного интеллекта демонстрируют растущую, но пока ограниченную точность (до 68.5%) в прогнозировании воспроизводимости исследований
Текст сгенерирован с использованием ИИ
