Обзоры ШИ Google ошибаются миллионы раз в час: что показало исследование

Обзоры искусственного интеллекта (AI Overviews) в поиске Google показывают высокую, но не абсолютную точность. Исследование The New York Times и стартапа Oumi показало, что система может генерировать миллионы ошибочных ответов каждый час. Проблемы возникают как из-за неточных источников, так и из-за самого принципа работы ИИ.

Функция AI Overviews, которую Google начала активно внедрять в 2024 году, изменяет подход к поиску, превращая компанию из агрегатора информации в ее непосредственного издателя. Ответы, созданные искусственным интеллектом, отображаются в верхней части страницы и выглядят убедительно.

Впрочем, анализ Oumi показал, что эти ответы точны примерно в 85% случаев для модели Gemini 2 и 91% — для более новой Gemini 3. Учитывая более пяти триллионов поисковых запросов в год, это означает десятки миллионов ошибок каждый час.

Исследователи также установили, что более половины правильных ответов “необоснованны”. Это означает, что приведенные источники не полностью подтверждают информацию, генерируемую системой. При анализе среди более 5 тысяч ссылок значительную долю составляли сообщения из Facebook и Reddit, которые входили в наиболее часто цитируемые источники.

Ранее исследование платформы SE Ranking, проанализировав более 50 тысяч запросов в Германии, выявило, что AI Overviews в ответах на запросы о здоровье чаще всего цитирует YouTube, а не специализированные медицинские издания. Результаты тогда вызвали беспокойство по поводу надежности инструмента из-за использования сомнительных источников в важных вопросах.

В исследовании Oumi, AI Overviews неправильно указал год открытия Музея Боба Марли, назвав 1987 вместо 1986 и опирался на противоречивые источники. Также система ошибочно определила реку, граничащую с западной частью Голдсборо, хотя достоверный источник отмечает, что река протекает через город, когда Google идентифицирует веб-сайт с правильной информацией, он все равно может генерировать ложный ответ.

Дополнительной проблемой есть возможность манипуляций. Как отмечают эксперты, достаточно опубликовать недостоверную информацию в блоге, чтобы она попала в ответы ИИ.

Журналист Томас Жермен проверил это на практике, создав вымышленное сообщение о “Лучших едоках хот-догов среди технических журналистов”. На следующий день поиск Google выдал эти данные как реальный факт.

“Он выкладывал информацию с моего веб-сайта так, будто это была сама истина”, – заявил журналист.

В Google признают, что система может ошибаться и предупреждают пользователей проверять информацию. В то же время компания критикует методологию исследования Oumi, заявляя, что оно “имеет серьезные пробелы” и не отображает реальные поисковые запросы.

Эксперты подчеркивают, что проблема носит системный характер. Современные ШИ-модели работают на основе вероятностей, а не четких правил, поэтому ошибки остаются неотъемлемой частью.

Новое исследование появилось через несколько месяцев после расследования The Guardian, которое выявило случаи распространения ложной медицинской информации через AI Overviews. В одном из них Google предоставил ошибочные данные о тестах функции печени, что могло ввести пользователей в заблуждение. После критики компания убрала AI Overviews для части медицинских запросов, но не для всех.