Специалисты центра цифровой журналистики Tow (США) усомнились в способности искусственного интеллекта (ИИ) искать информацию в Сети. Исследование опубликовано на сайте организации.
Ученые проверили, насколько точно чат-боты на основе различных моделей ИИ ищут информацию в интернете. Авторы выбрали 200 статей от 20 изданий и составили для каждого чат-бота задание указать исходную статью, издание и год публикации. В качестве подсказки ИИ предложили точную цитату из каждого текста.
Оказалось, что в целом ИИ точно называл происхождение цитаты и давал ссылку на источник в 60 процентах случаев. Для сравнения: при ручном поиске найти источник по цитате можно было в 100 процентах случаев — статьи показывали в топ-3 выдачи Google. Эксперты назвали результат работы ИИ провальным.
Обе версии Grok AI от X показали худшие результаты. Так, Grok-3 Search совершил ошибки в 94 процентах обработанных запросов. Copilot от Microsof отказался обрабатывать 104 запроса из 200, а из оставшихся 96 лишь 16 были полностью верными. Также выяснилось, что платные версии чат-ботов ищут информацию лишь немного качественнее, чем их бесплатные версии.
Специалисты отметили, что их поразило «нежелание» чат-ботов цитировать источники. Так, ИИ либо не демонстрировал исходную статью, либо ошибочно ссылался на другую публикацию. В частности, модель DeepSeek неправильно приписала авторство материала в 115 из 200 случаев.
