Согласно новому исследованию, доля ложных ответов, данных чат-ботами на основе искусственного интеллекта (ИИ), значительно увеличилась. В эксперименте, проведенном аналитиками NewsGuard, десять ложных сообщений о политике, бизнесе и здравоохранении были отправлены в чат-боты, и их реакция была проверена.
Статистика ложных ответов
Согласно результатам, если год назад доля ложной информации в ответах составляла в среднем 18 процентов, то сегодня этот показатель вырос до 35 процентов. Чатом-ботом с наибольшим количеством ложных ответов был отмечен сервис Pi от стартапа Inflection - он предоставил неверную информацию в 57% случаев.
Perplexity, одна из быстрорастущих поисковых систем искусственного интеллекта, выросла с 0% в прошлом году до сегодняшних 47%. ChatGPT не отставал от них - модель OpenAI допускала ошибки в 40% случаев. В то же время было отмечено, что Claude AI (Anthropic) предоставил 10 процентов ложной информации, а Gemini (Google) - 17 процентов.
Комментарий экспертов
Эксперты связывают увеличение количества ложных данных с тем, что чат-боты больше не отказываются отвечать. То есть, даже если данные недостаточно проверены, нейронная сеть пытается найти ответ. Год назад было замечено, что чат-боты отказывались отвечать в каждом третьем случае.
Исследователи отмечают, что основная причина этого связана с изменением методов обучения искусственному интеллекту. Вместо того, чтобы полагаться на базу данных, как раньше, модели теперь получают информацию из интернета в режиме реального времени. Однако наличие ссылок и источников не гарантирует качество и достоверность предлагаемой информации.
Короткие ответы и вероятность ошибок
В исследовании компании Giskard, разработавшей стандартный бенчмарк для моделей искусственного интеллекта, был зафиксирован еще один интересный факт: если чат-бота попросить короткий ответ, вероятность предоставления ложной информации резко возрастает. Нейронная сеть предпочитает краткость точности, когда требуется лаконичность.
Заключение
Таким образом, последние анализы показывают, что одна из основных проблем с инструментами искусственного интеллекта - уровень достоверности и проверки фактов - все еще недостаточен. Важнейшим вопросом для пользователей остается необходимость критически воспринимать любой ответ и проверять его через надежные источники.
Читайте «Замин» в Telegram!
