Google представил более компактный ИИ-метод

Google представила новый алгоритм под названием ТурбоКуант, который может сократить использование памяти большими языковыми моделями в шесть раз. По данным компании, этот метод сохраняет точность и не оказывает заметного негативного влияния на производительность, что может сделать системы ИИ дешевле и проще в эксплуатации. Об этом сообщает Теч.онлинер.бй.

Основной целью ТурбоКуант является кэш, на который языковые модели опираются во время диалогов. Этот кэш хранит важные данные, чтобы системе не приходилось повторять одни и те же вычисления. Но по мере того как диалог пользователя становится длиннее, кэш тоже растет, что может замедлять ответы и повышать требования к оборудованию.

Google заявила, что ТурбоКуант работает в несколько этапов, сжимая сохраненные данные и исправляя ошибки, возникающие в ходе этого процесса. Алгоритм разработан так, чтобы одновременно снижать нагрузку на память и вычислительные затраты. Еще один важный момент заключается в том, что его можно применять к существующим моделям без дополнительного обучения.

Эта разработка может оказаться особенно полезной для инструментов ИИ, работающих на смартфонах и других устройствах с ограниченными ресурсами. Если ТурбоКуант получит широкое распространение, он может помочь снизить эксплуатационные расходы сервисов ИИ и сделать продвинутые модели более практичными для небольшого и менее мощного оборудования.