LG Uplus показала методы оптимизации токенов для AI-сервисов и агентов
DeepSeek против Claude: пятикратный аппетит агента против 30% экономии
LG Uplus раскрыла технологии оптимизации токенов, которые снижают стоимость работы AI-сервисов. В ходе PoC обычные вопросы стали расходовать более чем на 25% меньше токенов, а агенты для программирования — более чем на 30%. За счёт облегчения моделей и спекулятивного декодирования скорость генерации выросла более чем вдвое, а оптимизация ядер повысила пропускную способность в 2–3 раза. Компания также подбирает малые и крупные модели под сложность задачи и изучает сочетание GPU и NPU. Со следующего года она планирует предлагать технологию внешним клиентам. Это важно разработчикам: меньше токенов означает, что агентные сценарии обходятся дешевле.
LG Uplus провела мероприятие, посвящённое эффективности AI-токенов, и рассказала, как собирается снижать расходы на работу генеративных AI-сервисов. Токен — базовая единица, которую модель обрабатывает при понимании запроса и генерации ответа. Чем больше запросов и чем длиннее ответы, тем выше расходы. Особенно заметно это в агентных сценариях: такой AI повторяет поиск, проверку и другие шаги, поэтому, по словам компании, потребляет примерно в пять раз больше токенов, чем человек при обычной работе. Даже если цена за токен снижается, общий счёт может расти из-за увеличения объёма использования. В LG Uplus отмечают, что предприятия внедряли AI в расчёте на экономию, но на практике эксплуатация обходится дорого. Подход компании включает несколько уровней. Первый — выбор модели под задачу: для простых вопросов используется небольшая модель, для сложных рассуждений — более производительная. Это уменьшает лишние вычисления. В ходе внутренних PoC LG Uplus зафиксировала сокращение расхода токенов более чем на 25% для обычных вопросов и более чем на 30% для агентов, пишущих код. Второй уровень — уменьшение размера моделей. Здесь упоминаются квантизация, то есть сокращение числа битов для внутреннего представления чисел, и дистилляция знаний, когда знания большой модели переносятся в маленькую. Цель — снизить требования к памяти и вычислениям, сохранив нужное качество на конкретных задачах. Третий уровень — ускорение генерации. В экспериментах со спекулятивным декодированием маленькая модель готовит черновик ответа, а большая его проверяет; скорость создания токенов выросла более чем в два раза. Кроме того, оптимизация ядер — улучшение того, как GPU выполняет вычисления внутри, — дала рост пропускной способности токенов в 2–3 раза. Компания также рассматривает сочетание разных ускорителей: GPU NVIDIA и AMD и NPU FuriosaAI. Идея в том, чтобы распределять задачи по типу нагрузки — например, отдельно операции, требующие много вычислений, и операции с большим объёмом памяти — и за счёт этого повышать общий выпуск токенов. Есть и ограничение. Выбирать модель по сложности вопроса непросто, а экономия не должна ухудшать качество ответа. Для этого LG Uplus сравнивает ответы большой и маленькой моделей на один и тот же вопрос и накапливает данные о шаблонах запросов, чтобы точнее выбирать модель. Практический вывод для разработчика: в агентных и кодирующих сценариях основные деньги уходят не только на обучение, но и на повторяющиеся вызовы модели. Маршрутизация запросов между моделями, сжатие моделей, спекулятивное декодирование и оптимизация вычислений могут снизить стоимость и ускорить ответы, но требуют проверки качества. LG Uplus планирует применять наработки в реальных сервисах. В частности, компания будет отвечать за область model serving в проекте «모두의 AI» совместно с Kakao. Следующий год назван стартом продажи технологий оптимизации токенов внешним клиентам, а с 2027 года компания хочет развивать token-бизнес через партнёрства и собственную инфраструктуру. Для заказчиков цель формулируется как снижение совокупной стоимости владения AI, для обычных пользователей — уменьшение платы, для бизнеса — сокращение операционных расходов. Для начинающего разработчика это напоминание, что при проектировании AI-функций стоит заранее думать о цене одного запроса и о том, какие шаги агента действительно нужны.