Влад Соколовский

AI-инженер, автор статей и ментор для разработчиков

Telegram-пост

Как уменьшить расход токенов?

Влад Соколовский

Как уменьшить расход токенов?

Иллюстрация к посту про сокращение расхода токенов

Если вы уже состоите в нашем чатике, то вы могли заметить как я там крою Антропиков на чём свет стоит из-за мизерных лимитов которые я получаю в рамках своей 200$ подписки.

Начал я анализировать, куда же утекают мои токены, и понял, что огромная «статья расходов» – это вывод различных бэшовских команд, скриптов, в целом, tool calling output жрёт порядочно.

Сразу же полез на реддит искать что-то, что решит мою проблему и, о чудо, нашёл богом целованный тул – Rust Token Killer RTK.

В чём замес?

Помните как выглядит вывод команды

ls -la

?

total 928
drwxr-xr-x  41 patrick  staff   1312  2 feb 21:43 .
drwxr-xr-x  25 patrick  staff    800  2 feb 21:35 ..
-rw-r--r--   1 patrick  staff  16394  2 feb 21:35 cargo_cmd.rs
….

с RTK CLI proxy

rtk ls -la

вывод той же команды выглядит так:

cargo_cmd.rs  16.0K

Теперь прикиньте как часто агент пользуется этой командой для навигации по проекту и как часто grep возвращает мусорные данные прямиком к вам в контекст.. (про context rot и dilution effect писал 👉тут)

Лично для меня это имеет огромный смысл – в отличие от скилов, которые делают из вашей модели пещерного человека (caveman skill).

Там замес был такой – до использование caveman skill:

Проблема, скорее всего, в том, что код предполагает наличие `user`, но в неавторизованном сценарии он может бытьстоите в наше Нужно добавить проверку и тест.

С caveman:

Причина: user может быть undefined.
Фикс:
- Проверить user
- Вернуть 401
- Добавить тест

Интуиция подсказывает, что качество ризонинга с таким скиллом может значительно просесть поэтому я себе его не ставил.

Хотя, это может быть полезно, но он режет исходящие от модели токены. То есть заставляет вашего агента меньше объяснять и ризонить.

RTK режет другое – входящий из терминала мусор. И эта оптимизации мне нравится больше.

RTK CLI это теперь такая же база как context7 в своё время (об этом я писал ещё 👉тут).

В благодарность, даже денег не буду у вас просить, огонёк + поделиться с друзьями-нёрдами и я буду счастлив. М, ага, ага, на канал зайди ко мне:

  • #ai
  • #dev_tool

Рассылка

Письма из Багодельни

Письма с новыми статьями, инструментами и мыслями о том, куда катится AI-разработка. Только то, что проверил на себе.

Письма из Багодельни

Письма с новыми статьями, инструментами и мыслями о том, куда катится AI-разработка. Только то, что проверил на себе.

Отписаться можно в любой момент