По-новият модел загуби. JetBrains взеха версия 3.6 вместо по-пресния 3.8 и обявиха защо.
Зад локалния Junie не стои един модел. Стои списък от компромиси, направени един по един, докато агентът се събере на лаптоп.
Факт
Фактите, по данни на JetBrains: паметта от предишни задачи се пази, за да не се препрочитат вече отворени файлове в същия проект. Системният промпт и началният контекст остават запомнени между сесиите. Разсъждението е изключено, което дава 2 пъти по-бързо изпълнение при малка загуба на качество. Махнати са незадължителните извиквания на модела. Моделът е свит до 4 бита вместо 8, което дава около 2 пъти по-бързо генериране при еднаква скорост на първоначалното пълнене. Самото пълнене минава на 8 бита върху чиповете M5 и се ускорява с около 40 процента. Отгоре стои предсказване на няколко токена наведнъж плюс съвпадение по повтарящ се текст, до 2 пъти по-бързо генериране. Източник: блогът на JetBrains.
Защо по-новото излиза по-лошо тук
Qwen 3.8 е по-силният модел на хартия. Само че иска включено разсъждение и при средно усилие произвежда около пет пъти повече токени от 3.6. Резултатът е около четири пъти по-бавна работа. На машина с ограничена памет това не е компромис, а спирачка.
На локална машина по-новото понякога е по-лошото.
Списъкът е поучителен и извън JetBrains. Никой от тези ходове не е нов сам по себе си. Печалбата идва от натрупването. Ако някой ти обещае агент на лаптоп само защото е сменил модела, знаеш какво липсва.
Официални първоизточници
JetBrains Blog: Qwen for JunieВизуалът към статията е генериран код-арт, без чужди изображения.