we_are_coded.by CODE · Светът, декодиран
EN

Apple · агенти

Изследване при Apple: силен модел с минимално скеле не отстъпва на сложните агентни надстройки при равно време

Статия, публикувана в Apple Machine Learning Research и в arXiv, сравнява най-добрите отворени „harness“-и за автономно машинно обучение с един coding agent, който има само четене, писане и bash. При равен времеви бюджет и същия модел надстройките не дават предимство. Авторите заключават, че ръчно строените скелета около силни модели се отплащат зле.

Източник
Apple Machine Learning Research
Публикувано
Събитието
Проверено на
Отговорен редактор
Цветелин Иванов
Как работим
МетодКорекции

Четене, писане, bash. Три команди и една сесия. Това е целият „агент“, срещу който авторите пускат най-сложните отворени системи за автономно машинно обучение, с оркестратори и подагенти. И той не губи.

Факт

Фактите: през октомври 2026 г. Apple Machine Learning Research публикува статията „How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?“ от Kirill Brilliantov, Alejandro Hernández-Cano и Emmanuel Abbé (EPFL; Hernández-Cano е работил по нея, докато е бил в Apple). В arXiv е подадена на 30 септември 2026 г. Авторите сравняват съвременните агенти за автономно машинно обучение, които стъпват на все по-сложна машинария (многоагентни оркестратори, отделни подагенти за извличане), с по-примитивен coding agent, при който моделът има пряк достъп до средата през четене, писане и bash. Изводът: при равен времеви бюджет и същия frontier модел-гръбнак най-добрите отворени „harness“-и не дават предимство пред една сесия на минимален coding agent; гръбнакът е главният двигател на резултата. Чрез серия систематични опити, в които махат пласт по пласт, авторите твърдят, че пластовете машинария стават излишни в режима на coding agent, и заключават, че усилието по ръчно строени скелета около силни модели се отплаща зле за текущите бенчмаркове по машинно обучение (MLE).

Чакай малко, преди да изтриеш оркестратора си. Изводът е ограден два пъти: „текущи MLE бенчмаркове“ и „равен времеви бюджет“. Това е автономно машинно обучение, задача с ясен резултат и ясно мерене. Твоят агент, който пише оферти и говори с клиенти, не е в тая извадка, и статията не твърди нищо за него.

Но посоката боли. Цял бранш в момента строи надстройки: подагенти, памет, маршрутизатори, рецензенти, и тази седмица излязоха още такива. А тук идва статия през Apple, която казва: при силен модел това е тежест, не крила. Пластовете са измислени, за да пазят от слаб модел. Моделът вече не е слаб, а пластовете останаха.

Скелето е строено за модел, който вече не съществува.

Какво правим ние с това: всеки пласт в нашите агенти трябва да докаже, че носи резултат при равно време, срещу голата сесия със същия модел. Не докаже ли, пада. Статията дава метода, а числата за твоята задача ги вадиш сам, защото никой друг няма да ги извади за теб.

Визуалът към статията е генериран код-арт, без чужди изображения.