Накратко
RAG (Retrieval-Augmented Generation, генериране с извличане) е техника, описана през 2020 от изследователи на Facebook AI Research. Означава, че преди да отговори, моделът първо търси в твои собствени документи, и чак тогава пише отговора върху намереното. Не по памет, не по усещане. Затова фирмите го слагат във вътрешните си системи. Там грешката струва пари.
Моделът, това е програмата зад чатбота, е научил езика си от купища текст в интернет. Когато го питаш нещо, той не отваря книга да провери. Той досеща по това, което е виждал много пъти преди. Звучи уверено. Понякога е вярно. Понякога е измислица, написана със същия тон на сигурност.
RAG прави нещо просто. Преди моделът да отговори, той първо претърсва определен набор от документи - твоите бележки, вътрешните правила на фирмата, старата преписка - и намира частта, която е по темата. После пише отговора, стъпвайки точно върху нея.
Представи си, че питаш работния чатбот колко дни отпуска ти остават. Обикновен модел познава по това какво обикновено пише в подобни разговори, и може да сгреши. Системата с RAG прави друго. Преди да отговори, отваря истинския ти запис в Личен състав, чете точното число и чак тогава ти казва. Не гадае. Чете.
Аналогията, която ми харесва тук, е справочник под ръка. Има хора, които отговарят по памет - начетени са, говорят уверено, но понякога цитират нещо отпреди години, което вече не важи. И има хора, които преди да отговорят, посягат към актуалния наръчник на бюрото, намират точния ред и чак тогава говорят. RAG е моделът, обучен да прави второто.
Фирмите слагат RAG на вътрешните си системи, защото документите им се менят непрекъснато. Цени, договори, вътрешни правила. Да пренаучаваш целия модел всеки път е бавно и скъпо. По-лесно е да обновиш документите, а моделът да продължи да търси в тях коректно.
RAG не прави модела по-умен. Прави го честен - кара го да провери, преди да проговори.
Ето кое ме радва
Истината е, че RAG е признание. Признание, че суровият модел не знае нещата ти - той ги отгатва добре облечени в увереност. Фирмите не сложиха търсене отгоре, защото е лукс. Сложиха го, защото увереният грешен отговор в бизнеса струва пари и доверие. За мен, като човек, който строи такива системи, изборът е между разказвач и библиотекар. Разказвачът е по-забавен за слушане. Но когато питаш за твоя отпуск, твоя договор, твоите пари, искаш библиотекаря.
Първоизточници
Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020)Визуалът е генериран код-арт, без чужди изображения.