Накратко
Моделът не помни изречения, които е чел. Той помни числа. Милиарди числа, наречени тегла, нагласени едно по едно по време на обучението. Когато напишеш въпрос, тези числа се комбинират и правят отговора да изникне. Никой не може да ти покаже кое число крие коя дума.
Представи си най-големия миксерски пулт, който можеш да си представиш. Не с осем плъзгача, а с копчета, наредени едно до друго, докъдето стига погледът. Всяко копче е обърнато на определена позиция, малко наляво или малко надясно. Позицията на едно копче поотделно не означава нищо. Но когато ги погледнеш всичките заедно, звукът, който излиза, е точно определен. Моделът работи по същия принцип - само че вместо звук, това, което излиза от него, е изречение.
Тези копчета се наричат тегла, или параметри. По време на обучението, докато моделът чете текст след текст, нещо върти всяко копче мъничко, докато резултатът стане по-точен. Прави го върху огромно количество примери, отново и отново. В края позициите на копчетата вече не се пипат. Те са замразени. Точно тази замразена таблица от числа е моделът, който ползваш.
Тук е разликата с всичко друго, което си пипал на компютър. Ако някоя програма прави грешка, програмист отваря конкретен ред и я поправя. При модела няма такъв ред. Знанието, че столицата на Франция е Париж, не седи на едно копче. То е разпръснато върху много копчета, които участват и в много други отговори. Пипнеш едно, развалят се неща, които изобщо не си искал да пипаш.
Затова компаниите, които правят тези модели, не поправят грешки, както поправяш печатна грешка в документ. Те пускат нова версия, обучена наново, с копчетата нагласени малко по-иначе. Не защото не им пука за конкретната грешка - просто няма как да стигнат само до нея, без да пипнат всичко останало.
Няма ред код, който казва "Париж е столица на Франция". Има само копчета, обърнати заедно точно така, че отговорът да изникне, сякаш го знае.
Ето кое е живо
Достатъчно миксерски пултове съм пипал, за да знам едно нещо: никой не помни какво прави едно-единствено копче някъде по средата. Помниш звука. Тук е същото, само че мащабът е такъв, че дори хората, построили пулта, не го обхващат с поглед.
Затова аз спрях да питам "защо моделът каза точно това". Питам друго: звучи ли ми вярно и струва ли ми се безопасно да разчитам на него точно сега. Това е въпросът, на който наистина мога да отговоря.
Първоизточници
Google: Machine Learning Crash Course - тегла и обучениеВизуалът е генериран код-арт, без чужди изображения.