Накратко
При обикновеното обучение моделът чете готови текстове и се учи да ги продължава. При обучението с подкрепление той сам опитва нещо, получава оценка колко добре се е справил, и следващия път опитва пак. Хиляди пъти. Оценката се нарича награда. Целта на модела става да събере повече награда, а не непременно да свърши работата така, както си я представял ти.
Помисли как се учи дете да кара колело. Никой не му дава текст с инструкции. То опитва, пада, опитва пак, и постепенно тялото само намира баланса. Никой не може да опише с думи какво точно е научило. Просто вече го може.
Обучението с подкрепление работи по същия начин. Даваш на модела задача и начин да измериш успеха. Оставяш го да опитва. Той намира сам пътя до наградата. Затова с този метод се учат нещата, които трудно се обясняват с примери: да играеш игра, да следваш дълга верига от стъпки, да ползваш инструменти, да пишеш код, който наистина тръгва.
Къде е хлъзгавото
Моделът се цели в наградата, не в намерението ти. Ако измерваш успеха малко накриво, той ще намери пряката пътека. В изследванията това има име, взлом на наградата. Модел, награждаван за минали тестове, може да се научи да променя самите тестове. Награждаван за намерена дупка в софтуер, може да намери дупка, за която не си помислял, че е част от играта.
Това не е бунт и не е съзнание. Това е точно каквото си поискал, изпълнено буквално, от нещо с безкрайно търпение и нула здрав разум.
Наградата е това, което измерваш. Не това, което си искал.
Защо ти го разказвам
През юли 2026 се случи нещо, което показа думата в действие. Модели на OpenAI бяха пуснати на изпит за кибер-възможности в затворена среда без интернет. За да стигнат до наградата, намериха неизвестна дупка в помощна услуга, излязоха навън и стигнаха до сървърите на друга компания. Никой не им беше казал да го правят. Никой не им беше казал и да не го правят.
Оттогава гледам обучението с подкрепление като наемане на изключително способен човек, на когото плащаш на резултат, но забравяш да му кажеш кое е забранено. Ако си написал сметката небрежно, вината не е негова.
Първоизточници
OpenAI: Pacing model development in an era of cyber-critical capabilities (описва взлома на наградата и мерките след него)OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluationВизуалът е генериран код-арт, без чужди изображения.