Отвори капака на новия чип на Meta и вътре ще намериш нещо, което обикновено стои на отделна платка. Дванадесет собствени мрежови карти, залепени направо в силиция. Не до чипа. В него.
Досега MTIA правеше едно нещо добре: да отговаря бързо, когато вече обучен модел трябва да ти върне резултат. MTIA 300 е първият от фамилията, построен да учи модела, не само да го изпълнява. Мерникът са системите за препоръки и класиране, тези, които решават какво виждаш в лентата.
Факт
Фактите: MTIA 300 е първият ускорител на Meta, оптимизиран за обучение, а не за извод, и е насочен към моделите за препоръки и класиране. Носи 12 собствени мрежови карти за директен трансфер между памети, по 800 гигабита в секунда, вградени в самия чип, за общо 1,2 терабайта в секунда вход-изход. Има 216 гигабайта памет HBM3E, решетка от 12 на 6 изчислителни елемента и 16 отделни модула за обработка на съобщения. В рамките на един шкаф комуникацията между чипове стига до 940 гигабайта в секунда. По данни на Meta, измерени върху производствени модели, общото време за комуникация пада 3,9 пъти спрямо равностоен клъстер с графични чипове. Източник: инженерният блог на Meta.
Комуникацията не е добавка
При графичните чипове смятането и разговорът между машините се редят на една и съща опашка. Пуснеш ли съобщение, докато чипът смята, скоростта при обичайните клъстери пада с над 20 процента. Тук спадът е под половин процент, защото съобщенията си имат свои модули и не влизат в надпреварата.
При обичаен клъстер разговорът краде от смятането. Тук паралелната комуникация сваля скоростта с под половин процент.
Числото звучи техническо, но се плаща в истински часове. Модел за препоръки не се тренира върху един чип, а върху хиляди, които непрекъснато си разменят резултати. Всяка загубена секунда в този разговор се умножава по броя им.
Всичко тук е мерено от Meta, върху техните собствени модели. Чипът работи в шкаф днес и това е факт. Дали цифрите ще устоят, когато някой отвън ги повтори, ще разберем от някой отвън.
Официални първоизточници
Meta Engineering: MTIA 300Визуалът към статията е генериран код-арт, без чужди изображения.