Четири GB300. Толкова карти стоят зад числата на NVIDIA за новата версия на DeepSeek V4.1 Flash. Версията е квантизирана в NVFP4 и тежи около 400 GiB вместо около 475 на оригинала. Звучи като нещо, което вече побираш някъде. Не бързай: картата изброява само Blackwell.
Факт
Фактите: на 30 октомври 2026 г. NVIDIA публикува в Hugging Face DeepSeek-V4.1-Flash-1017-NVFP4, квантизираната версия на модела на DeepSeek AI, направена с Model Optimizer. По данни на NVIDIA моделът не е нейна собственост и не е разработен от нея, а лицензът е MIT. Основната мрежа е 552 милиарда параметъра, от които 8 милиарда са активни при четене на входа и 16 милиарда при генериране, плюс 196 милиарда условна памет Engram; контекстът е до 1 милион токена. Чекпойнтът е около 400 GiB (източникът - около 475 GiB) в 48 safetensors файла. Поддържаният двигател е vLLM, но таблиците на Engram са записани в MXFP4 и стандартните образи на vLLM не могат да ги заредят: трябва билд с pull request vllm-project/vllm#61530. SGLang не е валидиран с този чекпойнт. Поддържаната микроархитектура е NVIDIA Blackwell; резултатите са от четири GB300 с vllm/vllm-openai:v0.31.0 и промените от този pull request.
Точността, по данни на NVIDIA, почти не мърда. GPQA Diamond: 92,77 за MXFP4 източника и 92,93 за NVFP4. AA-LCR: 80,41 и 80,19. Terminal-Bench 2.1: 81,81 и 81,11. Две от трите падат, една расте. Числата са на NVIDIA, мерени с vLLM, и на страницата няма чужда проверка.
Леката версия тежи още около 400 GiB.
По-интересното е в дребния шрифт на картата. Експертните тегла са преминали конверсията без загуба. Конверсията на Engram обаче е със загуби. И още едно изречение от същата карта: теглата без загуба не значат еднакви изходи при инференс.
Какво не е изпитано, също е написано. Спекулативното декодиране (MTP) не е пробвано. SGLang не е валидиран. Картата изброява само Blackwell, затова как върви другаде, не знаем. Не знаем и кога кръпката #61530 влиза във vLLM.
Ако ще го пускаш, първо вземи билд на vLLM с кръпката. Готовият образ няма да зареди таблиците. После провери крайния пакет със своя двигател, както го казва и NVIDIA.
Официални първоизточници
NVIDIA - DeepSeek-V4.1-Flash-1017-NVFP4 (Hugging Face), 30.10.2026Визуалът към статията е генериран код-арт, без чужди изображения.