Нашата станция държи карта от предишното десетилетие и таванът й за локални модели ми е болезнено познат. Затова тази обява я четох два пъти.
Факт
Фактите: на 11 август NVIDIA пусна Nemotron 3.5 Lightning - модел с 30 милиарда параметра в архитектура смес от експерти, с отворени тегла под лиценз на NVIDIA. По данни на компанията генерира токени четири пъти по-бързо от предишното поколение. Върви на RTX компютри и Jetson устройства, с готови интеграции в Ollama, llama.cpp, vLLM и LM Studio. Заедно с него излиза NeMo Switchyard - отворен маршрутизатор, който насочва заявката към подходящия модел.
Смес от експерти на прост език: моделът е голям, но за всяка заявка се събужда малка част от него. Затова 30 милиарда параметра могат да дишат на карта, на която плътен модел от същия ръст не се събира.
Едно уточнение преди възторга: отворени тегла и отворен код не са едно и също. Лицензът е на NVIDIA, не Apache. За игра вкъщи разлика няма. Строиш ли продукт върху него, прочети лиценза преди първия ред код.
Локалното спря да е компромис за ентусиасти. Става втори път, по който се дистрибутира интелект.
Сметката е проста: токени без наем. Електричеството и без това си го плащаш.
Официални първоизточници
NVIDIA Blog - Nemotron 3.5 Lightning и NeMo SwitchyardNVIDIA Blog - Local AI, отворени модели и агентиВизуалът към статията е генериран код-арт, без чужди изображения.