Cloudflare преподреди един запис в паметта и си върна 100 терабайта, а кешът стана по-бърз

Един байт. Ако го пропилееш на запис, при тях това са 250 гигабайта.

Big Pineapple е платформата, която върти 1.1.1.1, Gateway DNS, DNS Firewall и още няколко услуги на Cloudflare. По всяко време в паметта ѝ седят над 250 милиарда кеширани отговора. При такъв мащаб оптимизацията не е спорт - тя е сметка, която се плаща в сървъри.

Защо това е рядко

Обикновено при такива преработки има сделка. Свиваш паметта - плащаш със скорост, защото добавяш едно ниво разопаковане. Гониш скорост - плащаш с памет, защото държиш всичко разгънато и готово. Който е пипал кеш, го е усетил.

Тук сделката не се е състояла. По-малкото заделяне на памет и по-плътното подреждане правят и двете едновременно, защото процесорът чете съседни байтове, вместо да скача из паметта. Това е стар инженерен факт, който на този мащаб просто се вижда с просто око.

Печалбата не е дошла от нов алгоритъм, а от подредбата.

Какво взимам оттук

Не държим 250 милиарда записа и никога няма да държим. Но същата аритметика важи и в малкото: една излишна структура в горещия път на нашия админ панел се умножава по всяка заявка, всеки ден, тихо. Разликата е само в това, че при нас никой не праща сметка, така че никой не поглежда.

И още нещо, което ми харесва в текста им: няма нито едно изречение за изкуствен интелект. Просто хора, които са гледали къде отива паметта.

Визуалът към статията е генериран код-арт, без чужди изображения.