🚨 $GOOGL je pravkar predstavil novo tehnologijo z imenom TurboQuant

🟢 Kaj pravzaprav je?

TurboQuant je jezikovni LLM model podjetja Google, ki želi rešiti tehnično težavo: ogromne zahteve po pomnilniku in hitrosti.

Ko komuniciraš z AI (npr. prek ChatGPT ali Gemini), si mora model "zapomniti" kontekst celotnega pogovora. Ta "spomin" se shrani v t.i. KV Cache.

🛑 Tu je pa problem: Ta "spomin" je izjemno zahteven glede prostora. Daljši kot je vaš pogovor (daljši kontekst), več pomnilnika (VRAM) potrebuje grafična kartica.

🟢 Kako to deluje?

Predstavi si ga kot stiskanje podatkov pogovora, tako pametno, da model z njimi še vedno lahko dela, čeprav zavzamejo le del prostora.

👉 6x manj spomina: To pomeni, da tam, kjer si prej potrebovala 60 GB pomnilnika, ti zdaj zadostuje 10 GB.

👉 8x večja hitrost: Ker so podatki manjši, jih čip lahko obdela veliko hitreje. Torej takojšen odziv AI.

🟢 Kako nam lahko TurboQuant od Googla še pomaga?

• AI neposredno na mobilu: Zahvaljujoč temu boš kmalu videla vrhunske modele delovati neposredno v tvojem telefonu brez potrebe po internetu (Local AI Inference).

• Ogromen kontekst: Lahko boš naložila celotno knjigo ali na tisoče vrstic kode in si jih bo AI "zapomnila" brez tega, da bi ji zmanjkalo pomnilnika.

• Cenejše delovanje: Za podjetja, kot je Google, to pomeni, da bo obrat AI veliko cenejši, kar lahko vodi do boljših brezplačnih različic za uporabnike.

🚨 Sektor proizvajalcev pomnilniških kartic je danes pod pritiskom.