Uvod u privatnu AI: pokretanje modela lokalno, u pregledniku ili kod kuće

Kratka evolucija: od laboratorija do vašeg prijenosnog računala

Godinama su korisni jezični modeli živjeli gotovo isključivo unutar tehnoloških divova s masivnim GPU klasterima. Treniranje je zahtijevalo milijune dolara računalne snage, specijalizirane timove i vlasničke skupove podataka. Ako ste željeli AI pomoć, koristili ste API ili web aplikaciju u oblaku—i vaš tekst je napuštao vaš uređaj.

Tri industrijska pomaka potpuno su promijenila tu sliku:

• Zakoni skaliranja transformera — Istraživanja su pokazala da dobro trenirani modeli na velikim, visokokvalitetnim skupovima podataka mogu pružiti iznenađujuće opće sposobnosti—ne samo na granici skale.
• Objave modela s otvorenim težinama (otvorenim koeficientima) — Počevši s Metaovom obitelji Llama, a zatim Mistralom, Google Gemma, Alibaba Qwen i drugima, preuzimljivi parametri stigli su do programera diljem svijeta.
• Zrelost alata za inferenciju — Projekti poput llama.cpp, Ollama, vLLM, WebLLM i Transformers.js učinili su praktičnim pokretanje tih otvorenih težina (otvorenih koeficienta) na potrošačkom hardveru.

Do 2026. razmak između „samo u oblaku“ i „radi na mom uređaju“ dramatično se suzio. Granični modeli u oblaku i dalje su veći i brži, ali mali i srednji open modeli vrlo su sposobni za nacrte, sažetke, prepisivanje i odgovaranje na svakodnevna pitanja—posebno za kratke tekstove poput bilješki.

Zašto tvrtke objavljuju otvorene težine (otvorene koeficiente) modela

Objavljivanje otvorenih težina (otvorenih koeficienta) nije dobrotvornost. Laboratoriji objavljuju parametre iz strateških razloga koji oblikuju cijeli ekosustav.

• Poluga ekosustava — Kada programeri grade na vašem modelu, vaša arhitektura postaje zadana. Fine-tuneovi, alati i integracije slijede otvorene težine (otvorene koeficiente).
• Istraživačka vjerodostojnost — Otvorene težine (otvoreni koeficienti) pozivaju na provjeru, reproduktivnost i akademsku primjenu. Ta vidljivost jača tehničko vodstvo.
• Regulatorno i povjerenjsko pozicioniranje — Europski igrači poput Mistrala te globalni brendovi poput Metae i Googlea koriste open objave za signaliziranje transparentnosti i razlikovanje od potpuno zatvorenih API-ja.
• Destilacija i specijalizacija — Manji modeli trenirani iz većih šire sposobnosti prema dolje. Objavljivanje roditeljskih otvorenih težina (otvorenih koeficienta) ubrzava taj pipeline u cijeloj zajednici.
• Konkurentski pritisak — Kad jedan veliki laboratorij open objavi snažan model, drugi su pod pritiskom da usklade ili riskiraju gubitak pažnje programera.

Otvorene težine (otvoreni koeficienti) nisu uvijek „open source“ u strogom smislu. Licence mogu ograničiti komercijalnu upotrebu, zahtijevati atribuciju ili isključiti određene domene. Uvijek pročitajte model card prije implementacije u produkciji.

Tri načina implementacije private AI-ja

Ne postoji jedna najbolja arhitektura. Pravi izbor ovisi o vašem hardveru, zahtjevima privatnosti i tome trebate li generalista od 70 milijardi parametara ili brzog asistenta za kratke bilješke.

Većina private-AI implementacija pada u jedan od ovih obrazaca:

Crvena nit je ista u sva tri slučaja: inferencija se događa na infrastrukturi koju kontrolirate, a ne na multi-tenant oblaku gdje vaš tekst postaje tuđe opterećenje obrade.

Open-source projekti koji su najvažniji

Modeli su samo pola priče. Ovi temeljni projekti pretvorili su sirove otvorene težine (otvorene koeficiente) u softver koji milijuni ljudi mogu stvarno pokrenuti.

• llama.cpp** — Visoko učinkovita C/C++ inferencija; temelj za bezbroj lokalnih CPU i GPU implementacija.
• Ollama** — Prijateljsko CLI i desktop iskustvo za preuzimanje, ažuriranje i razgovor s modelima lokalno.
• vLLM** — Visokopropusno batch serviranje za zajedničke timske GPU poslužitelje i API radna opterećenja.
• Hugging Face Transformers** — De facto knjižnica i hub za otkrivanje, preuzimanje, fine-tuning i dijeljenje modela.
• WebLLM / MLC LLM** — Kompilira modele za izvršavanje u pregledniku bez instalacije putem WebGPU-a.
• Transformers.js** — Pokreće ONNX-izvezene modele izravno u JavaScriptu—još jedan put do inferencije u pregledniku.

Obitelji modela koje vrijedi poznavati

Deseci checkpointa pojavljuju se svaki mjesec. Četiri obitelji dominiraju razgovorima o private AI-ju u 2026.

• Meta Llama — Llama 3 i novije linije Llama 4 postavljaju mjerilo za generaliste s otvorenim težinama (otvorenim koeficientima): snažno rasuđivanje, široka podrška alatima i ogroman fine-tune ekosustav.
• Google Gemma — Obitelji Gemma 2, Gemma 3 i Gemma 4 fokusiraju se na učinkovitost—snažne performanse po parametru, izvrsni mali modeli i varijante prilagođene za inferenciju na uređaju i u hostiranom okruženju.
• Mistral AI (Europa) — Pariski Mistral isporučuje kompaktne, sposobne modele (Mistral, Mixtral, Codestral) s developer-friendly licencama i izrazito europskom narativom o suverenitetu podataka.
• Alibaba Qwen — Serije Qwen 2.5 i Qwen 3 izvrsne su u višejezičnim zadacima i nude male varijante (ispod 1B parametara) koje iznimno dobro rade na skromnom hardveru prijenosnog računala i u pregledniku.

PrivateNoteov AI u pregledniku koristi Gemma 2 2B i Qwen3 0.6B putem WebLLM-a—modele s otvorenim težinama (otvorenim koeficientima) kompilirane za WebGPU, a ne vlasnički zatvoreni checkpoint. Veće varijante Gemma 4 pojavljuju se u opcionalnom Cloud Assist putu, ne u Write with Private AI danas.

Stanje tehnike u 2026.

Granica je podijeljena. Zatvoreni API-ji od OpenAI-ja, Anthropic-a i Googlea i dalje vode u sirovoj sposobnosti, korištenju alata u velikoj skali i najvećim kontekstnim prozorima. Ali otvorene težine (otvoreni koeficienti) dovoljno su blizu za mnoge stvarne radne tijekove—i ispred su u privatnosti, kontroli troškova i prilagodbi.

Među open modelima, Gemma 4, Llama 4, Qwen 3 i veliki Mistral checkpointi predstavljaju trenutnu generaciju: bolje slijede upute, poboljšano kodiranje i matematiku te pouzdanije odbijanje osjetljivih upita. Manje destilirane varijante donose značajan dio te kvalitete na prijenosna računala i u preglednike.

Multimodalni modeli (tekst + slika) šire se i u oblaku i u open objavama, ali za bilješke i povjerljive predaje, mali modeli samo za tekst ostaju idealna točka: dovoljno brzi da djeluju interaktivno, dovoljno mali da ostanu lokalni.

Private AI u PrivateNoteu: Write with Private AI

PrivateNote je izgrađen za šifrirane, efemerne bilješke—ne za zamjenu cijelog vašeg AI stacka. Ipak, izrada osjetljive poruke upravo je mjesto gdje AI u pregledniku blista: dobivate pomoć pri pisanju prije šifriranja, bez slanja teksta na naše poslužitelje radi inferencije.

Otvorite PrivateNote i odaberite Write with Private AI. Nema ručnog odabira modela—na podržanim desktopima s WebGPU-om, razina vašeg uređaja odlučuje koji se checkpoint pokreće:

Budite iskreni o kompromisima. Otvorene težine (otvoreni koeficienti) preuzimaju se u pohranu preglednika i inferencija radi lokalno—ali AI u pregledniku je sporiji od cloud datacentra i ne može parirati velikim kontekstnim prozorima server-class modela. Također ovisi o hardveru: mnogi telefoni i starija prijenosna računala padaju na tipkanje bez AI-ja ili na opcionalni Cloud Assist. Ali za nacrt kratke privatne bilješke, poruke za predaju lozinke ili povjerljivog odgovora, vrlo je sposoban—a svojstva privatnosti fundamentalno se razlikuju od tijekova zalijepi-u-ChatGPT.

• Skromni hardver — Učitava Qwen3 0.6B i pokreće inferenciju lokalno putem WebGPU-a.
• Sposobni desktopi — Učitava Gemma 2 2B i pokreće inferenciju lokalno putem WebGPU-a.
• Privatno po arhitekturi — S Write with Private AI vaš nacrt se obrađuje u pregledniku. Ne šalje se na PrivateNote poslužitelje radi inferencije modela.
• Šifrirajte nakon nacrta — Kad ste zadovoljni tekstom, bilješka se šifrira lokalno prije uploada—isti model kao i svaki drugi PrivateNote.
• Opcionalni Cloud Assist — Ako vaš uređaj ne može pokrenuti lokalne modele, možete se uključiti u Cloud Assist (Google Gemma 4 26B putem Cloudflare Workers AI). Taj put je brži i sposobniji, ali nije potpuno privatan—vaš upit napušta uređaj u čistom tekstu i morate ga izričito omogućiti. Pogledajte kako PrivateNote radi za punu usporedbu.
• Pravi alat za zadatak — Koristite browser Private AI za osjetljive nacrte. Koristite Ollama ili kućni GPU poslužitelj kad trebate duge dokumente, ogroman kontekst ili najveće open modele.

Private AI u pregledniku ne pokušava nadmašiti granične cloud modele na benchmarkovima. Pokušava učiniti privatno pisanje nacrta praktičnim za bilješke koje ljudi već stvaraju u PrivateNoteu.

Odabir vaše private-AI postave

Ako ste novi u private AI-ju, krenite jednostavno: instalirajte Ollama i isprobajte srednji Llama ili Gemma checkpoint za svakodnevno pisanje na prijenosnom računalu.

Ako vaš threat model zahtijeva da nacrti nikad ne napuste uređaj—čak i prije šifriranja—koristite alate na strani preglednika, uključujući Write with Private AI unutar PrivateNotea. Suverenitet podataka i inteligentna automatizacija više se ne proturječe; jednostavno uskladite osjetljivost teksta s arhitekturom koja ga pokreće.

Ako osiguravate tim, procijenite zajednički GPU poslužitelj s vLLM-om i kontrolama pristupa—i pročitajte osiguravanje AI agenata poput zaposlenika za to kako agentni sustavi mijenjaju granicu povjerenja. Za programere koji spajaju agente u radne tijekove, pogledajte PrivateNote za programere i Codex MCP integraciju.