Introductie tot private AI: modellen lokaal, in de browser of thuis draaien

Een korte evolutie: van labs naar je laptop

Jarenlang leefden nuttige taalmodellen bijna uitsluitend binnen techgiganten met enorme GPU-clusters. Trainen vereiste miljoenen dollars aan rekenkracht, gespecialiseerde teams en propriëtaire datasets. Wilde je AI-assistentie, dan gebruikte je een API of een cloudwebapp—en je tekst verliet je machine.

Drie verschuivingen in de sector veranderden dat beeld volledig:

• Transformer-schaalwetten — Onderzoek toonde aan dat goed getrainde modellen op grote, hoogwaardige datasets verrassend algemene capaciteiten konden leveren—niet alleen op frontier-schaal.
• Open-weight releases — Beginnend met Meta's Llama-familie en gevolgd door Mistral, Google Gemma, Alibaba Qwen en anderen, bereikten downloadbare parameters ontwikkelaars wereldwijd.
• Volwassen inferentietooling — Projecten als llama.cpp, Ollama, vLLM, WebLLM en Transformers.js maakten het praktisch om die gewichten op consumentenhardware te draaien.

Tegen 2026 is de kloof tussen «alleen in de cloud» en «draait op mijn apparaat» dramatisch kleiner geworden. Frontier-cloudmodellen zijn nog steeds groter en sneller, maar kleine en middelgrote open modellen zijn zeer capabel bij het opstellen, samenvatten, herschrijven en beantwoorden van alledaagse vragen—vooral voor kort schrijfwerk zoals notities.

Waarom bedrijven modelgewichten publiceren

Gewichten vrijgeven is geen liefdadigheid. Labs publiceren parameters om strategische redenen die het hele ecosysteem vormgeven.

• Ecosysteemhefboom — Wanneer ontwikkelaars op jouw model bouwen, wordt jouw architectuur een standaard. Fine-tunes, tools en integraties volgen de gewichten.
• Onderzoeksgeloofwaardigheid — Open gewichten nodigen uit tot controle, reproduceerbaarheid en academische adoptie. Die zichtbaarheid versterkt technisch leiderschap.
• Regelgevende en vertrouwenspositionering — Europese spelers als Mistral en wereldwijde merken als Meta en Google gebruiken open releases om transparantie te signaleren en zich te onderscheiden van volledig gesloten API's.
• Distillatie en specialisatie — Kleinere modellen getraind van grotere verspreiden capaciteit naar beneden. Het publiceren van oudergewichten versnelt die pijplijn in de community.
• Concurrentiedruk — Zodra één groot lab een sterk model open releaset, staan anderen onder druk om te volgen of risico te lopen ontwikkelaarsaandacht te verliezen.

Open gewichten zijn niet altijd «open source» in strikte zin. Licenties kunnen commercieel gebruik beperken, attributie vereisen of bepaalde domeinen uitsluiten. Lees altijd de modelkaart voordat je in productie deployt.

Drie manieren om private AI te deployen

Er is geen enkele beste architectuur. De juiste keuze hangt af van je hardware, privacy-eisen en of je een 70-miljard-parameter generalist nodig hebt of een snelle assistent voor korte notities.

De meeste private-AI-deployments vallen in één van deze patronen:

De rode draad is in alle drie de gevallen hetzelfde: inferentie gebeurt op infrastructuur die je beheert, niet op een multi-tenant cloud waar je tekst iemand anders zijn verwerkingslast wordt.

Open-sourceprojecten die het meest tellen

Modellen zijn maar de helft van het verhaal. Deze fundamentele projecten maakten van ruwe gewichten software die miljoenen mensen daadwerkelijk kunnen draaien.

• llama.cpp** — Zeer efficiënte C/C++-inferentie; de basis voor talloze lokale CPU- en GPU-deployments.
• Ollama** — Een gebruiksvriendelijke CLI en desktop-ervaring voor het ophalen, bijwerken en lokaal chatten met modellen.
• vLLM** — High-throughput batched serving voor gedeelde team-GPU-servers en API-schaal workloads.
• Hugging Face Transformers** — De de facto bibliotheek en hub voor het ontdekken, downloaden, fine-tunen en delen van modellen.
• WebLLM / MLC LLM** — Compileert modellen voor zero-install, browser-native uitvoering via WebGPU.
• Transformers.js** — Draait ONNX-geëxporteerde modellen direct in JavaScript—een ander pad naar browser-side inferentie.

Modelfamilies die je moet kennen

Elke maand verschijnen tientallen checkpoints. Vier families domineren private-AI-gesprekken in 2026.

• Meta Llama — Llama 3 en de nieuwere Llama 4-lijnen zetten de benchmark voor open-weight generalisten: sterk redeneren, brede tooling-ondersteuning en een enorm fine-tune-ecosysteem.
• Google Gemma — De Gemma 2-, Gemma 3- en Gemma 4-families richten zich op efficiëntie—sterke prestaties per parameter, uitstekende kleine modellen en varianten afgestemd op on-device en gehoste inferentie.
• Mistral AI (Europa) — In Parijs gevestigde Mistral levert compacte, capabele modellen (Mistral, Mixtral, Codestral) met ontwikkelaarvriendelijke licenties en een uitgesproken Europees datasoevereiniteitsverhaal.
• Alibaba Qwen — De Qwen 2.5- en Qwen 3-series blinken uit in meertalige taken en leveren kleine varianten (sub‑1B parameters) die uitzonderlijk goed draaien op bescheiden laptop- en browserhardware.

PrivateNote's browser-AI gebruikt Gemma 2 2B en Qwen3 0.6B via WebLLM—open-weight modellen gecompileerd voor WebGPU, geen propriëtair gesloten checkpoint. Grotere Gemma 4-varianten verschijnen in het optionele Cloud Assist-pad, niet in Write with Private AI vandaag.

State of the art in 2026

De frontier is gesplitst. Gesloten API's van OpenAI, Anthropic en Google leiden nog steeds op rauwe capaciteit, toolgebruik op schaal en de grootste contextvensters. Maar open gewichten zijn dichtbij genoeg voor veel echte workflows—en voorop op privacy, kostenbeheersing en maatwerk.

Onder open modellen vertegenwoordigen Gemma 4, Llama 4, Qwen 3 en grote Mistral-checkpoints de huidige generatie: betere instructie-opvolging, verbeterde code en wiskunde, en betrouwbaardere weigeringen op gevoelige prompts. Kleinere gedistilleerde varianten brengen een betekenisvol deel van die kwaliteit naar laptops en browsers.

Multimodale modellen (tekst + beeld) breiden uit in zowel cloud- als open releases, maar voor notities maken en geheime overdrachten blijven tekst-only kleine modellen de sweet spot: snel genoeg om interactief te voelen, klein genoeg om lokaal te blijven.

Private AI in PrivateNote: Write with Private AI

PrivateNote is gebouwd voor versleutelde, efemere notities—niet om je hele AI-stack te vervangen. Toch is het opstellen van een gevoelig bericht precies waar browser-side AI schittert: je krijgt schrijfhulp vóór versleuteling, zonder je tekst naar onze servers te sturen voor inferentie.

Open PrivateNote en kies Write with Private AI. Er is geen handmatige modelkiezer—op ondersteunde desktops met WebGPU bepaalt je apparaatniveau welk checkpoint draait:

Wees eerlijk over de afwegingen. Gewichten worden gedownload naar browseropslag en inferentie draait lokaal—maar browser-AI is langzamer dan een clouddatacenter en kan de grote contextvensters van serverklasse modellen niet evenaren. Het is ook hardware-afhankelijk: veel telefoons en oudere laptops vallen terug op typen zonder AI of op optionele Cloud Assist. Maar voor het opstellen van een korte privénotitie, een wachtwoordoverdrachtsbericht of een vertrouwelijk antwoord is het zeer capabel—en de privacy-eigenschappen zijn fundamenteel anders dan plak-in-ChatGPT-workflows.

• Bescheiden hardware — Laadt Qwen3 0.6B en draait inferentie lokaal via WebGPU.
• Capabele desktops — Laadt Gemma 2 2B en draait inferentie lokaal via WebGPU.
• Privé door architectuur — Met Write with Private AI wordt je concept in de browser verwerkt. Het wordt niet naar PrivateNote-servers gestuurd voor modelinferentie.
• Versleutel na het opstellen — Zodra je tevreden bent met de tekst, wordt de notitie lokaal versleuteld vóór upload—hetzelfde model als elke andere PrivateNote.
• Optionele Cloud Assist — Als je apparaat geen lokale modellen kan draaien, kun je kiezen voor Cloud Assist (Google Gemma 4 26B via Cloudflare Workers AI). Dat pad is sneller en capabeler, maar niet volledig privé—je prompt verlaat het apparaat in platte tekst en je moet het expliciet inschakelen. Zie hoe PrivateNote werkt voor de volledige vergelijking.
• Het juiste hulpmiddel voor de taak — Gebruik browser Private AI voor gevoelige concepten. Gebruik Ollama of een thuis-GPU-server wanneer je lange documenten, enorme context of de grootste open modellen nodig hebt.

Private AI in de browser probeert frontier-cloudmodellen niet te verslaan op benchmarks. Het probeert privé opstellen praktisch te maken voor de notities die mensen al in PrivateNote maken.

Je private-AI-setup kiezen

Ben je nieuw met private AI, begin dan eenvoudig: installeer Ollama en probeer een middelgroot Llama- of Gemma-checkpoint voor alledaags schrijven op je laptop.

Als je dreigingsmodel vereist dat concepten het apparaat nooit verlaten—zelfs vóór versleuteling—gebruik dan browser-side tools, inclusief Write with Private AI in PrivateNote. Datasoevereiniteit en intelligente automatisering spreken elkaar niet langer tegen; je stemt gewoon de gevoeligheid van de tekst af op de architectuur die het draait.

Beveilig je een team, evalueer dan een gedeelde GPU-server met vLLM en toegangscontroles—en lees AI-agenten beveiligen als medewerkers voor hoe agentische systemen de vertrouwensgrens veranderen. Voor ontwikkelaars die agenten in workflows integreren, zie PrivateNote voor ontwikkelaars en de Codex MCP-integratie.