Bouw jouw eigen Generative AI met open source LLM

Klopt! Een LLM (Large Language Model) is een AI die getraind is met veel tekst om menselijke taal te begrijpen en te genereren. Het kan woorden voorspellen en zinnen maken die logisch klinken. LLM’s worden gebruikt in chatbots, vertalingen en tekstschrijvers. Dennis Kruyt, docent en open source guru bij ons zusterbedrijf AT Computing, vertelt je in deze blog meer over Large Language Model (LLM) en de cursus die je kunt volgen om zelf jouw LLM te bouwen.

Als je denkt dat je voor krachtige AI altijd afhankelijk bent van grote cloudproviders uit de VS of China, dan hebben we goed nieuws. Generative AI hoeft absoluut niet altijd in de cloud te draaien. Sterker nog, het lokaal hosten van een Large Language Model (LLM) op jouw eigen server, laptop of desktop biedt jou en jouw organisatie vrijheid, veiligheid en maatwerk.

Daarmee haal je de voordelen van generative AI in huis, zonder dat je gevoelige data uit handen hoeft te geven. Denk aan privacygevoelige informatie, bedrijfsdocumentatie of broncode, die wil je niet zomaar op externe servers hebben staan. Zo loop je niet langer het risico dat gegevens bij een Amerikaanse of Chinese cloudprovider terechtkomen.

Vijf voordelen van een lokale LLM

1. Volledige controle over je data
   Door het model lokaal te draaien, blijft alle input en output intern. Je hoeft je dus geen zorgen te maken dat vertrouwelijke bedrijfsplannen of klantgegevens via de cloud worden gebruikt om een extern model te voeden. Zeker voor organisaties in sterk gereguleerde sectoren (zoals finance, overheidsinstanties en gezondheidszorg) is dit cruciaal.
2. Eigen context en domeinkennis
   Je kunt jouw LLM eenvoudig uitbreiden met specifieke bedrijfsdocumentatie, interne kennisbanken of gespecialiseerde datasets. Hierdoor lever je betere, meer relevante antwoorden dan een generiek model dat in een cloudomgeving draait. Je AI spreekt als het ware jouw vaktaal.
3. Meer grip op modelkeuze en updates
   In de open source wereld zijn talloze LLM’s beschikbaar, met elk hun eigen kenmerken. Zo kun je het model selecteren dat het beste bij jouw behoeften past, en beslis je zelf wanneer je updatet of hertraint. Je bent niet afhankelijk van het tempo en de voorwaarden van een externe partij.
4. Geen onverwachte kosten of beperkingen
   Commerciële AI-oplossingen werken vaak met abonnementen of API-calls, waarbij de kosten snel kunnen oplopen als je veel data verwerkt. Met een lokaal model heb je die terugkerende kosten niet. Natuurlijk vraagt het wel om enige investering in hardware en onderhoud, maar je bent niet gebonden aan de grillen van een cloudprovider.
5. Privacy en compliance op orde
   Een lokaal model is bij uitstek geschikt voor gevoelige of vertrouwelijke data. Je maakt geen gebruik van servers in het buitenland (bijv. VS of China), waardoor je kan voldoen aan lokale en internationale privacyrichtlijnen. Zo hoef je je minder druk te maken over de juridische implicaties rondom databescherming.

Code Completion in VSCode met een lokaal LLM
Eén van de meest praktische toepassingen van een lokaal LLM is code completion binnen je ontwikkelomgeving, zoals Visual Studio Code. In plaats van dat jouw broncode naar externe servers wordt gestuurd, draait het model intern. Zo krijg je tijdens het programmeren suggesties en automatisch aangevulde code, zonder je data te delen met derden.

Denk aan open-source modellen zoals qwen2.5-coder die speciaal zijn getraind op programmeertalen en codevoorbeelden. Met de juiste plugin of extensie koppel je dit model aan VSCode. Resultaat? Efficiënter programmeren, snelle suggesties en je vertrouwelijke repositories blijven binnen je eigen netwerk of zelf op je eigen laptop.

Retrieval-Augmented Generation (RAG)
Een andere krachtige toepassing van een lokaal LLM is Retrieval-Augmented Generation (RAG). Hierbij koppel je het AI-model aan specifieke bronnen, zoals interne kennisbanken, documentatie of databases. Het model kan dan antwoorden genereren die veel nauwkeuriger en relevanter zijn voor jouw organisatie, omdat het niet alleen uit zijn “algemene” modelkennis put, maar ook uit jouw eigen data.

Zo werkt het in de praktijk:

1. De gebruiker stelt een vraag aan de AI, bijvoorbeeld over een intern product of proces.
2. Jouw RAG-oplossing gaat eerst in de gekoppelde data (bijv. SharePoint-documenten, wiki’s, of andere interne bronnen) op zoek naar relevante informatie.
3. De gevonden teksten en context worden aangeboden aan je LLM.
4. Het LLM produceert vervolgens een antwoord dat is gebaseerd op zowel zijn getrainde kennis als de actuele, interne documenten.

Op deze manier tackle je direct het probleem dat veel AI-modellen niet genoeg getraind zijn op specifieke domeinkennis of interne procedures. RAG zorgt ervoor dat de AI altijd kan terugvallen op de actuele en specialistische informatie die voor jou van belang is. Denk aan handleidingen, productdocumentatie of interne projectdossiers. En het mooiste is: al die gevoelige data blijft binnen je eigen infrastructuur, weg van externe servers.

Klaar om jouw eigen lokale AI-omgeving te bouwen?

Ben je enthousiast geworden, maar weet je niet waar te beginnen? Geen zorgen! Schrijf je in voor de eendaagse cursus Generatieve AI voor DevOps: bouw je eigen LLM server en leer in één dag hoe je een eigen, lokaal draaiend AI-model opzet en inzet binnen jouw organisatie. Hieronder vind je de belangrijkste onderwerpen die aan bod komen:

1. Hoe werkt Generative AI, van theorie tot praktijk

We starten met een begrijpelijke uitleg over hoe LLMs (zoals ChatGPT) werken. Je leert de basis van transformers, tokens, embeddings en context, en waarom dat allemaal belangrijk is om goede AI-antwoorden te krijgen.

2. Het juiste model kiezen en lokaal draaien

Welke open-source LLMs zijn er? Wat zijn de verschillen, en hoe kies je het model dat bij jouw toepassing past? We bespreken populaire modellen als Llama, Mistral en DeepSeek. Daarna installeren en draaien we een model lokaal, gewoon op jouw eigen machine of server.

3. Hands-on: bouw je eigen ChatGPT-achtige interface

Je gaat zelf aan de slag: van het installeren van een model tot het bouwen van een eigen, veilige chatinterface. Alles draait lokaal, zonder dat data ooit een externe server raakt.

4. Slimme AI die jouw data begrijpt (met RAG)

Leer hoe je Retrieval-Augmented Generation (RAG) gebruikt om je AI te koppelen aan je eigen documenten, handleidingen of wiki’s. Zo krijg je output die écht aansluit op jouw organisatie of vakgebied.

5. AI in actie: van code completion tot data-analyse

Ontdek hoe je je model inzet voor concrete toepassingen, zoals automatische code-suggesties in VSCode, het analyseren van logbestanden of zelfs beeldherkenning. Allemaal veilig binnen je eigen infrastructuur.

Meer weten over open source en AT Computing? Kijk op atcomputing.nl
Vijfhart, dat klopt voor jou!