RAG uitgelegd: AI die antwoordt uit je eigen documenten

RAG staat voor retrieval augmented generation: de AI zoekt eerst de relevante stukken op in jouw documenten en schrijft pas daarna een antwoord, met een verwijzing naar de bron. Zo antwoordt hij uit je eigen offertes, handleidingen en procedures in plaats van te gokken. Je kunt licht beginnen met wat al in Microsoft 365, Google Workspace, ChatGPT of Claude zit, of het als maatwerk koppelen aan je website of CRM. De kwaliteit zit in je documenten en je controle, niet in de techniek.

Wat is RAG? De AI zoekt eerst en schrijft dan

Een taalmodel weet veel over de wereld, maar niets over jouw bedrijf. Het kent je garantievoorwaarden niet, je werkwijze niet en de prijzen van dit jaar al helemaal niet. Vraag je het toch, dan krijg je een antwoord dat logisch klinkt en verzonnen is. RAG, kort voor retrieval augmented generation, lost dat op door het model eerst iets te laten opzoeken.

Zo werkt het, in vier stappen:

1. Opknippen. Je documenten worden in stukken verdeeld, bijvoorbeeld per alinea of per kopje.
2. Vastleggen op betekenis. Elk stuk krijgt een embedding: een reeks getallen die de betekenis vastlegt. Daardoor vindt het systeem bij "terugsturen" ook de alinea over "retourneren", ook als dat woord niet in de vraag staat.
3. Zoeken. Bij een vraag zoekt het systeem de stukken die er qua betekenis het best bij passen.
4. Antwoorden. Het taalmodel krijgt de vraag, de gevonden stukken en de opdracht om alleen daaruit te antwoorden en de bron te noemen.

Een voorbeeld. Een klant vraagt in de chat op je website: "Hoe lang heb ik garantie op de pomp?" Het systeem vindt de garantievoorwaarden van 2026, paragraaf 3, en het model antwoordt: "Vijf jaar op onderdelen, twee jaar op arbeid", met een link naar de voorwaarden. Het model wist dat niet. Het las het net.

Waarom niet alles in de prompt, of de AI trainen?

Twee alternatieven komen vaak voorbij. Allebei hebben ze een plek, maar voor bedrijfskennis werken ze minder goed.

Alles meesturen. De nieuwste modellen kunnen een enorme hoeveelheid tekst in één keer aan, rond de één miljoen tokens. Je zou dus bij elke vraag al je documenten kunnen meesturen. Maar je betaalt dan bij elke vraag voor al die tekst, het antwoord duurt langer, en in een grote stapel mist een model eerder een detail. RAG stuurt alleen de paar stukken mee die ertoe doen. Wat dat in geld scheelt, lees je in AI-tokens: wat ze kosten.

Het model trainen. Met fine-tuning pas je het model zelf aan met voorbeelden. Dat helpt bij een vaste stijl of opmaak, maar het is geen betrouwbare manier om feiten te leren. Het model onthoudt je prijzen niet woordelijk, en bij elke wijziging moet je opnieuw trainen. Bij RAG vervang je het document en is het antwoord morgen anders.

RAG heeft nog een voordeel: je kunt per document bepalen wie het mag zien. Daarover verderop meer.

Drie routes, van licht naar zwaar

Route 1: wat al in je software zit

Microsoft 365. Met een Copilot-licentie kun je in SharePoint een agent maken die antwoordt uit een bepaalde site, pagina of documentbibliotheek. Volgens Microsoft werkt zo'n agent met de rechten van de gebruiker: iemand krijgt alleen antwoorden uit stukken die hij zelf mag openen. Collega's zonder licentie kunnen een agent gebruiken als je organisatie betalen per gebruik heeft ingesteld.

Google Workspace. Vanaf Business Standard kan Gemini in Workspace vragen beantwoorden over bestanden in je Drive waar je toegang toe hebt. Wil je een vaste verzameling bronnen met een bronvermelding bij elk antwoord, gebruik dan NotebookLM, dat sinds juli 2026 Gemini Notebook heet. Dat is de makkelijkste manier om RAG zelf te proberen, zonder iets te bouwen.

Route 2: een project in ChatGPT of Claude

In een project zet je documenten en instructies bij elkaar. Elke vraag in dat project gebruikt die bestanden. Bij Claude schakelt een project in de betaalde abonnementen automatisch over op RAG als je kennis niet meer in het werkgeheugen past. Volgens Anthropic past er dan tot tien keer zoveel in.

Dit is de route voor een bedrijfsassistent die je toon, je diensten en je veelgestelde vragen kent. Hoe je die opzet, nu custom GPT's verdwijnen, lees je in Custom GPT stopt. Kies je ervoor om ChatGPT direct aan je Drive of mailbox te koppelen in plaats van bestanden te uploaden, lees dan eerst ChatGPT koppelen: je geeft daarmee meer rechten weg dan je misschien denkt.

Route 3: maatwerk, gekoppeld aan je website, CRM of app

Maatwerk is nodig zodra mensen buiten je bedrijf ermee werken, of als de AI uit je eigen systemen moet putten. Denk aan een chatbot die je productinformatie en voorwaarden kent, een zoekfunctie op je website die antwoorden geeft in plaats van alleen links, of een assistent in je CRM die de historie van een klant samenvat.

Zo'n oplossing bestaat uit vier delen: je documenten of data, een zoekindex die op betekenis zoekt, een taalmodel via de API, en de plek waar mensen ermee werken, zoals een chatvenster of zoekbalk. Daar komen logging en testen bij. Het voordeel van maatwerk: jij bepaalt welk model, waar de gegevens staan, wie wat mag zien en wat er wordt bijgehouden. Het nadeel: het moet worden gebouwd én onderhouden.

Wil je zoiets klantgericht, begin dan bij de vragen die je krijgt, niet bij de techniek. Wat een chatbot kost en wanneer hij loont, lees je in AI-chatbot op je website. Gaat het om de zoekbalk, lees dan AI-zoekfunctie op je website. Moet de assistent ook zelf iets doen, zoals een afspraak inplannen, dan schuif je op richting AI-agents, met alle extra risico's van dien.

De kwaliteit zit in je documenten

Bijna elke RAG-oplossing die tegenvalt, valt tegen op de documenten, niet op de techniek. Een assistent die de prijslijst van 2024 tussen de bestanden vindt, noemt met grote stelligheid de prijs van 2024. Loop daarom deze lijst na voordat je iets koppelt:

• Eén actuele versie per onderwerp. Haal oude offertes, verlopen voorwaarden en concepten weg, of zet ze in een aparte map die niet wordt doorzocht.
• Datum en eigenaar in elk document. Dan zie je bij elk antwoord hoe oud de bron is, en weet je wie hem bijwerkt.
• Duidelijke kopjes. Eén onderwerp per paragraaf. Het systeem knipt op structuur; een document zonder kopjes levert stukken op zonder samenhang.
• Tekst, geen plaatjes. Een gescande pdf of een tabel als afbeelding kan het systeem vaak niet goed lezen.
• Tegenstrijdigheden oplossen. Staan er in twee documenten verschillende levertijden, dan kiest de AI er een. Jij wilt kiezen.
• Ook opschrijven wat je níet doet. "Wij leveren niet in België" voorkomt een verzonnen antwoord op een vraag die je niet had voorzien.

AI kan hier zelf bij helpen. Laat een assistent je documenten doorlezen en vraag welke onderwerpen elkaar tegenspreken of verouderd lijken. De beslissing welke versie geldt, neem je zelf.

Wie mag wat zien? Rechten en privacy

Een assistent die met de rechten van de gebruiker werkt, laat zien wat die gebruiker mag zien. Dat klinkt veilig, en dat is het ook, als je rechten kloppen. Staat het salarisoverzicht per ongeluk in een teamsite die iedereen kan openen, dan vond tot nu toe niemand het. Een AI-assistent vindt het in één vraag. Controleer dus eerst wie bij welke mappen kan, voordat je een AI erop loslaat.

Bij maatwerk maak je die keuze expliciet:

• Een chatbot voor bezoekers krijgt alleen openbare informatie. Geen interne prijsafspraken, geen klantdossiers.
• Een assistent voor je team kan meer zien, maar filter per rol: verkoop ziet andere stukken dan de boekhouding.
• Persoonsgegevens horen er alleen in als het nodig is, met een verwerkersovereenkomst met elke partij die ze verwerkt. Onder de AVG blijf jij verantwoordelijk.

Let ook op documenten van buiten, zoals mails van klanten of reviews. Daarin kan tekst staan die eruitziet als een opdracht aan de AI. Hoe dat werkt en hoe je je ertegen beschermt, lees je in prompt injection.

Waarom ook RAG soms verzint

RAG maakt verzonnen antwoorden zeldzamer, niet onmogelijk. Dit gaat er het vaakst mis:

• Het verkeerde stuk gevonden. De klant vraagt naar "opzeggen", je document heet "beëindiging overeenkomst", en de zoekstap pakt een alinea over iets anders.
• Het antwoord staat er niet in. Dan vult het model het gat soms toch aan met iets dat logisch klinkt.
• Twee bronnen door elkaar. Een getal uit het ene document, een voorwaarde uit het andere.
• Een stuk zonder context. Een losse tabelrij zonder kop, waardoor niet duidelijk is waar de getallen bij horen.

Je vangt het grootste deel op met een strakke instructie aan het model:

Beantwoord de vraag alleen op basis van de meegestuurde documenten. Noem bij elk antwoord de bron en de datum van het document. Staat het antwoord er niet in, of spreken de documenten elkaar tegen, zeg dat dan en verwijs naar [contactpersoon]. Vul nooit zelf prijzen, termijnen of voorwaarden in.

Daarna test je. Schrijf dertig echte vragen uit je inbox op, plus vijf vragen waarop het antwoord níet in je documenten staat. Bij die vijf moet de assistent eerlijk zeggen dat hij het niet weet. Herhaal de test na elke grote wijziging, en lees elke maand een steekproef van de echte vragen en antwoorden na.

Zo begin je: wie doet wat

Begin klein. Eén onderwerp dat goed werkt, leert je meer dan een hele schijf die half werkt.

Conclusie: de techniek is het makkelijke deel

RAG laat een taalmodel antwoorden uit je eigen documenten in plaats van te gokken: eerst zoeken, dan schrijven, met de bron erbij. Je kunt licht beginnen met agents in SharePoint, Gemini of NotebookLM, of een project in ChatGPT of Claude. Moeten klanten of je eigen systemen ermee werken, dan is maatwerk de route.

Welke route je ook kiest, de kwaliteit zit in je documenten, je rechten en je controle. Ruim op voordat je koppelt, test met echte vragen en wijs per onderwerp een eigenaar aan. Wil je het eerst zelf proberen, begin dan met NotebookLM: daar lees je hoe je het zakelijk inzet. Wil je zien hoe ik werk, van strategie tot website? Download het pitchdeck.