Robots.txt uitgelegd: wat je blokkeert, ook voor AI-crawlers
In dit artikel
Robots.txt is een klein tekstbestand in de hoofdmap van je website waarin je crawlers, de programma's die het web automatisch aflopen, vertelt welke delen ze niet mogen bezoeken. Het blijft een verzoek en geen slot: het houdt een pagina niet uit Google en beschermt niets. Eén verkeerde regel kan wel je hele site uit beeld halen. Bij AI-crawlers kun je bots die trainen weren zonder te verdwijnen uit de zoekfuncties van ChatGPT, Claude of Perplexity. Bij een livegang zet ik dat bestand voor je goed.
Wat is robots.txt en hoe werkt het?
Robots.txt is een gewoon tekstbestand dat altijd op dezelfde plek staat: jouwdomein.nl/robots.txt. Een crawler die je site bezoekt, kijkt daar eerst. Het bestand werkt als een bordje bij de ingang van een bedrijventerrein: het zegt welke panden bezoekers niet in mogen, maar er staat geen slagboom.
Het bestand bestaat uit groepen regels. Elke groep begint met de naam van een crawler en zegt daarna wat die crawler wel en niet mag:
- User-agent: de naam van de crawler waarvoor de regels gelden. Een sterretje (
*) betekent: alle crawlers die geen eigen groep hebben. - Disallow: een pad dat de crawler niet mag bezoeken.
- Allow: een uitzondering binnen een geblokkeerd pad.
- Sitemap: het volledige adres van je sitemap, zodat crawlers je pagina's sneller vinden.
Zo ziet een eenvoudig bestand eruit:
User-agent: *
Disallow: /zoeken/
Allow: /
Sitemap: https://www.voorbeeld.nl/sitemap.xml
Hier mag elke crawler alles bezoeken, behalve de zoekresultaten van de site zelf.
Dat oogt simpel, maar de spelregels zijn streng. Het bestand moet in de hoofdmap staan; in een submap kijkt geen crawler. Elk subdomein heeft een eigen robots.txt nodig, dus shop.voorbeeld.nl leest niet het bestand van www.voorbeeld.nl. Google leest alleen de eerste 500 KiB. En de paden zijn hoofdlettergevoelig: /Pagina/ is iets anders dan /pagina/. Een regel die net verkeerd staat, geeft geen foutmelding. Hij doet gewoon iets anders dan bedoeld.
Wat robots.txt niet doet
Robots.txt wordt vaak gebruikt voor dingen waar het niet voor bedoeld is. Google zegt het zelf in zijn uitleg over robots.txt: het bestand is er om crawlerverkeer te regelen, niet om pagina's uit Google te houden.
Het is geen noindex. Een geblokkeerde pagina kan nog steeds in Google verschijnen, zonder beschrijving, als een andere site ernaar linkt. Wat uit de zoekresultaten moet blijven, krijgt een noindex in de pagina zelf, en die pagina mag je dan juist niet blokkeren: een crawler die niet binnen mag, kan de noindex ook niet lezen.
Het is geen beveiliging. Iedereen kan je robots.txt openen. Zet je er Disallow: /beheer-oud/ in, dan vertel je de hele wereld waar je oude beheeromgeving staat. Afgeschermde inhoud hoort achter een inlog of wachtwoord, ook een testversie van je site; het afschermen daarvan komt aan bod in staging-omgeving.
Het verwijdert niets. Een pagina die weg is, hoort een 404 of 410 te geven. Wat die codes betekenen en wat Google ermee doet, staat in HTTP-statuscodes uitgelegd.
| Wat wil je? | Wat werkt | Robots.txt? |
|---|---|---|
| Een pagina uit Google houden | Noindex in de pagina | Nee, juist niet blokkeren |
| Inhoud afschermen voor buitenstaanders | Inlog of wachtwoord | Nee |
| Een verwijderde pagina uit Google laten verdwijnen | Statuscode 404 of 410 | Nee |
| Eindeloze filter- en zoekpagina's niet laten crawlen | Disallow op die paden | Ja |
| Je teksten niet laten gebruiken voor AI-training | Disallow per trainingsbot | Ja |
| Crawlers laten weten waar je sitemap staat | Sitemapregel | Ja |
Nog één misverstand: de regel Crawl-delay, waarmee je een crawler vraagt langzamer te gaan, wordt door Google niet ondersteund. Sommige andere crawlers, zoals die van Anthropic en Common Crawl, houden er wel rekening mee.
Robots.txt voorbeelden voor een gewone website en een webshop
Voor de meeste bedrijfswebsites is robots.txt niet veel langer dan het voorbeeld hierboven. Vaak komt er een regel bij voor de bedankpagina na een formulier, Disallow: /bedankt/, en daar zit al een valkuil: moet die pagina zeker uit Google blijven, dan werkt een noindex beter en hoort de Disallow-regel er juist niet in.
Een webshop heeft meer nodig, omdat filters en sorteringen duizenden varianten van dezelfde pagina maken. Zo kan dat eruitzien:
User-agent: *
Disallow: /winkelwagen/
Disallow: /afrekenen/
Disallow: /*?sorteer=
Disallow: /*?filter=
Sitemap: https://www.voorbeeld.nl/sitemap.xml
Het sterretje midden in een pad staat voor 'wat dan ook', zodat elke pagina met ?sorteer= in het adres wordt overgeslagen. Daar zit meteen de afweging: blokkeer je te weinig, dan verdoet Google zijn tijd aan duizenden bijna gelijke pagina's; blokkeer je te veel, dan verdwijnen ook filterpagina's die klanten zoeken, zoals een merk of maat. Welke filterpagina's je beter wel in Google laat, lees je in SEO voor webshops.
WordPress maakt zelf een robots.txt aan als er geen bestand op de server staat, en SEO-plugins zoals Yoast en Rank Math laten je dat aanpassen. Staat er toch een echt bestand op de server, dan wint dat van wat WordPress zelf maakt.
De sitemapregel is het nuttigste wat de meeste sites in hun robots.txt zetten. Wat er in die sitemap hoort, beschrijf ik in XML-sitemap maken en indienen.
Eén verkeerde regel en je site verdwijnt uit Google
Robots.txt is het duidelijkste voorbeeld van technische SEO: het deel van vindbaarheid waar één regel het verschil maakt tussen zichtbaar en onzichtbaar. De fouten die het vaakst voorkomen:
- Disallow: / na de livegang. Tijdens de bouw wordt een testversie vaak dichtgezet met
Disallow: /. Gaat dat bestand mee naar de live site, dan vraag je elke crawler om weg te blijven. Je merkt het pas als het verkeer uit Google wegzakt. Hoe je die fout herkent, staat in website niet zichtbaar in Google. - Een eigen groep die de algemene regels opheft. Een crawler volgt alleen de groep die het best bij zijn naam past. Heb je een groep voor
*en een aparte groep voor Googlebot, dan leest Googlebot alleen die laatste. Regels uit de algemene groep gelden dan stilletjes niet meer voor Google. - Een te breed pad. Een regel werkt op alles wat met dat pad begint.
Disallow: /blogblokkeert je blog, en ook een pagina als/blogger-samenwerking/. - Een bestand dat soms onbereikbaar is. Geeft robots.txt een 404, dan gaat Google ervan uit dat alles mag. Geeft het een serverfout, dan stopt Google eerst met crawlen en gebruikt het daarna een eerder opgeslagen versie. Een haperend bestand kan je dus meer kosten dan helemaal geen bestand.
Wat deze fouten gemeen hebben: je ziet ze niet als je door je eigen site klikt. Daarom staat robots.txt op mijn controlelijst voor de livegang.
AI-crawlers: trainen, zoeken of op verzoek van een gebruiker
Van AI-bedrijven komen drie soorten bezoekers langs:
- Trainingscrawlers verzamelen teksten waarmee nieuwe AI-modellen worden getraind. Je krijgt er geen bezoekers voor terug.
- Zoekcrawlers bouwen een index op, zodat een AI-assistent je pagina kan noemen en linken als iemand een vraag stelt. Dit is vergelijkbaar met Googlebot.
- Ophalers op verzoek bezoeken een pagina omdat een gebruiker op dat moment iets vraagt of een link deelt. Ze crawlen niet zelfstandig.
Dit zijn de namen die de bedrijven zelf op hun officiële pagina's noemen, stand november 2026. Namen veranderen af en toe, dus ik controleer ze op de documentatie van de partij zelf, zoals het overzicht van OpenAI, voordat ik een bestand aanpas.
| Partij | Trainen | Zoeken | Op verzoek van een gebruiker |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Google-Extended | Googlebot (ook AI-overzichten) | onder andere Google-Agent | |
| Perplexity | geen trainingscrawler volgens Perplexity | PerplexityBot | Perplexity-User |
| Apple | Applebot-Extended | Applebot | niet apart genoemd |
| Common Crawl | CCBot | geen | geen |
Een paar dingen die in die tabel niet passen:
- Google-Extended en Applebot-Extended zijn geen crawlers. Met die namen geef je in robots.txt aan of inhoud die Googlebot of Applebot al ophaalt, voor AI-training mag worden gebruikt. Blokkeren heeft geen invloed op je plek in Google Search of in de zoekfuncties van Apple.
- De AI-overzichten van Google horen bij Google Search. Ze lopen via Googlebot. Google-Extended blokkeren haalt je er dus niet uit. Sinds eind augustus 2026 kun je je site wel uitsluiten met een instelling in Search Console; wat dat kost en oplevert, zet ik uiteen in AI-overzicht in Google.
- Applebot volgt de regels voor Googlebot als je geen aparte regels voor Applebot hebt.
- CCBot is van Common Crawl, een stichting die een open archief van het web bijhoudt. Dat archief mag iedereen downloaden, ook AI-bedrijven.
- Ophalers op verzoek volgen robots.txt niet altijd. OpenAI schrijft dat de regels voor ChatGPT-User mogelijk niet gelden, omdat een gebruiker het bezoek start. Google en Perplexity schrijven dat hun ophalers op verzoek robots.txt doorgaans negeren.
Nieuw sinds 30 oktober 2026: bij de IETF, de organisatie achter veel internetstandaarden, ligt een concept voor één algemene regel waarmee je 'geen AI-training' aangeeft, zonder elke bot apart te noemen. Het is een voorstel van een medewerker van Anthropic en nog geen standaard. In het concept ziet de regel er zo uit:
User-Agent: __usage_ai-training
Disallow: /
Anthropic zegt dit signaal sinds die datum te volgen. Google schrijft in zijn documentatie dat het de regel begin 2027 wil ondersteunen. Niet elke partij volgt hem al, dus de trainingsbots blijven voorlopig ook gewoon bij naam in het bestand staan.
AI-crawlers blokkeren of toelaten: zo kies je
Er is geen goed of fout antwoord. Het hangt af van wat je belangrijker vindt: zichtbaar zijn in AI-antwoorden of je teksten buiten trainingsdata houden. Bij de meeste partijen zijn die twee los te regelen.
Een middenweg die bij veel bedrijven past: trainingscrawlers weren, zoekcrawlers toelaten. Zo ziet dat eruit:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /zoeken/
Sitemap: https://www.voorbeeld.nl/sitemap.xml
De eerste groep weert de vijf trainingscrawlers; meerdere User-agent-regels boven elkaar delen dezelfde regels. De tweede groep geldt voor alle andere crawlers, waaronder de zoekcrawlers. Het venijn zit in wat je niet ziet: een bot die er niet in staat, mag alles. En een naam met een tikfout herkent geen enkele crawler, zodat die regel zonder foutmelding niets doet.
Bij de keuze spelen een paar dingen mee:
- Wat al verzameld is, blijft verzameld. Een blokkade werkt niet met terugwerkende kracht.
- Zoekcrawlers weren kost zichtbaarheid. Blokkeer je OAI-SearchBot, dan verschijn je volgens OpenAI niet meer in de zoekantwoorden van ChatGPT. Hoe je daar juist wel opduikt, staat in gevonden worden in ChatGPT.
- Je beveiliging kan ook blokkeren. Sommige firewalls en CDN-diensten houden AI-bots standaard tegen, wat er ook in je robots.txt staat.
- Het is ook een juridisch signaal. Met robots.txt maak je op een machineleesbare manier bezwaar tegen tekst- en datamining. De betekenis daarvan bespreek ik in AI en auteursrecht; dat is uitleg, geen juridisch advies.
Die afweging maak ik samen met de klant. Daarna leg ik de keuze vast in het bestand en noteer ik in het versiebeheer waarom het zo staat, zodat de reden later terug te vinden is.
Of AI-assistenten je al bezoekers sturen, zie je met de aanpak uit AI-verkeer in GA4. En een llms.txt, een leeswijzer voor taalmodellen, regelt geen toegang; dat blijft het werk van robots.txt. Wat zo'n bestand wel doet, staat in llms.txt uitgelegd.
Robots.txt testen en bewaken: zo pak ik het aan
Bij een statische site, zoals de sites die ik met Eleventy bouw, is robots.txt gewoon een van de bronbestanden van de site. Het staat onder versiebeheer, dus een gewijzigde regel is altijd terug te vinden, en een fout is met de vorige versie terug te draaien.
Na elke wijziging en bij elke livegang controleer ik drie dingen:
- Het bestand zelf. Is
jouwdomein.nl/robots.txtbereikbaar, geeft het een normale 200-statuscode en staan de juiste regels erin? - Het robots.txt-rapport in Search Console. Onder Instellingen staat welke robots.txt-bestanden Google heeft gevonden, wanneer ze zijn opgehaald en of er fouten in staan. Na een correctie vraag je hier om het bestand opnieuw op te halen.
- De belangrijkste pagina's via URL-inspectie. Per adres laat Search Console zien of crawlen is toegestaan of geblokkeerd door robots.txt.
Zonder gekoppelde Search Console zie je niet wat Google van je robots.txt vindt, dus dat koppelen hoort bij een livegang. Ook het testadres dat Netlify aan elke site geeft, moet uit Google blijven. Bij gouwers.nl stuurt dat adres met een permanente doorverwijzing door naar het echte domein, zodat Google geen tweede kopie van de site ziet. De robots.txt van gouwers.nl zelf is kort: alles is toegestaan en de sitemap staat erin. Wat er bij een headless site verder goed moet staan voor Google, vind je in headless website en SEO.
Conclusie: robots.txt regelt toegang, niet zichtbaarheid of veiligheid
Robots.txt vertelt nette crawlers waar ze niet hoeven te komen. Het is het juiste middel voor je sitemaplink, voor eindeloze filter- en zoekpagina's en voor je keuze over AI-crawlers, en het verkeerde middel om pagina's uit Google te houden of iets af te schermen. Het bestand is klein, maar één verkeerde regel kan je hele site onzichtbaar maken, en dat zie je niet aan de site zelf.
Voor jou betekent dat: je hoeft de regels niet te kennen, zolang iemand ze bewaakt. Bij mij staat robots.txt bij de livegang goed, maak ik de keuze over AI-crawlers samen met jou en controleer ik elke wijziging in Search Console. Het logische volgende bestand is je sitemap: lees XML-sitemap maken en indienen. Wil je zien hoe ik werk aan websites en vindbaarheid? Bekijk dan het pitchdeck.
Veelgestelde vragen
Heeft elke website een robots.txt nodig?
Nee. Zonder robots.txt mogen alle crawlers alles bezoeken, en voor een kleine website gaat dat meestal goed. Geeft het adres een 404, dan behandelt Google dat alsof er geen beperkingen zijn. Toch krijgt een site van mij altijd een kort bestand mee: met de link naar de sitemap, waar nodig een uitsluiting voor filter- of zoekpagina's en een bewuste keuze over AI-crawlers. Dan staat vast wat er geregeld is, en hoeft niemand dat later terug te zoeken.
Wat is het verschil tussen robots.txt en noindex?
Robots.txt regelt of een crawler een pagina mag bezoeken. Noindex regelt of een pagina in de zoekresultaten mag komen. Een pagina die in robots.txt geblokkeerd is, kan toch in Google verschijnen, zonder beschrijving, als andere sites ernaar linken. Moet een pagina uit Google blijven, dan hoort er een noindex op en mag die pagina juist niet in robots.txt geblokkeerd zijn. Anders kan Google de noindex-regel niet lezen. Voor afgeschermde inhoud is een wachtwoord nodig.
Hoe blokkeer ik alle AI-crawlers in robots.txt?
Er is nog geen regel die alle AI-crawlers in één keer weert. Elke bot staat bij naam in het bestand, met daaronder Disallow: /. Voor training zijn dat onder andere GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en CCBot. Voor de AI-zoekfuncties gaat het om OAI-SearchBot, Claude-SearchBot en PerplexityBot, en die weren kost zichtbaarheid. Voor training ligt er sinds eind oktober 2026 een concept voor één algemene regel, maar nog niet elke partij volgt die. Bots die een pagina ophalen omdat een gebruiker erom vraagt, houden zich volgens hun eigen documentatie niet altijd aan robots.txt.
Hoe snel ziet Google een aangepaste robots.txt?
Google bewaart je robots.txt meestal tot 24 uur in zijn geheugen. Een wijziging kan dus een dag duren voordat Googlebot ernaar handelt. Is er per ongeluk iets belangrijks geblokkeerd, dan kun je in het robots.txt-rapport van Search Console vragen om het bestand opnieuw op te halen. Dat versnelt het, maar Google belooft geen vast moment. OpenAI schrijft dat het voor zijn zoekfunctie ongeveer 24 uur duurt voordat een nieuwe robots.txt is verwerkt. Een fout in dit bestand is dus niet meteen hersteld, ook als de correctie zelf snel live staat.
Wat betekent Disallow: / in robots.txt?
Disallow: / betekent dat de crawlers uit die groep niets van je site mogen bezoeken. Het schuine streepje staat voor de hoofdmap, en alles daaronder valt erbinnen. Staat de regel onder User-agent: *, dan geldt hij voor alle crawlers zonder eigen groep, ook Googlebot. Tijdens de bouw van een site wordt die regel vaak bewust gezet en na de livegang vergeten. Staat hij onder één bot, zoals GPTBot, dan geldt de blokkade alleen voor die bot. Een lege Disallow-regel betekent juist: alles mag.
Benieuwd hoe ik dit in de praktijk aanpak?
Het pitchdeck laat de hele werkwijze zien.
Geschreven door Dennis Boekhout
Marketing freelancer uit 's-Hertogenbosch. Volg op LinkedIn (opent in een nieuw tabblad)
