AI-crawlers en llms.txt: wie mag jouw content gebruiken?
AI-crawlers van OpenAI, Anthropic en Google lezen massaal websites uit. Wat robots.txt en het nieuwe llms.txt daarover te zeggen hebben, en waarom volledig blokkeren meestal onverstandig is.
Je website wordt al jaren bezocht door zoekmachine-crawlers, maar sinds kort schuiven er nieuwe gasten aan: AI-crawlers van OpenAI, Anthropic, Google en tientallen kleinere partijen. Die lezen je content niet om je vindbaar te maken, maar om taalmodellen te trainen of om antwoorden mee te formuleren. Dat roept een vraag op waar steeds meer ondernemers over nadenken: wie mag mijn content eigenlijk gebruiken, en heb ik daar iets over te zeggen?
Welke crawlers er langskomen
Grofweg zijn er drie soorten. Trainingscrawlers (zoals GPTBot van OpenAI of ClaudeBot van Anthropic) verzamelen tekst om modellen mee te trainen. Zoekcrawlers van AI-diensten indexeren je site zodat een assistent er live antwoorden uit kan halen. En dan zijn er nog bezoeken namens één gebruiker, wanneer iemand een AI-tool vraagt een pagina te lezen. In je serverlogboeken zie je ze verschijnen onder hun eigen namen — en het verkeer is inmiddels aanzienlijk.
Wat je erover te zeggen hebt
- Robots.txt werkt nog steeds. Nette AI-crawlers respecteren een blokkade in je robots.txt, per bot instelbaar. Je kunt dus training weigeren en zoekverkeer toestaan.
- Llms.txt is de nieuwkomer. Dit voorgestelde bestand is geen slot op de deur, maar een leeswijzer: een beknopt overzicht in platte tekst dat AI-systemen vertelt wat je site is en welke pagina’s er echt toe doen.
- De AI Act helpt rechthebbenden. De Europese regels verplichten modelbouwers om machineleesbare voorbehouden te respecteren; een expliciet voorbehoud op je site krijgt daarmee juridisch gewicht.
- Blokkeren heeft een prijs. Wie alle AI-crawlers weert, verdwijnt ook uit AI-antwoorden — en dat wordt een steeds serieuzer kanaal waarlangs klanten je vinden.
Wat wij mkb-bedrijven adviseren
Voor de meeste bedrijfswebsites is zichtbaarheid meer waard dan bescherming: jouw dienstenpagina’s wíl je juist in AI-antwoorden hebben. Blokkeer wat je echt niet gedeeld wilt zien (klantportalen, gedateerde content), overweeg een llms.txt met je belangrijkste pagina’s, en kijk af en toe in je statistieken welk verkeer AI-diensten je al sturen. Verkoop je juist unieke content — cursussen, onderzoek, fotografie — dan ligt de afweging anders en is een trainingsblokkade te verdedigen.
Onze conclusie
AI-crawlers zijn niet tegen te houden met verontwaardiging, wel te sturen met een paar regels tekst. Bepaal bewust wat je deelt, in plaats van het te laten gebeuren.
Hulp nodig bij robots.txt, llms.txt of je AI-strategie? Neem gerust contact op.
Meer over dit onderwerp
Vibe coding: zelf software bouwen met AI — en waar het knelt
Met vibe coding bouwen ook niet-programmeurs werkende software: beschrijven wat je wilt en bijsturen. Fantastisch voor interne tools en prototypes — en… Lees verder
Vindbaar in ChatGPT en Perplexity: SEO voor AI-zoekmachines
ChatGPT, Perplexity en Copilot worden een eigen verkeersbron met eigen spelregels. Zo zorg je dat jouw bedrijf in AI-antwoorden wordt genoemd —… Lees verder
Lokale AI-modellen: AI gebruiken zonder de cloud
Open AI-modellen draaien inmiddels prima op eigen hardware — zonder dat er data je pand verlaat. Wanneer lokaal draaien slim is, en… Lees verderHulp nodig bij dit onderwerp?
Vul onderstaand formulier in en we nemen zo spoedig mogelijk contact met je op. Liever zelf contact opnemen? Bel dan even met 085-4015005.
We werken voor een brede variatie aan klanten, van ZZP-er tot multinational en van reclamebureau tot eindgebruiker. Al onze klanten hebben wel iets gemeen: ze delen onze no-nonsense aanpak en maken graag stappen.
