"AI leest het hele internet" klinkt eenvoudig, maar in werkelijkheid gebeuren er drie heel verschillende dingen. Wie dat onderscheid kent, maakt betere keuzes.
1. Een zoekindex opbouwen
Zoekmachines en AI-zoekdiensten sturen crawlers rond die pagina's ophalen en in een index bewaren. Die index wordt later doorzocht wanneer iemand een vraag stelt. Voorbeelden: Googlebot, OAI-SearchBot (OpenAI) en Claude-SearchBot (Anthropic).
2. Bronnen ophalen voor één antwoord
Soms haalt een AI-dienst een pagina pas op wanneer een gebruiker er een vraag over stelt. Dat noemt men vaak retrieval. Voorbeelden: ChatGPT-User en Claude-User. Zo'n bezoek gebeurt op vraag van een persoon, niet als automatische rondgang.
Nuttig? Ontvang praktische tips over websites, SEO, GEO en meten in je mailbox. Schrijf je in op de nieuwsbrief en krijg de gratis gids erbij.
3. Gegevens verzamelen voor modeltraining
Andere bots verzamelen inhoud die kan bijdragen aan het trainen van toekomstige AI-modellen. Voorbeelden: GPTBot (OpenAI) en ClaudeBot (Anthropic). Dat is iets anders dan vandaag in een antwoord verschijnen.
Je kan per doel kiezen
OpenAI schrijft uitdrukkelijk dat elke instelling los staat van de andere: je kan OAI-SearchBot toelaten om in zoekresultaten te verschijnen en GPTBot weigeren voor training. Anthropic maakt een gelijkaardig onderscheid tussen ClaudeBot, Claude-User en Claude-SearchBot. Die keuzes maak je in je robots.txt-bestand.
Niet elke AI leest hetzelfde
- Niet elke dienst voert JavaScript uit. Belangrijke inhoud hoort daarom in gewone HTML te staan.
- Niet elke bot volgt robots.txt op dezelfde manier. Respectabele aanbieders documenteren hoe ze ermee omgaan; kwaadwillige scrapers houden er geen rekening mee.
- Een user-agent kan nagebootst worden. Een bezoek dat zich "GPTBot" noemt, is niet altijd echt van OpenAI.
Wat robots.txt níet doet
Robots.txt is een verzoek aan nette bots, geen slot op de deur. Wil je iets echt afschermen, gebruik dan een login of toegangsbeveiliging. En wil je een pagina uit zoekresultaten houden, gebruik dan noindex en laat de pagina wel bereikbaar zodat de zoekmachine die instructie kan lezen.
Wat betekent dit voor jouw zaak?
Voor de meeste lokale ondernemers is het verstandig om zoekmachines en AI-zoekdiensten toe te laten: zo kunnen klanten je vinden. Of je training toelaat, is een aparte, persoonlijke keuze.