Wat zijn AI-crawlers en welke moet ik toelaten?

Wat is een AI-crawler?

Een AI-crawler is een bot van een AI-bedrijf die je website bezoekt en de inhoud leest. Net zoals Googlebot je site leest voor de Google-zoekresultaten, lezen deze bots je site voor AI-systemen zoals ChatGPT, Perplexity en Claude. Ze staan in je logbestanden onder een eigen naam, de user-agent.

Je bepaalt zelf welke je binnenlaat, via een bestand op je site dat robots.txt heet. En daar gaat het vaak mis, want veel bedrijven blokkeren zonder het te weten de verkeerde bots, of laten juist de belangrijke buiten.

De drie soorten AI-crawlers

Voordat je iets toelaat of blokkeert, moet je het verschil kennen. Er zijn drie families, elk met een andere taak.

Welke moet je toelaten?

De zoek-crawlers en de user-crawlers laat je altijd toe. Dat is niet onderhandelbaar, want zonder die twee besta je niet in AI-antwoorden. Ze sturen bezoekers en leveren citaties op.

De trainings-crawlers zijn een keuze. Blokkeer je ze, dan gebruik je een recht dat je hebt: je content niet laten meetrainen. Dat kost je geen zichtbaarheid vandaag. Maar mijn advies voor wie gevonden wil worden, is ze juist toe te laten. Hoe vaker en consistenter een model je tegenkomt, hoe beter het je als bedrijf leert kennen. Dat helpt je entiteit.

De enige die ik zou tegenhouden, zijn de slecht gedragende scrapers die robots.txt negeren en alleen serverlast opleveren, zoals Bytespider. Die hou je niet met robots.txt tegen, daarvoor heb je een serverregel nodig.

De fout die de meesten maken

Bijna iedereen die zich hierin verdiept, kijkt naar GPTBot. Logisch, want dat is de bekendste naam van OpenAI. Maar GPTBot is de trainings-crawler. Die bepaalt niet of ChatGPT je noemt.

De crawler die telt voor gevonden worden in ChatGPT is OAI-SearchBot, niet GPTBot. Blokkeer je die per ongeluk, dan besta je niet in ChatGPT, hoe goed je content ook is.

Ik zie het geregeld: een site die GPTBot netjes blokkeert uit voorzichtigheid, en tegelijk per ongeluk OAI-SearchBot buitensluit. Het gevolg is precies verkeerd om. Je content wordt niet meegetraind, maar je bent ook onzichtbaar in de zoekantwoorden waar je klant kijkt. Ken het verschil, en je maakt die fout niet.

Je robots.txt instellen

Controleer eerst je huidige robots.txt op jouwdomein.nl/robots.txt. Zoek naar de namen hierboven met een regel Disallow: / eronder. Staat die er, dan blokkeer je die crawler nu. Zo laat je de belangrijkste juist expliciet toe:

# AI zoek- en user-crawlers toelaten (nodig voor zichtbaarheid)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# AI trainings-crawlers (toelaten helpt het leren van je entiteit)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /

De volledige uitleg, met het verschil tussen toelaten en blokkeren en de valkuilen, staat op robots.txt instellen voor AI-zoekmachines en Google. En waarom OAI-SearchBot samenhangt met Bing, lees je op ChatGPT en de Bing-index.

Wat dit voor jou betekent

Doe vandaag één ding: open je robots.txt en kijk of er een van de zoek-crawlers geblokkeerd staat. Is dat zo, dan is dat waarschijnlijk je snelste winst, want dan word je nu simpelweg niet gelezen. Twijfel je over de trainings-crawlers, laat ze dan staan als je gevonden wilt worden. Terug naar het overzicht van AI-zoekmachines.