Moet ik AI-crawlers blokkeren of toelaten?
Voor bijna elk bedrijf dat gevonden wil worden is het antwoord: toelaten. Blokkeer je de zoek-crawlers, dan verdwijn je uit de AI-antwoorden en verlies je een vindkanaal. Onderzoek bij nieuwsuitgevers die blokkeerden liet verkeersverlies zien zonder bescherming terug. Blokkeren is alleen zinvol als bewuste keuze over je content, en dan nog alleen voor de trainings-crawlers.
Kort samengevat
- Wil je gevonden worden, laat de zoek-crawlers dan altijd toe.
- Blokkeer je die, dan verdwijn je uit de AI-antwoorden.
- De blokkeer-vraag komt uit de wereld van grote uitgevers, niet die van jou.
- Onderzoek toont: blokkeren kost bezoekers, terwijl citaties bleven staan.
- Blokkeren is alleen zinvol als rechten-keuze, en dan enkel de trainings-crawlers.
Voor wie gevonden wil worden: toelaten
Laat ik met het antwoord beginnen. Als je doel is dat klanten je vinden, laat de AI-crawlers dan toe. De zoek-crawlers, zoals OAI-SearchBot en PerplexityBot, bouwen de index waaruit AI-antwoorden worden geput. Blokkeer je die, dan zit je niet in de vijver waaruit gekozen wordt, en verdwijn je uit de antwoorden waar je klant kijkt.
Welke crawlers er zijn en wat elk doet, staat op wat zijn AI-crawlers en welke moet ik toelaten. Deze pagina gaat over de beslissing erachter: blokkeren of niet.
Waar de blokkeer-vraag vandaan komt
De discussie over AI-crawlers blokkeren komt uit een hoek die niet de jouwe is: die van grote nieuwsuitgevers. Die worstelen met een ander probleem. Hun content wordt gebruikt om AI-modellen te trainen, terwijl de AI hun artikelen daarna samenvat en de klik wegvangt. Voor hen is blokkeren een manier om terug te vechten om hun content en hun verdienmodel.
Dat is een ander vraagstuk dan het jouwe. Jij bent geen uitgever die zijn artikelen wil beschermen. Jij bent een bedrijf dat gevonden wil worden. De vraag die voor een krant logisch is, is voor jou vaak precies verkeerd om.
Wat het onderzoek laat zien
Er is onderzoek van Rutgers en Wharton naar nieuwsuitgevers die AI-crawlers blokkeerden. De grote uitgevers die blokkeerden verloren verkeer, in de recentste versie ongeveer zeven procent per week. Belangrijk om te weten: dat cijfer stond in een eerdere versie nog op ruim twintig procent per maand. Het is dus geen vaste wet, maar een schatting die schommelt met de meetmethode.
Voorzichtig met generaliseren
Dit is een bevinding bij grote nieuwsuitgevers, geen cijfer voor een klein bedrijf. Toen de onderzoekers naar een bredere groep keken, steeg het verkeer bij middelgrote uitgevers juist na blokkeren, en bij de kleinste was het effect onduidelijk. Neem de zeven procent dus niet als jouw getal. De overdraagbare les is de richting, niet het cijfer.
En die richting is wel duidelijk, want er zit een tweede bevinding onder. Uitgevers die blokkeerden verloren bezoekers, maar hun citaties in AI-antwoorden bleven grotendeels staan. Blokkeren beschermde hun content dus niet, het kostte ze alleen hun distributiekanaal. Je verliest de klik zonder er iets voor terug te krijgen.
De enige goede reden om te blokkeren
Er is één situatie waarin blokkeren verdedigbaar is: als je principieel niet wilt dat je content meetraint in AI-modellen. Dat is een rechten-keuze, geen vindbaarheids-keuze. En zelfs dan blokkeer je alleen de trainings-crawlers, zoals GPTBot, en laat je de zoek-crawlers gewoon toe. Zo bescherm je je content tegen training zonder je zichtbaarheid weg te gooien.
De blokkeer-vraag is geleend uit een gevecht dat niet het jouwe is. Uitgevers blokkeren om hun content te beschermen. Jij wil gevonden worden. De zoek-crawlers blokkeren is jezelf in de voet schieten.
Wat dit voor jou betekent
Doe de simpele check: staat er in je robots.txt een blokkade voor de zoek-crawlers, haal die dan weg, want dat kost je zichtbaarheid. Wil je uit principe niet meetrainen, blokkeer dan gericht de trainings-crawlers en laat de rest open. Hoe je dat instelt, staat op robots.txt instellen voor AI-zoekmachines en Google. Terug naar het overzicht van AI-zoekmachines.
Veelgestelde vragen
Moet ik AI-crawlers blokkeren om mijn content te beschermen?
Voor de meeste bedrijven niet. Onderzoek laat zien dat blokkeren vooral bezoekers kost, terwijl de citaties in AI-antwoorden grotendeels bleven staan. Je beschermt je content er dus nauwelijks mee, en je verliest wel je vindbaarheid. Blokkeren is alleen een rechten-keuze over training, geen bescherming.
Verlies ik echt zeven procent verkeer als ik blokkeer?
Dat is een bevinding bij grote nieuwsuitgevers, geen vast cijfer voor een klein bedrijf. Bij middelgrote uitgevers steeg het verkeer zelfs na blokkeren. Neem de zeven procent dus niet als jouw getal. De les is de richting: de zoek-crawlers blokkeren kost je discovery.
Kan ik training blokkeren maar wel vindbaar blijven?
Ja. Blokkeer gericht de trainings-crawlers zoals GPTBot, en laat de zoek-crawlers zoals OAI-SearchBot en PerplexityBot open. Zo houd je je content uit de training zonder je zichtbaarheid in de AI-antwoorden te verliezen. Dat is de enige situatie waarin blokkeren verdedigbaar is.
Wat andere ondernemers zeggen
Twijfel je of je moet blokkeren of toelaten?
Laten we gewoon even bellen met een kop koffie erbij. Ik kijk vooraf of je de zoek-crawlers wel binnenlaat, en of je instellingen je helpen of juist tegenwerken.
Geen verkooppraatje. Wel eerlijk advies.
Plan een kennismakingsgesprek→
Liever eerst appen of mailen? Bel of app 06 57003549, of mail jesper@aikracht.nl