Geblokkeerd door robots.txt? Zo controleer en herstel je robots-blokkades

← Alle artikelen

Gepubliceerd op

Technische SEO en AI-crawlers · ± 9 minuten lezen

Geblokkeerd door robots.txt? Zo controleer en herstel je robots-blokkades

Je browser opent een pagina, maar een websitescan of Google Search Console meldt een blokkade. Dat hoeft geen storing te zijn: sommige URL's worden bewust uitgesloten. Zoek eerst uit wie wordt tegengehouden, door welke instelling en of die uitsluiting bij het doel van de pagina past.

Eerste controle: noteer de exacte URL en melding, bepaal of de pagina publiek vindbaar hoort te zijn en vergelijk robots.txt, de echte HTTP-response en de indexeringsinstructies.

Robots.txt, 403 en noindex: wat is het verschil?

Drie lagen die je afzonderlijk moet onderzoeken
LaagWat gebeurt er?Wat controleer je?
Crawlregels: robots.txtEen crawler die de regels respecteert haalt een uitgesloten URL niet op.User-agentgroep en toepasselijke Allow/Disallow-regel.
Technische toegang: login, CDN of firewallEen aanvraag krijgt bijvoorbeeld 401, 403, een challenge of 429.Response, tijdstip, IP-adres en beveiligingslogs.
Indexering: noindexEen zoekmachine krijgt een instructie de inhoud niet te indexeren.Meta robots en de X-Robots-Tag-header.

Robots.txt is geen beveiliging

Robots.txt is openbaar en naleving door een crawler is vrijwillig. Een uitgesloten pad blijft mogelijk direct te openen. Bescherm klantgegevens, beheerschermen en privébestanden met echte toegangscontrole, niet met een Disallow-regel. Google over de grenzen van robots.txt (opent in een nieuw tabblad).

Geblokkeerd betekent niet automatisch uit Google

Google kan een geblokkeerde URL via andere links kennen en deze zonder inhoudelijke snippet tonen. Wil je een openbare pagina uit Google houden, dan kan noindex passend zijn. Google moet die instructie wel kunnen ophalen en verwerken; blokkeer de URL dan niet tegelijk voor Googlebot via robots.txt. Google over noindex (opent in een nieuw tabblad).

Niet elke weigering komt door robots.txt

Een echte HTTP 403 zegt dat de aanvraag is geweigerd, maar bewijst niet welke firewallregel de oorzaak is. Een 429 is een snelheidsbeperking en geen bewijs dat de pagina niet bestaat. Ook een HTTP 200 kan een botchallenge bevatten in plaats van de bedoelde inhoud. Google over HTTP- en netwerkfouten (opent in een nieuw tabblad).

Geeft een belangrijke pagina een foutmelding? Lees ook hoe je onbereikbare pagina's controleert en oplost.

Een robots-blokkade stap voor stap controleren

  1. Bewaar de exacte URL en melding. Let op hoofdletters in het pad, queryparameters, www, HTTPS en redirects. Een melding over een andere URL kan een andere oorzaak hebben.
  2. Bepaal het paginadoel. Een dienstenpagina hoort vaak publiek te zijn. Een accountomgeving of intern zoekfilter hoeft niet geïndexeerd te worden. Vraag bij twijfel de eigenaar van de inhoud.
  3. Open robots.txt op de juiste oorsprong. Voor https://www.example.org/diensten/ staat het bestand op https://www.example.org/robots.txt. Het bestand van example.org geldt niet automatisch voor www.example.org of een andere poort.
  4. Zoek de toepasselijke crawlergroep en regel. Controleer de specifieke user-agent en het URL-pad. Zoek niet alleen naar één regel met Disallow; uitzonderingen en specifiekere groepen kunnen het resultaat veranderen.
  5. Test in Search Console. Inspecteer je eigen URL, bekijk de opgeslagen crawlgegevens en voer een live URL-test uit. Kijk naar crawling, ophalen en indexering. Een geslaagde live test garandeert geen indexering. Uitleg van de URL-inspectietool (opent in een nieuw tabblad).
  6. Vergelijk echte requests in server- en WAF-logs. Noteer tijdstip, pad, status, bron-IP en welke beveiligingsregel ingreep. Laat de hostingpartij helpen wanneer je deze gegevens niet kunt beoordelen.

Google kiest de meest specifieke toepasselijke user-agentgroep. Binnen toepasselijke regels wint het specifiekste passende pad; bij een even specifieke Allow en Disallow geeft Google Allow voorrang. Regels zijn geen universele instellingen voor iedere bot: controleer de documentatie van de betreffende dienst. Google over robots.txt-interpretatie (opent in een nieuw tabblad).

Hoe los je een onbedoelde blokkade veilig op?

Situatie 1: een publieke pagina is per ongeluk uitgesloten

Maak een kopie van je bestaande regels en laat de verantwoordelijke websitebouwer alleen de relevante regel aanpassen. Een vergeten stagingregel kan bijvoorbeeld de hele site blokkeren:

User-agent: *
Disallow: /

Dat voorbeeld is niet geschikt voor een publieke site die gecrawld moet worden. Verwijder het niet blind als je website nog een testomgeving is. Controleer ook of het CMS, een SEO-plugin of deploymentproces de regel bij de volgende publicatie opnieuw toevoegt.

Situatie 2: een uitzondering binnen een geblokkeerd pad

Onderstaand losse voorbeeld laat volgens de padregels van Google één artikel toe binnen een verder geblokkeerde map. Het is een uitlegvoorbeeld, geen vervanging voor je volledige bestand. Een specifieke Googlebot-groep elders in je bestand kan veranderen welke regels gelden.

User-agent: *
Disallow: /kennisbank/
Allow: /kennisbank/openbaar-artikel/

Controleer na publicatie de echte eind-URL en de toepasselijke groep. Let op: ook benodigde scripts, stijlen of afbeeldingen kunnen door andere paden worden uitgesloten.

Situatie 3: de firewall of CDN weigert crawlers

Laat de hostingpartij bepalen welke regel ingrijpt. Maak zo nodig een beperkte uitzondering voor geverifieerde gewenste bots op publieke inhoud. Een user-agentnaam kan worden nagebootst: gebruik de verificatiemethode en actuele IP-informatie van de botaanbieder. Schakel geen login, beveiliging of alle rate limits uit.

Bij 429 is vertragen en het toegestane aanvraagtempo respecteren vaak de eerste stap. Een 5xx vraagt onderzoek naar hosting of applicatie; een robots.txt-aanpassing lost een serverfout niet vanzelf op.

Situatie 4: de pagina bevat onbedoeld noindex

Controleer de paginainstellingen, HTML en headers. Verwijder de instructie alleen wanneer de pagina in zoekresultaten hoort. Noindex in robots.txt wordt door Google niet ondersteund. Publiceer, controleer caches en test de live URL opnieuw. Een privépagina moet privé blijven, ook als daardoor een crawlsignaal blijft staan.

Googlebot, OAI-SearchBot en PerplexityBot

Maak een bewuste keuze per dienst en gebruiksdoel. Toegang voor een zoekcrawler is niet hetzelfde als toestemming voor een trainingscrawler.

Verschillende bots, verschillende doelen
Bot of dienstDoel volgens de aanbiederWat betekent dat voor jou?
Googlebot / Google SearchCrawling voor Google Zoeken.Voor ondersteunende links in AI Overviews of AI Mode moet een pagina geïndexeerd en snippetgeschikt zijn.
OAI-SearchBotZoekresultaten in ChatGPT.Afzonderlijk te beheren van GPTBot; toegang garandeert geen vermelding.
GPTBotInhoud verzamelen die gebruikt kan worden voor modeltraining.Blokkeren is niet hetzelfde als OAI-SearchBot blokkeren.
PerplexityBotWebsites tonen en linken in Perplexity-zoekresultaten.Controleer robotsregels én toegang vanuit de officiële IP-reeksen.

OpenAI beschrijft de afzonderlijke bots (opent in een nieuw tabblad). Volgens OpenAI worden sites die OAI-SearchBot uitsluiten niet in ChatGPT-zoekantwoorden getoond, maar kunnen ze nog als navigatielink verschijnen. ChatGPT-User is voor door gebruikers gestarte bezoeken en werkt niet hetzelfde als een automatische zoekcrawler.

Perplexity maakt eveneens onderscheid tussen PerplexityBot en Perplexity-User (opent in een nieuw tabblad). Door gebruikers gestarte verzoeken volgen niet noodzakelijk dezelfde robotsregels. Een robotsbestand biedt daarom geen alomvattende controle over elk mogelijk AI-gebruik van informatie.

Een gespoofte user-agent vanaf je eigen computer bewijst niet dat de echte bot toegang krijgt: IP-adres, cache, locatie en firewallregels kunnen verschillen. Gebruik echte logs. Zoektoegang biedt nooit zekerheid op citaties. Google noemt ook geen speciale technische GEO-eisen bovenop de SEO-basis (opent in een nieuw tabblad).

Wat kan AIVindtMij hierover aantonen?

AIVindtMij raadpleegt robots.txt en past de gevonden regels toe op zijn eigen crawleridentiteit. Een URL die om die reden wordt overgeslagen, heeft niet alsnog een gemeten paginaresponse. De kaart ‘Robots-blokkades’ is een controlepunt: uitsluiting is niet automatisch een bewezen onbedoelde fout.

Detectie, bewijs en vervolgstap
DetectieWat bewijst het?Actie
Overgeslagen wegens robots.txtDe crawl heeft de URL niet opgehaald wegens de toegepaste robotsregels.Beoordeel het paginadoel en controleer de regels voor de gewenste bot.
Werkelijk ontvangen HTTP 403 of 429Deze aanvraag is geweigerd of beperkt; niet automatisch waarom.Vergelijk tijdstip en URL met hosting- en WAF-logs.
Noindex in ontvangen HTML of headerEen indexeringsinstructie is aangetroffen.Controleer of uitsluiting gewenst is en of Google de instructie kan ophalen.

Veelgestelde vragen over robots-blokkades

Waarom werkt mijn pagina wel in de browser?

Browsers volgen robots.txt niet zoals zoekcrawlers dat doen. Daarnaast kan je eigen login, IP-adres of beveiligingscookie toegang geven die een crawler niet heeft. Vergelijk dus niet alleen wat je zelf op het scherm ziet.

Moet ik alle robots-blokkades verwijderen?

Nee. Beperkingen kunnen bewust zijn, bijvoorbeeld voor eindeloze filtercombinaties. Onderzoek welke publieke inhoud ontbreekt. Bescherm gevoelige gegevens altijd met echte toegangscontrole.

Hoe snel is mijn pagina weer zichtbaar?

Dat is niet te garanderen. Nieuwe regels moeten worden opgehaald, caches kunnen meespelen en crawling is nog geen indexering. Test de wijziging en volg Search Console en serverlogs in plaats van directe rankingwinst te verwachten.

Checklist na je aanpassing

  • Ik weet of de betrokken URL publiek gevonden moet kunnen worden.
  • De juiste host, het protocol en het relevante robots.txt-bestand zijn gecontroleerd.
  • De regels voor de bedoelde crawler en het exacte URL-pad zijn beoordeeld.
  • Een robots-skip is niet verward met een ontvangen HTTP 403 of 429.
  • Noindex en X-Robots-Tag zijn apart gecontroleerd.
  • Beveiliging is niet uitgezet en bottoegang is niet alleen op een user-agentnaam gebaseerd.
  • De gepubliceerde regels, cache en echte server- of WAF-logs zijn opnieuw gecontroleerd.
  • Er is opnieuw getest; toegang is niet gepresenteerd als garantie op indexering of AI-citaties.

Bewaar wie wat heeft aangepast en wanneer. Test na CMS-updates, migraties en nieuwe beveiligingsregels opnieuw de belangrijkste publieke URL's.

Terug naar boven

Bronnen

Deze uitleg gebruikt officiële documentatie. Er zijn geen gemeten zoekvolumes, lage-concurrentiescores of gegarandeerde SEO-resultaten aan verbonden.

Verdiep je verder in onderwerpen die aansluiten op dit artikel.