Een robots.txt-bestand lijkt klein en simpel, maar één foutregel kan grote gevolgen hebben voor je vindbaarheid. Je gebruikt het om zoekmachines richting te geven: wat ze wel mogen crawlen en wat niet.
Voor technische SEO is robots.txt geen plek voor giswerk. Zeker op WordPress-websites en webshops zie je vaak dat een verkeerde regel per ongeluk belangrijke pagina’s blokkeert of juist onnodige onderdelen openzet.
Wat doet robots.txt precies?
robots.txt staat in de root van je domein en wordt als eerste gelezen door zoekmachines. Het bestand geeft instructies aan crawlers over welke paden ze wel of niet mogen bezoeken.
Dat is iets anders dan indexeren. Een pagina kan technisch wel door Google worden gevonden via links, maar door robots.txt niet worden gecrawld. Andersom kan een pagina wel gecrawld worden en alsnog niet in de index komen door een noindex-tag.
Wanneer gebruik je robots.txt wel en niet?
Gebruik robots.txt vooral om crawlbudget te sturen en irrelevante of gevoelige paden te beperken. Denk aan admin-omgevingen, interne zoekresultaten of filtervarianten die geen SEO-waarde hebben.
Gebruik het niet als oplossing om content uit de index te houden. Als je wilt dat een pagina niet in Google verschijnt, is noindex meestal de juiste keuze, mits de crawler de pagina nog mag bezoeken om die instructie te lezen.
Hoe ziet een correcte robots.txt eruit?
Een basisversie is vaak overzichtelijk en bevat alleen wat echt nodig is. Voor veel websites geldt dat je een paar regels nodig hebt voor een rustige crawlstructuur, niet een lang bestand vol uitzonderingen.
Een simpel voorbeeld is:
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
Daarmee blokkeer je het WordPress-beheergebied, maar laat je een technische functie toe die soms nodig is voor thema’s, plugins en frontend-interactie. Voor webshops en maatwerkplatformen kan de opzet anders zijn, maar het principe blijft hetzelfde: blokkeer gericht, niet breed.
Welke fouten komen het vaakst voor?
De meest voorkomende fout is te veel blokkeren. Een regel als Disallow: / kan per ongeluk je hele site onzichtbaar maken voor crawlers, en dat zie je vaak pas wanneer rankings of indexatie wegvallen.
Andere fouten zijn minder zichtbaar maar minstens zo vervelend:
- Verkeerde bestandslocatie, waardoor robots.txt niet op de root staat
- Een typo in een pad, zoals /wp-admn/
- Onbedoeld blokkeren van CSS of JavaScript
- Testregels die per ongeluk live blijven staan
- Dubbele directives die elkaar tegenwerken
Vooral dat laatste zie je bij websites die door meerdere partijen zijn aangepast. Dan staan oude staging-regels nog in het live bestand, terwijl niemand precies weet waarom ze er ooit zijn ingezet.
Wat moet je juist open laten?
Zoekmachines moeten genoeg kunnen crawlen om je pagina goed te begrijpen. Als je belangrijke CSS- of JS-bestanden blokkeert, kan Google je layout of functionaliteit minder goed beoordelen, en dat kan indirect je SEO schaden.
Laat daarom in principe openbare content, categorieën, productpagina’s en relevante blogartikelen gewoon toegankelijk. Beperk je liever op technische ruis zoals parameter-URLs, interne zoekresultaten of overmatige filtercombinaties die nauwelijks waarde toevoegen.
Hoe check je of je robots.txt goed staat?
Test je bestand altijd nadat je iets wijzigt. Kijk eerst of de URL echt bereikbaar is op jouwdomein.nl/robots.txt en controleer daarna welke regels actief zijn.
Werk daarna met een paar praktische controles:
- Test belangrijke URLs in Google Search Console
- Controleer of je sitemap-URL niet per ongeluk geblokkeerd is
- Bekijk serverlogs om te zien welke crawlers veel tijd kwijt zijn aan irrelevante paden
- Controleer of staging-instellingen nooit op productie zijn overgenomen
Bij grotere sites levert loganalyse vaak de meeste winst op. Je ziet dan precies waar crawlers hun tijd aan besteden en waar crawlbudget weglekt.
Hoe pak je dit aan bij WordPress en webshops?
Bij WordPress draait robots.txt vaak om standaardmappen, pluginpaden en admin-elementen. De kunst is om generiek gedrag slim te combineren met de specifieke structuur van je thema, plugins en eventuele maatwerkfunctionaliteit.
Bij webshops let je extra op filters, sorteringen, zoekresultaten en paginatie. Daar ontstaan snel veel URL-varianten, en niet elke variant verdient crawlruimte. Een goede technische SEO-aanpak zorgt dat je belangrijke categorie- en productpagina’s voorrang krijgen.
Wat betekent dit voor jouw website?
Een goed ingestelde robots.txt maakt je site niet automatisch beter vindbaar, maar voorkomt wel dat zoekmachines tijd verspillen aan de verkeerde onderdelen. Je houdt de crawl van je site strakker, stabieler en beter voorspelbaar.
Zie robots.txt als een technisch stuurmiddel, niet als een wondermiddel. Combineer het met indexatiecontrole, interne linkstructuur en duidelijke canonicals voor het beste resultaat.
Veelgestelde vragen over robots txt
1. Moet robots.txt altijd op je domein staan?
Ja, zoekmachines verwachten het bestand op de root van je domein. Als het ontbreekt, crawlen bots meestal gewoon verder zonder extra beperkingen. Dat is niet per se fout, maar je mist wel een centraal stuurmiddel.2. Is robots.txt hetzelfde als noindex?
Nee, dit zijn twee verschillende dingen. Robots.txt stuurt crawlgedrag, terwijl noindex bepaalt of een pagina in de index mag komen. Als je een pagina echt uit Google wilt houden, is alleen robots.txt meestal niet genoeg.3. Kan een geblokkeerde pagina toch in Google verschijnen?
Ja, dat kan gebeuren als er externe of interne links naar die URL verwijzen. Google kan de URL dan soms alsnog tonen zonder inhoud, omdat de crawler de pagina niet mag lezen. Dat is precies waarom robots.txt geen complete indexatie-oplossing is.4. Moet je je sitemap in robots.txt zetten?
Dat hoeft niet, maar het is wel handig. Zo vinden crawlers je sitemap sneller en heb je alles op één plek. Het is vooral nuttig bij grotere websites of sites met veel nieuwe content.5. Waarom blokkeer je /wp-admin/ vaak in WordPress?
Omdat die map vooral bedoeld is voor beheer en geen SEO-waarde heeft. Je houdt zo crawlers weg van een technisch gedeelte dat niet relevant is voor bezoekers. De regel voor admin-ajax.php laat je vaak open omdat die functioneel nodig kan zijn.6. Hoe vaak moet je robots.txt controleren?
Minimaal na elke technische wijziging, migratie of release. Bij websites met veel plugins, filters of maatwerk is een periodieke controle slim. Dan voorkom je dat oude testregels of verkeerde paden blijven staan.7. Kun je met robots.txt crawlbudget besparen?
Ja, vooral bij grote sites met veel parameter-URLs, zoekresultaten of dubbele pagina’s. Je helpt zoekmachines dan sneller bij de pagina’s te komen die echt waarde hebben. Dat is vooral relevant als je site veel URL-varianten genereert.Een robuuste robots.txt begint bij een duidelijke technische keuze, niet bij een standaardtemplate. Als je wilt voorkomen dat kleine fouten je crawl en indexatie verstoren, helpt een scherpe technische SEO-check vaak snel verder. Bij Digital Wizards pakken we dat desgewenst samen met je development- en SEO-structuur op.
