{"id":2810,"date":"2026-07-15T12:25:13","date_gmt":"2026-07-15T12:25:13","guid":{"rendered":"https:\/\/grp-digital.com\/nl\/?p=2810"},"modified":"2026-07-15T12:25:13","modified_gmt":"2026-07-15T12:25:13","slug":"wat-is-robots-txt","status":"publish","type":"post","link":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/","title":{"rendered":"Wat is robots.txt en wat doet het?"},"content":{"rendered":"\n<figure class=\"wp-block-image size-large\"><img fetchpriority=\"high\" decoding=\"async\" width=\"2400\" height=\"1260\" src=\"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png\" alt=\"Een robots.txt-bestand dat de crawler stuurt naar Google\" class=\"wp-image-2809\" srcset=\"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png 2400w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-300x158.png 300w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-1024x538.png 1024w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-768x403.png 768w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-1536x806.png 1536w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-2048x1075.png 2048w, https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt-18x9.png 18w\" sizes=\"(max-width: 2400px) 100vw, 2400px\" \/><figcaption class=\"wp-element-caption\">Robots.txt stuurt de crawler: dit wel bezoeken, dat niet.<\/figcaption><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Robots.txt is een klein tekstbestand op je website dat crawlers vertelt welke delen ze wel en niet mogen ophalen. Het staat vast op \u00e9\u00e9n plek, in de root van je domein, en werkt als een bordje bij de ingang: het geeft aanwijzingen, maar het is geen slot op de deur. Zoekmachines lezen het voordat ze je site bezoeken.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Robots.txt in het kort<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt is een simpel tekstbestand waarmee je het crawlgedrag van bots stuurt. Je geeft aan welke bots (user-agents) welke paden mogen ophalen. Meer is het niet. Het regelt verkeer, geen toegang.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Het bestand heet altijd <code>robots.txt<\/code> en staat in de root van je domein.<\/li>\n\n<li>Je stuurt crawlen (ophalen), niet indexeren (opnemen in de zoekresultaten).<\/li>\n\n<li>Het is een openbaar bestand, dus nooit geschikt om iets geheim te houden.<\/li>\n\n<li>Nette bots houden zich aan de regels, kwaadwillende bots negeren ze gewoon.<\/li>\n\n<li>Voor kleine sites is een standaardbestand vaak al genoeg.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Waar staat robots.txt en hoe leest een crawler het bestand?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Een crawler is een programma dat pagina&#8217;s ophaalt om ze te kunnen verwerken. Voordat een nette crawler je site bezoekt, kijkt hij eerst of er een robots.txt is en wat daarin staat. Pas daarna begint hij met ophalen. Zie het als een bezoeker die eerst het bordje bij de ingang leest voordat hij naar binnen loopt.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">De vaste plek van robots.txt<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Het bestand moet in de root van je domein staan en exact <code>robots.txt<\/code> heten. Voor je hoofddomein is dat dus <code>https:\/\/jouwsite.nl\/robots.txt<\/code>. Een crawler zoekt het bestand alleen daar. Zet je het in een submap, dan wordt het niet gevonden en gelden er simpelweg geen regels.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Regels gelden niet automatisch voor alles<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">De reikwijdte van robots.txt is beperkt tot precies dat host en dat protocol. Een bestand op <code>https:\/\/jouwsite.nl\/<\/code> geldt niet voor <code>https:\/\/shop.jouwsite.nl\/<\/code> en ook niet voor de http-variant. Elk subdomein en elk protocol heeft dus zijn eigen robots.txt nodig. Vergeet je die op je shop-subdomein, dan staat dat deel technisch gezien zonder regels open.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><code>https:\/\/jouwsite.nl\/robots.txt<\/code> geldt voor het hoofddomein op https.<\/li>\n\n<li><code>https:\/\/blog.jouwsite.nl\/robots.txt<\/code> is een apart bestand voor het subdomein.<\/li>\n\n<li>http en https worden als verschillende bronnen behandeld.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Wat kun je met robots.txt sturen?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Met robots.txt bepaal je welke bots welke delen van je site mogen ophalen. Je werkt met een paar simpele regels die je onder elkaar zet. Elke regel doet \u00e9\u00e9n ding, en samen vormen ze de instructie voor de crawler.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">User-agent, Disallow en Allow uitgelegd<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">De drie belangrijkste regels zijn <code>User-agent<\/code>, <code>Disallow<\/code> en <code>Allow<\/code>. Daarmee bepaal je voor welke bot een regel geldt en welke paden hij wel of niet mag ophalen.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><code>User-agent<\/code>: voor welke bot de regels gelden. Een sterretje (<code>*<\/code>) betekent alle bots.<\/li>\n\n<li><code>Disallow<\/code>: welk pad de bot niet mag ophalen. <code>Disallow: \/prive\/<\/code> sluit die hele map uit.<\/li>\n\n<li><code>Allow<\/code>: een uitzondering binnen een geblokkeerd pad, zodat je toch \u00e9\u00e9n onderdeel vrijgeeft.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Een leeg <code>Disallow:<\/code> betekent dat er niets geblokkeerd is en dat de bot alles mag ophalen. Zo geef je duidelijke signalen af in plaats van halve. Je wilt dat de zoekmachine precies weet waar hij aan toe is.<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\">Je wilt serieus genomen worden door de zoekmachine; geef je gemengde signalen, dan haakt hij af.<\/p>\n<cite>Giacomo Perticara, oprichter en SEO-strateeg bij GRP Digital<\/cite><\/blockquote>\n\n\n\n<h3 class=\"wp-block-heading\">Robots.txt en sitemap<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">In robots.txt kun je ook verwijzen naar je <a href=\"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-een-sitemap\/\">sitemap<\/a>. Daarmee wijs je crawlers naar de lijst met pagina&#8217;s die je belangrijk vindt. Dat is een van de weinige positieve signalen die je in dit bestand kwijt kunt: je blokkeert niet iets, je wijst juist de weg. Zet de volledige URL van je sitemap erin.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/prive\/\n\nSitemap: https:\/\/jouwsite.nl\/sitemap.xml<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">Wat robots.txt niet doet<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt wordt vaak overschat. Het regelt of een bot een pagina ophaalt, en verder niets. Het zegt niets over indexering en het beschermt niets. Dat verschil is precies waar de meeste misverstanden ontstaan.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Crawlen is niet hetzelfde als indexeren<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Crawlen is het ophalen van een pagina. Indexeren is het opnemen ervan in de zoekresultaten. Dat zijn twee losse stappen. Als je een pagina blokkeert in robots.txt, mag Google hem niet ophalen, maar hij kan alsnog in de zoekresultaten belanden als er links naar wijzen. Google toont dan een kale vermelding zonder omschrijving, omdat hij de inhoud niet mocht lezen. Wil je een pagina echt uit de resultaten houden, dan heb je een ander middel nodig.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Noindex, wachtwoordbeveiliging en andere alternatieven<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Wil je dat een pagina niet in de zoekresultaten komt, gebruik dan een <code>noindex<\/code>-instructie in plaats van robots.txt. Let op: die instructie werkt alleen als de pagina w\u00e9l gecrawld mag worden, want anders leest Google hem nooit. Moet iets echt afgeschermd zijn, zet er dan een wachtwoord op of regel het via de server. Dat zijn de enige manieren om content daadwerkelijk dicht te zetten.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Pagina uit zoekresultaten houden:<\/strong> noindex, niet robots.txt.<\/li>\n\n<li><strong>Content echt afschermen:<\/strong> wachtwoordbeveiliging of toegang via de server.<\/li>\n\n<li><strong>Crawlbudget sturen op grote sites:<\/strong> robots.txt is hier wel op zijn plek.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Veelgemaakte fouten met robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Een fout in robots.txt is snel gemaakt en soms lang onopgemerkt. Omdat \u00e9\u00e9n regel al veel effect heeft, kan een klein foutje grote gevolgen hebben voor je vindbaarheid. Dit zijn de drie die we het vaakst tegenkomen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Per ongeluk de hele site blokkeren<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">De klassieker is <code>Disallow: \/<\/code>. Die ene schuine streep sluit je hele site af voor crawlers. Dit gebeurt vaak per ongeluk als een testomgeving live gaat en de blokkade uit die omgeving meeverhuist. Controleer daarom altijd na een livegang wat er in je robots.txt staat.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">CSS, JavaScript of belangrijke resources blokkeren<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Google wil je pagina&#8217;s renderen zoals een bezoeker ze ziet. Blokkeer je de CSS- of JavaScript-bestanden, dan ziet Google een kapotte versie van je pagina en kan hij die minder goed beoordelen. Laat dit soort resources vrij, ook al lijken het bijzaken.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Robots.txt gebruiken voor geheime content<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt is een openbaar bestand dat iedereen kan opvragen via <code>\/robots.txt<\/code>. Zet je daar een pad in als <code>Disallow: \/geheim-project\/<\/code>, dan wijs je nieuwsgierige bezoekers juist de weg naar precies dat wat je wilde verbergen. Gebruik het nooit om iets af te schermen. Dat is als een bordje &#8220;niet naar binnen kijken&#8221; op een raam zonder gordijn.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Robots.txt voorbeelden voor veelvoorkomende situaties<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">De beste manier om robots.txt te begrijpen is door voorbeelden te bekijken. Hieronder een uitgebreider bestand en een lijst met paden die je in de praktijk soms blokkeert.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Eenvoudig robots.txt voorbeeld<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Dit bestand geldt voor alle bots, blokkeert een paar interne mappen, houdt de rest open en verwijst naar de sitemap. Voor veel sites is zoiets prima als basis.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\nDisallow: \/winkelwagen\/\nDisallow: \/bedankt\/\n\nSitemap: https:\/\/jouwsite.nl\/sitemap.xml<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">Voorbeelden van paden die je soms blokkeert<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Er is geen vaste lijst die voor elke site klopt. Wat je blokkeert hangt af van je platform en je situatie. Deze paden komen vaak voorbij:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Interne beheer- of inlogpagina&#8217;s die niets te zoeken hebben in Google.<\/li>\n\n<li>Winkelwagen-, afreken- en bedankpagina&#8217;s van een webshop.<\/li>\n\n<li>Interne zoekresultaatpagina&#8217;s die eindeloos veel dunne URL&#8217;s opleveren.<\/li>\n\n<li>Filter- of sorteer-URL&#8217;s met veel parameters die dezelfde inhoud herhalen.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Blokkeer nooit zomaar iets omdat het in een lijstje staat. Kijk eerst of het pad echt overbodig is voor de zoekmachine voordat je het uitsluit.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Robots.txt in SEO: wanneer wel, wanneer niet?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt is een nuttig onderdeel van technische <a href=\"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-seo\/\">SEO<\/a>, maar het is geen knop waarmee je hoger komt. Het helpt je vooral om te voorkomen dat crawlers tijd verspillen aan pagina&#8217;s die er niet toe doen. Hoeveel je ermee wint, hangt af van de omvang van je site.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Voor kleine sites<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Heb je een kleine site met een paar tientallen pagina&#8217;s, dan hoef je robots.txt nauwelijks aan te raken. Google heeft geen moeite om alles te crawlen. Een simpel standaardbestand dat de boel openzet en naar je sitemap verwijst is dan meestal genoeg. Ga hier niet onnodig zitten sleutelen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Voor grotere of complexere sites<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Bij grote webshops of sites met duizenden URL&#8217;s wordt robots.txt interessanter. Zoekmachines besteden een beperkte hoeveelheid aandacht aan je site, het zogenoemde crawlbudget. Door onnodige pagina&#8217;s zoals filtercombinaties en interne zoekresultaten uit te sluiten, stuur je die aandacht naar de pagina&#8217;s die je w\u00e9l in Google wilt hebben. Hier levert een doordacht robots.txt echt iets op.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">AI-bots en robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Naast zoekmachines zijn er bots die content ophalen om AI-modellen te trainen of om AI-antwoorden te voeden. Ook die bots kun je in robots.txt aanspreken via hun eigen user-agent, en zo aangeven of ze je content mogen ophalen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Wat je hiermee wel en niet oplost<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Je kunt een bekende AI-bot netjes buiten de deur houden door zijn user-agent op <code>Disallow<\/code> te zetten. Bots die zich aan de regels houden, respecteren dat. Maar robots.txt blijft een verzoek, geen slot. Een bot die de afspraken negeert, haalt je content alsnog op. Wil je echt voorkomen dat iets wordt opgehaald, dan is een blokkade op serverniveau een sterker middel. Zie robots.txt hier als een beleefd verzoek aan de voordeur, niet als een beveiliging.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: GPTBot\nDisallow: \/\n\nUser-agent: *\nDisallow: \/wp-admin\/\n\nSitemap: https:\/\/jouwsite.nl\/sitemap.xml<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">Veelgestelde vragen over robots.txt<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">Waar dient robots.txt voor?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt vertelt crawlers welke delen van je site ze wel en niet mogen ophalen. Zo stuur je hun gedrag en voorkom je dat ze tijd verspillen aan onbelangrijke pagina&#8217;s.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Wat betekent &#8220;geblokkeerd door robots.txt&#8221;?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die melding betekent dat een pagina niet gecrawld mocht worden vanwege een regel in je robots.txt. Vaak is dat bewust, maar controleer of je die pagina echt wilde uitsluiten.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Werkt robots.txt echt?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Bij nette bots zoals Google werkt het prima. Kwaadwillende bots kunnen de regels negeren, dus reken er niet op voor beveiliging.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Heeft elke site een robots.txt nodig?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Strikt genomen niet: zonder robots.txt mag een crawler simpelweg alles ophalen. Toch is een klein standaardbestand met een verwijzing naar je sitemap altijd netjes.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Houdt robots.txt een pagina uit Google?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Nee. Robots.txt regelt crawlen, niet indexeren. Een geblokkeerde pagina kan alsnog in de resultaten verschijnen; gebruik daarvoor een noindex-instructie.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Kan iedereen mijn robots.txt zien?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Ja. Het bestand is openbaar en op te vragen via jouwsite.nl\/robots.txt. Zet er dus nooit paden in die je liever verborgen houdt.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Conclusie: zie robots.txt als verkeersregel, niet als slot<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Robots.txt is een eenvoudig maar krachtig bestand dat het verkeer van crawlers regelt. Het bepaalt wat bots mogen ophalen, niet wat er ge\u00efndexeerd wordt en zeker niet wat afgeschermd is. Behandel het als een bordje bij de ingang: het wijst de weg voor wie zich aan de regels houdt, maar het houdt niemand tegen die dat niet doet. Wil je een pagina uit Google weren, gebruik dan noindex. Wil je iets echt beschermen, zet er een wachtwoord op. Houd het bestand simpel, controleer het na elke livegang en geef de zoekmachine heldere signalen. Dan doet robots.txt precies waar het voor bedoeld is.<\/p>\n\n","protected":false},"excerpt":{"rendered":"<p>Robots.txt vertelt zoekmachines welke pagina&#8217;s ze wel en niet mogen bezoeken. Lees wat robots.txt doet, het verschil met indexeren en de meestgemaakte fouten.<\/p>\n","protected":false},"author":2,"featured_media":2809,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[36],"tags":[],"class_list":["post-2810","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-basics"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.1 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Robots.txt: wat is het en wat doet het?<\/title>\n<meta name=\"description\" content=\"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"nl_NL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt: wat is het en wat doet het?\" \/>\n<meta property=\"og:description\" content=\"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"GRP Digital\" \/>\n<meta property=\"article:published_time\" content=\"2026-07-15T12:25:13+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2400\" \/>\n\t<meta property=\"og:image:height\" content=\"1260\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Giacomo Perticara\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Geschreven door\" \/>\n\t<meta name=\"twitter:data1\" content=\"Giacomo Perticara\" \/>\n\t<meta name=\"twitter:label2\" content=\"Geschatte leestijd\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/\"},\"author\":{\"name\":\"Giacomo Perticara\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#\\\/schema\\\/person\\\/0963b7d6d43b315c20b2df3c9d8b0a56\"},\"headline\":\"Wat is robots.txt en wat doet het?\",\"datePublished\":\"2026-07-15T12:25:13+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/\"},\"wordCount\":1802,\"publisher\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/wat-is-robots-txt.png\",\"articleSection\":[\"SEO Basics\"],\"inLanguage\":\"nl-NL\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/\",\"name\":\"Robots.txt: wat is het en wat doet het?\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/wat-is-robots-txt.png\",\"datePublished\":\"2026-07-15T12:25:13+00:00\",\"description\":\"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"nl-NL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"nl-NL\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/wat-is-robots-txt.png\",\"contentUrl\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2026\\\/07\\\/wat-is-robots-txt.png\",\"width\":2400,\"height\":1260,\"caption\":\"Een robots.txt-bestand dat de crawler stuurt naar Google\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/seo-basics\\\/wat-is-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"SEO Basics\",\"item\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/kennisbank\\\/category\\\/seo-basics\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Wat is robots.txt en wat doet het?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#website\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/\",\"name\":\"GRP Digital\",\"description\":\"GRP Digital\",\"publisher\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/grp-digital.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"nl-NL\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#organization\",\"name\":\"GRP Digital\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"nl-NL\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2025\\\/04\\\/cropped-1.png\",\"contentUrl\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2025\\\/04\\\/cropped-1.png\",\"width\":512,\"height\":512,\"caption\":\"GRP Digital\"},\"image\":{\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/company\\\/grp-digital\"],\"contactPoint\":{\"@type\":\"ContactPoint\",\"contactType\":\"customer support\",\"email\":\"support@grp-digital.com\",\"availableLanguage\":[\"nl\",\"en\"]},\"address\":{\"@type\":\"PostalAddress\",\"streetAddress\":\"Torenallee 20\",\"postalCode\":\"5617 BC\",\"addressLocality\":\"Eindhoven\",\"addressCountry\":\"NL\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/#\\\/schema\\\/person\\\/0963b7d6d43b315c20b2df3c9d8b0a56\",\"name\":\"Giacomo Perticara\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"nl-NL\",\"@id\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2025\\\/10\\\/inspiratie-slides-GRP-Digital-3-300x300.png\",\"url\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2025\\\/10\\\/inspiratie-slides-GRP-Digital-3-300x300.png\",\"contentUrl\":\"https:\\\/\\\/grp-digital.com\\\/wp-content\\\/uploads\\\/2025\\\/10\\\/inspiratie-slides-GRP-Digital-3-300x300.png\",\"caption\":\"Giacomo Perticara\"},\"description\":\"Giacomo is een SEO- en marketingconsultant met meer dan 12 jaar expertise in online marketing, waarvan 8 jaar gespecialiseerd in SEO. Hij werkt voor uiteenlopende bedrijven zoals Qmusic, Unilever en de Efteling. Zijn focus ligt op langetermijngroei via slimme, datagedreven optimalisaties. Naast zijn werk is hij gepassioneerd fotograaf en liefhebber van de Italiaanse keuken. Giacomo staat bekend om zijn kritische blik, pragmatische aanpak en diepgaande kennis van zoekmachinegedrag en AI.\",\"sameAs\":[\"https:\\\/\\\/nl.linkedin.com\\\/in\\\/giacomoperticara\\\/nl\"],\"url\":\"https:\\\/\\\/grp-digital.com\\\/nl\\\/about-us\\\/giacomo-perticara\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt: wat is het en wat doet het?","description":"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/","og_locale":"nl_NL","og_type":"article","og_title":"Robots.txt: wat is het en wat doet het?","og_description":"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.","og_url":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/","og_site_name":"GRP Digital","article_published_time":"2026-07-15T12:25:13+00:00","og_image":[{"width":2400,"height":1260,"url":"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png","type":"image\/png"}],"author":"Giacomo Perticara","twitter_card":"summary_large_image","twitter_misc":{"Geschreven door":"Giacomo Perticara","Geschatte leestijd":"9 minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#article","isPartOf":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/"},"author":{"name":"Giacomo Perticara","@id":"https:\/\/grp-digital.com\/#\/schema\/person\/0963b7d6d43b315c20b2df3c9d8b0a56"},"headline":"Wat is robots.txt en wat doet het?","datePublished":"2026-07-15T12:25:13+00:00","mainEntityOfPage":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/"},"wordCount":1802,"publisher":{"@id":"https:\/\/grp-digital.com\/#organization"},"image":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png","articleSection":["SEO Basics"],"inLanguage":"nl-NL"},{"@type":"WebPage","@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/","url":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/","name":"Robots.txt: wat is het en wat doet het?","isPartOf":{"@id":"https:\/\/grp-digital.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png","datePublished":"2026-07-15T12:25:13+00:00","description":"Leer wat robots.txt doet, wat het niet doet en hoe je crawlers slim stuurt zonder indexatie of beveiliging te verwarren.","breadcrumb":{"@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#breadcrumb"},"inLanguage":"nl-NL","potentialAction":[{"@type":"ReadAction","target":["https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"nl-NL","@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#primaryimage","url":"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png","contentUrl":"https:\/\/grp-digital.com\/wp-content\/uploads\/2026\/07\/wat-is-robots-txt.png","width":2400,"height":1260,"caption":"Een robots.txt-bestand dat de crawler stuurt naar Google"},{"@type":"BreadcrumbList","@id":"https:\/\/grp-digital.com\/nl\/kennisbank\/seo-basics\/wat-is-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/grp-digital.com\/nl\/"},{"@type":"ListItem","position":2,"name":"SEO Basics","item":"https:\/\/grp-digital.com\/nl\/kennisbank\/category\/seo-basics\/"},{"@type":"ListItem","position":3,"name":"Wat is robots.txt en wat doet het?"}]},{"@type":"WebSite","@id":"https:\/\/grp-digital.com\/#website","url":"https:\/\/grp-digital.com\/","name":"GRP Digital","description":"GRP Digital","publisher":{"@id":"https:\/\/grp-digital.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/grp-digital.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"nl-NL"},{"@type":"Organization","@id":"https:\/\/grp-digital.com\/#organization","name":"GRP Digital","url":"https:\/\/grp-digital.com\/","logo":{"@type":"ImageObject","inLanguage":"nl-NL","@id":"https:\/\/grp-digital.com\/#\/schema\/logo\/image\/","url":"https:\/\/grp-digital.com\/wp-content\/uploads\/2025\/04\/cropped-1.png","contentUrl":"https:\/\/grp-digital.com\/wp-content\/uploads\/2025\/04\/cropped-1.png","width":512,"height":512,"caption":"GRP Digital"},"image":{"@id":"https:\/\/grp-digital.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.linkedin.com\/company\/grp-digital"],"contactPoint":{"@type":"ContactPoint","contactType":"customer support","email":"support@grp-digital.com","availableLanguage":["nl","en"]},"address":{"@type":"PostalAddress","streetAddress":"Torenallee 20","postalCode":"5617 BC","addressLocality":"Eindhoven","addressCountry":"NL"}},{"@type":"Person","@id":"https:\/\/grp-digital.com\/#\/schema\/person\/0963b7d6d43b315c20b2df3c9d8b0a56","name":"Giacomo Perticara","image":{"@type":"ImageObject","inLanguage":"nl-NL","@id":"https:\/\/grp-digital.com\/wp-content\/uploads\/2025\/10\/inspiratie-slides-GRP-Digital-3-300x300.png","url":"https:\/\/grp-digital.com\/wp-content\/uploads\/2025\/10\/inspiratie-slides-GRP-Digital-3-300x300.png","contentUrl":"https:\/\/grp-digital.com\/wp-content\/uploads\/2025\/10\/inspiratie-slides-GRP-Digital-3-300x300.png","caption":"Giacomo Perticara"},"description":"Giacomo is een SEO- en marketingconsultant met meer dan 12 jaar expertise in online marketing, waarvan 8 jaar gespecialiseerd in SEO. Hij werkt voor uiteenlopende bedrijven zoals Qmusic, Unilever en de Efteling. Zijn focus ligt op langetermijngroei via slimme, datagedreven optimalisaties. Naast zijn werk is hij gepassioneerd fotograaf en liefhebber van de Italiaanse keuken. Giacomo staat bekend om zijn kritische blik, pragmatische aanpak en diepgaande kennis van zoekmachinegedrag en AI.","sameAs":["https:\/\/nl.linkedin.com\/in\/giacomoperticara\/nl"],"url":"https:\/\/grp-digital.com\/nl\/about-us\/giacomo-perticara\/"}]}},"_links":{"self":[{"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/posts\/2810","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/comments?post=2810"}],"version-history":[{"count":1,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/posts\/2810\/revisions"}],"predecessor-version":[{"id":2822,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/posts\/2810\/revisions\/2822"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/media\/2809"}],"wp:attachment":[{"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/media?parent=2810"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/categories?post=2810"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/grp-digital.com\/nl\/wp-json\/wp\/v2\/tags?post=2810"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}