Door Giacomo Perticara ·
Google heeft op 30 oktober 2026 aangekondigd dat websites straks een gedeelde instelling in robots.txt kunnen gebruiken om hun voorkeur voor AI-training door te geven aan meerdere AI-aanbieders tegelijk. John Mueller, Search Advocate bij Google, schreef dat op de Google Search Central-blog.
Volgens Google werkt die instelling met een gedeeld “policy token” uit de AIPREF-werkgroep van de IETF. In de documentatie staat dat Google dit signaal wil ondersteunen via “user-agent: __usage_ai-training”, “in early 2027”. In de blog schrijft Google dat het de instelling in 2027 wil ondersteunen, samen met andere AI-aanbieders. Zet een site training uit met dit token en noemt die Google-Extended niet apart, dan leest Google dat als uitsluiten van Google-Extended.
user-agent: __usage_ai-trainingDe regel hierboven komt uit de documentatie van Google.
Google-Extended blijft daarnaast werken. Volgens Google bestaat die instelling sinds 2023, heeft die geen invloed op opname in Google Search en is die geen rankingsignaal. Sites die Google-Extended toestaan, kunnen via grounding in Gemini Apps in antwoorden verschijnen en klikken krijgen. Google noemt het voorstel in lijn met de EU-praktijkcode onder de EU AI Act en noemt geen land of regio. Microsoft kondigde diezelfde dag aan de gedeelde voorkeur vanaf 1 februari 2027 te volgen.
Wat betekent dit voor jou
Ik zou nu persoonlijk niks aanpassen in robots.txt. We zitten nog steeds in het beginstadium. Vanuit projecten met klanten is mijn ervaring dat hoe vaker je informatie als bron wordt gebruikt, hoe serieuzer je door een LLM wordt genomen. En hoe serieuzer je wordt genomen, hoe groter de kans dat je wordt aangeraden bij transactionele intenties. Daarom zou ik LLM’s in principe niet disallowen en eerder een allow zetten voor veelgebruikte LLM’s, zeker vanuit SEO-perspectief. De kern is dat je informatie gebruikt blijft worden als bron. Zo simpel is het.
Bron: Google Search Central, 30 oktober 2026.
