GRP Digital

Wat is robots.txt en wat doet het?

Een robots.txt-bestand dat de crawler stuurt naar Google

Robots.txt vertelt zoekmachines welke pagina’s ze wel en niet mogen bezoeken. Lees wat robots.txt doet, het verschil met indexeren en de meestgemaakte fouten.