Robots.txt

Robots.txt är en textfil i roten av en domän, alltså på exempel.se/robots.txt, som talar om för crawlers vilka delar av webbplatsen de får hämta. Filen är det första en seriös crawler slår upp innan den sätter igång, och den gäller allt från Googlebot till AI-tjänsternas robotar. Därmed är den en liten men bärande del av teknisk SEO.

Reglerna skrivs i block per user-agent:

User-agent: *
Disallow: /varukorg/

User-agent: GPTBot
Disallow: /

Sitemap: https://exempel.se/sitemap.xml

Första blocket gäller alla crawlers och stänger varukorgen. Andra blocket stänger ute en enskild robot helt, här OpenAI:s GPTBot. Sitemap-raden pekar ut XML-sitemapen så att crawlers snabbare hittar webbplatsens sidor.

Den mest aktuella användningen är just styrningen av AI-crawlers: GPTBot, ClaudeBot, PerplexityBot och Google-Extended, som avgör om innehållet får användas i Googles AI-modeller. Valet är strategiskt snarare än tekniskt, eftersom en blockering skyddar innehållet men samtidigt tar bort webbplatsen från ytor där fler och fler letar efter leverantörer.

Två saker klarar filen inte. Den är inget säkerhetsskydd, för den ligger öppen för alla, och bara robotar som väljer att följa den gör det. Och den tar inte bort sidor ur Googles index: en blockerad sida kan fortfarande visas i sökresultaten om andra länkar till den, och då är det de-indexering med noindex som gäller. Samspelet beskrivs i guiden om crawling och indexering.