Crawler

En crawler är ett automatiserat program som systematiskt besöker sidor på nätet, hämtar innehållet och följer länkarna vidare till nya sidor. Sökmotorerna använder crawlers för att upptäcka och uppdatera det material deras index bygger på. Googlebot är den mest kända, men Bing, Apple och en växande skara AI-tjänster har sina egna.

Så arbetar en crawler

Arbetet börjar i en lista av kända adresser och i webbplatsens sitemap. Crawlern hämtar sidorna, läser innehållet och noterar varje länk på vägen. Nya länkar hamnar i kön, och så tar programmet sig genom nätet sida för sida. Moderna crawlers renderar dessutom JavaScript och ser därmed sidan ungefär som en besökare gör.

Åtkomsten styrs från webbplatsen. I robots.txt går det att välkomna eller avvisa enskilda crawlers, antingen för hela sajten eller för avgränsade delar av den.

AI-crawlers har ändrat kalkylen

Vid sidan av sökmotorernas bottar crawlar GPTBot, ClaudeBot, PerplexityBot och deras motsvarigheter numera i stor skala, dels för att träna modeller, dels för att hämta färska källor till ett svar. Valet mellan att öppna och att stänga har därmed blivit strategiskt. En stängd dörr skyddar innehållet, men tar samtidigt bort företaget ur de AI-svar där en växande del av kunderna letar.

För synligheten i klassisk search och i AI-search gäller samma grundregel: en crawler som inte kommer åt sidorna kan inte visa dem heller. Åtkomst är fundamentet under all SEO, och mekaniken bakom finns i guiden om crawling och indexering.