Crawling

Crawling är processen där en sökmotors crawler automatiskt hämtar sidor på webben och läser deras innehåll. Det är första ledet i kedjan från crawling via indexering till rankings: en sida som Google aldrig har crawlat dyker inte upp i sökresultaten, hur bra den än är.

Så går crawling till

Google upptäcker sidor på tre vägar: genom länkar från sidor den redan känner, genom webbplatsens sitemap och genom URL:er den besökt tidigare och återvänder till. Crawlern hämtar sidan, renderar den och registrerar innehåll och länkar, som därefter kan gå vidare till indexet. Frekvensen anpassar sig till webbplatsen. En nyhetssektion som ändras dagligen får täta besök, medan det för statiska sidor kan gå veckor mellan besöken.

Processen påverkas från webbplatsens sida. En logisk intern länkstruktur leder crawlern till de sidor som betyder något för affären, ett uppdaterat sitemap gör nya sidor synliga direkt, robots.txt håller maskiner borta från sektioner som inte hör hemma i search, och en snabb, stabil server gör varje besök mer produktivt.

I dag crawlar även AI-tjänster som ChatGPT och Perplexity löpande sidor, dels för att träna sina modeller, dels för att slå upp färska källor. En webbplats som är lätt att crawla är därmed synlig på två ställen samtidigt: i de klassiska sökresultaten och i AI-svaren ovanpå.

Fundamentet är detsamma i båda världarna, och det är där allt SEO-arbete börjar. Guiden om crawling och indexering går igenom mekaniken steg för steg.