Crawling
Crawling är processen där en sökmotors crawler automatiskt hämtar sidor på webben och läser deras innehåll. Det är första ledet i kedjan från crawling via indexering till rankings: en sida som Google aldrig har crawlat dyker inte upp i sökresultaten, hur bra den än är.
Så går crawling till
Google upptäcker sidor på tre vägar: genom länkar från sidor den redan känner, genom webbplatsens sitemap och genom URL:er den besökt tidigare och återvänder till. Crawlern hämtar sidan, renderar den och registrerar innehåll och länkar, som därefter kan gå vidare till indexet. Frekvensen anpassar sig till webbplatsen. En nyhetssektion som ändras dagligen får täta besök, medan det för statiska sidor kan gå veckor mellan besöken.
Processen påverkas från webbplatsens sida. En logisk intern länkstruktur leder crawlern till de sidor som betyder något för affären, ett uppdaterat sitemap gör nya sidor synliga direkt, robots.txt håller maskiner borta från sektioner som inte hör hemma i search, och en snabb, stabil server gör varje besök mer produktivt.
I dag crawlar även AI-tjänster löpande sidor. OpenAI använder GPTBot för att samla in träningsdata och andra bottar för att slå upp färska källor i ChatGPT. Perplexitys crawler används enligt Perplexity för att hitta och länka till källor i sökresultaten, inte för att träna modeller. En webbplats som är lätt att crawla är därmed synlig på två ställen samtidigt: i de klassiska sökresultaten och i AI-svaren ovanpå.
Fundamentet är detsamma i båda världarna, och det är där allt SEO-arbete börjar. Guiden om crawling och indexering går igenom mekaniken steg för steg.