Crawl budget

Crawl budget är den mängd sidor en sökmotor hämtar på en webbplats under en given period. Google sätter budgeten utifrån två faktorer: hur mycket er server kan leverera utan att bli långsam (crawl capacity) och hur stort intresse Google har för innehållet, mätt i popularitet och uppdateringsfrekvens (crawl demand). Budgeten finns inte som ett tal någonstans, men aktiviteten går att följa i crawl-statistiken i Google Search Console.

När crawl budget är ett verkligt problem

För de flesta webbplatser med några hundra eller några tusen sidor crawlar Google mer än tillräckligt, och budgeten är ingen flaskhals. Utmaningen uppstår på stora webbplatser: e-handel med facetterad navigation, där filter och parametrar kan generera miljontals URL-varianter, eller mediesajter med många års arkiv. Går budgeten till oändliga filterkombinationer, omdirigeringskedjor och duplicerade varianter når crawlern de viktiga sidorna mer sällan, och nytt innehåll får vänta längre på indexering.

Serverns hastighet ingår direkt i räknestycket, eftersom crawl capacity mäts i vad servern klarar: kortare svarstider ger fler hämtade sidor på samma kapacitet. Robots.txt, sitemapen och den interna länkstrukturen är de reglage som styr var Googlebot lägger sina besök.

AI-crawlers som GPTBot och PerplexityBot räknas inte in i Googles crawl budget, men de belastar samma server och gynnas av samma rena URL-struktur. Poängen är densamma som alltid i SEO: sidor som ingen crawler når fram till får aldrig chansen att ranka. Hur crawl-optimering ser ut i praktiken beskriver guiden om crawling och indexering.