Googlebot

Googlebot är namnet på Googles crawler: programmet som löpande besöker nätets sidor, följer länkar och hämtar hem innehåll till Googles index. Allt som kan ranka i Google har Googlebot besökt först, och fri tillgång för Googlebot är därför en grundförutsättning i teknisk SEO.

Så arbetar Googlebot

I praktiken crawlar Googlebot med en mobil user agent, eftersom Google indexerar mobilversionen av nätet först. Crawlern hämtar er HTML, följer interna länkar och sitemaps och återkommer med en frekvens som beror på webbplatsens storlek, auktoritet och uppdateringstakt, den så kallade crawl budgeten. Googlebot kan även rendera JavaScript, men rendering kostar resurser, så innehåll som först uppstår i webbläsaren kan ta längre tid att nå indexet än innehåll som ligger direkt i HTML:en. Tillgången styr ni själva med robots.txt.

Googlebot och AI-crawlerna

Googlebot delar i dag nätet med en växande skara AI-crawlers som OpenAI:s GPTBot och PerplexityBot, och med Google-Extended styr ni om Google får använda ert innehåll för att träna sina AI-modeller. Skillnaden ligger i konsekvensen: blockerar ni en AI-crawler försvinner ni ur den tjänstens svar, medan era rankings i Google inte påverkas. Blockerar ni Googlebot faller ni ur både sökresultaten och AI Overviews, som bygger på samma index. Hela kedjan från crawl till index ligger i guiden om crawling och indexering.