Crawling, indexering & bot-kontroll

En sökmotor gör tre saker, och den gör dem i tur och ordning: den crawlar, den indexerar och den rankar. Alla tre stegen måste lyckas, och de går inte att hoppa över. Kan roboten inte hämta sidan blir den aldrig indexerad, och en sida som inte ligger i indexet kan omöjligt ranka på någonting. Det är därför crawling och indexering är det första vi tittar på i varje teknisk genomgång, före hastighet och före strukturerad data. Allt annat inom SEO bygger på att de här två stegen fungerar.

Vad crawling är

Sökmotorerna förlitar sig på sökrobotar, automatiserade script som letar efter tillgängligt material på nätet. Roboten börjar med en lista över webbplatser att besöka, och algoritmerna avgör vilka sidor på listan som ska genomsökas, hur många av dem och hur ofta. Därefter rör sig roboten genom era sidor genom att följa taggar som href och src, hoppar mellan interna och externa sidor och bygger över tid en växande karta över hur nätet hänger samman.

Går sidan inte att hitta blir den inte indexerad, och då finns den inte i search. Tre saker gör robotens arbete lättare:

• En logisk struktur. En naturlig hierarki som löper från domän till kategori till underkategori gör att roboten kan ta sig genom webbplatsen effektivt. Hur ni bygger den beskriver vi i taxonomi och arkitektur.
• Interna länkar på varje sida. Roboten behöver länkar för att förflytta sig. En sida utan inkommande interna länkar, en så kallad orphan page, kan inte crawlas och alltså inte indexeras. Metoden ligger i intern länkbyggnad.
• En XML-sitemap. Kartan över era sidor, som berättar för roboten vad som finns och vad som är värt att hämta.

Vad indexering betyder

När sidan är hittad ska den bedömas. Vid indexeringen läses allt innehåll och organiseras: text, rubriker, bilder, HTML och de begrepp som sidan handlar om. Det är genom den processen som sökmotorn bildar sig en uppfattning om vad sidan faktiskt handlar om, och därmed vilka frågor den kan bli relevant för. Informationen läggs sedan i ett gigantiskt index som enklast liknas vid ett bibliotek med en egen sektion för varje ord som förekommer på en indexerad sida.

Indexering är ingen engångsinsats utan en pågående process. Det gör det värt att hålla de tre pelarna i ordning löpande: content, länkar och teknisk hälsa.

• Content som svarar på en riktig fråga. Har ni inte lagt arbete på det skrivna och det visuella belönar sökmotorerna sällan sidan med synlighet. Utgå från en sökordsanalys så att ni vet vilka frågor sidan ska äga.
• Interna länkar och teknisk hälsa. Många 404-sidor, saknade metabeskrivningar och orphan pages får sidor att framstå som att de inte förtjänar synlighet. Det arbetet ligger i site health och redirects.
• Relevanta och starka externa länkar. Att andra sidor är villiga att hänvisa till er är en kvalitetsstämpel som väger tungt när sökmotorn värderar vad som förtjänar plats i indexet.

Kontrollera om era sidor är indexerade

Nya sidor, och sidor som inte lever upp till de tre pelarna, hamnar ofta inte i indexet alls. Två snabba sätt att ta reda på hur det ligger till:

Google Search Console. Välj er property och klistra in den specifika URL:en i URL-inspektionen. Ni får svar direkt på om sidan är indexerad, när den senast crawlades och vilken version Google har läst.

Kommandot site:. Skriv site:dindoman.se keyword i sökfältet, och ni ser vilka av era sidor som sökmotorn har indexerat på just det begreppet. Kommandot fungerar i både Google och Bing, och det är ett bra sätt att upptäcka att två av era egna sidor konkurrerar om samma fråga.

Rapporten Sidor i Search Console är nästa steg. Där finns anledningarna till att sidor inte indexerats, och de flesta av dem är åtgärdbara: upptäckt men inte crawlad, crawlad men inte indexerad, blockerad av robots.txt, alternativ sida med korrekt canonical.

Sitemap: kartan ni själva ritar

En XML-sitemap är en fil som listar de URL:er ni vill att sökmotorerna ska hämta. Den skapar ingen ranking i sig, men den snabbar upp upptäckten av nya sidor markant, och på större webbplatser är den skillnaden mellan att en ny produktsida hittas i morgon eller om tre veckor.

Fyra saker avgör om sitemapen gör nytta:

• Bara indexerbara URL:er. En sitemap ska innehålla sidor som svarar 200, är kanoniska och inte har noindex. Ligger det redirects, felsidor eller noindex-sidor i filen sänker ni tilliten till hela kartan.
• Automatisk generering. Sitemapen ska uppdateras när innehållet gör det. En fil som någon exporterade för hand för ett halvår sedan pekar på sidor som inte längre finns.
• Rätt storlek. Max 50.000 URL:er och 50 MB per fil. Är webbplatsen större delar ni upp den i flera sitemaps och samlar dem i en sitemap-index-fil.
• Två platser där den ska nämnas. Lägg raden Sitemap: https://dindoman.se/sitemap.xml i robots.txt, och skicka in filen i Search Console. Då ser ni också statistiken över hur många av de inskickade URL:erna som faktiskt indexerats.

Bot-kontroll: att styra i stället för att hoppas

Robots.txt bestämmer vad robotarna får hämta, metataggen noindex bestämmer vad som får ligga i indexet, och de två löser olika problem. En sida som är blockerad i robots.txt kan inte läsas, och därför kan roboten inte heller se att ni har satt noindex på den. Vill ni ha bort en sida ur indexet ska den alltså vara crawlbar och ha noindex, inte blockerad.

Nästa lager är crawlbudget. På stora webbplatser går en betydande del av robotens tid till sidor som inte förtjänar den: filtrerade kategorisidor med oändliga parameterkombinationer, interna sökresultat, sorteringsvarianter av samma listning. Städar ni bort dem hämtar roboten det viktiga innehållet oftare.

Och sedan finns lagret som är nytt sedan AI-search blev en egen yta. GPTBot, PerplexityBot, ClaudeBot, Google-Extended och Bingbot hämtar era sidor på egna villkor, och de påverkas av era regler precis som Googlebot. Här ser vi ett återkommande fel ute hos företag: robots.txt släpper igenom, men CDN:et eller brandväggen blockerar AI-crawlers på nivån under. Då är ni osynliga i AI-svaren hur bra innehållet än är, och ingen rapport talar om det för er. Kontrollera serverloggarna, inte bara konfigurationsfilen.

Vill ni ha crawl, indexering och botstyrning genomgångna i detalj är det själva kärnan i teknisk SEO, och det levererar vi som tekniska audits. Ska ni bara ha en första temperaturmätning tittar vi på crawl och indexering allra först i en gratis SEO-analys, av samma skäl som gäller här: fallerar de två stegen spelar resten mindre roll.