En av de grundläggande delarna i SEO är indexering. Om inte Google kan, eller vill, spara dokumenten på din sajt i sitt index spelar inga andra åtgärder någon roll, de har ändå inget att visa upp.
I den här bloggposten tänkte jag resonera kring anledningar och lösningar både när Google inte indexerar något alls på en sajt, och när de inte indexerar delar av en sajt. Eftersom det här är en generell text är det inte säkert att tipsen här kommer lösa just ditt specifika problem, men det kommer förhoppningsvis ge dig hjälp med var det kan vara vettigt att börja leta efter problemen.
Ta reda på om en sida är indexerad
Det är ganska lätt att ta reda på om Google har indexerat din sajt. Gå till Google och i sökfältet skriver du site:domannamnet.se. Då får du fram alla de sidor som Google har i sitt index, och ovanför resultaten står det hur många sidor som totalt finns indexerade:
I vårt fall finns det alltså 279 sidor indexerade, vilket är en ganska rimlig siffra med tanke på att det på sajten finns i runda slängar 170 blogginlägg, cirka 50 sidor av olika slag och runt 30 taggar och kategorier, vissa med flera sidor. På en sajt i vår storlek bör de flesta sidor vara indexerade, annars är det troligen något som inte riktigt stämmer. När sajterna växer (tänk stora ehandelssajter eller tidningssajter) är det vanligt att inte precis alla sidor blir indexerade. Det är ingen fara, så länge de flesta är det. En sådan sökning ger också en indikation av hur viktiga Google tycker att sidorna på din sajt är, efter ordningen som de visas i resultaten. I normalfallet bör indexsidan vara den som ligger först i listan, annars kan det tyda på att det finns något problem med din sajt.
Har du många sidor på din sajt och vill veta om en specifik sida är indexerad går det bra att söka på samma sätt som ovan, men skriva in hela URL:en istället:
Inga sidor på sajten är indexerade
Om Google inte har lyckats indexera någon sida alls på din sajt har du förmodligen antingen ett ganska lättfixat problem, eller en lång uppförsbacke framför dig.
Det vanligaste orsaken till det här är att man på något sätt har blockat Google från att besöka sajten. Börja med att öppna källkoden på en sida (högerklicka var som helst och välj: “Visa källkod”, “Visa sidkälla” eller liknande) och leta efter en “robots-tagg” som innehåller “noindex”:
Hittar du en sådan tagg är det förmodligen problemet, och du behöver helt enkelt ta bort den. Exakt hur du gör det beror på vad du använder för CMS.
Om du å andra sidan inte hittar den där taggen blir nästa åtgärd att kontrollera din robots.txt-fil. Den hittar du genom att skriva in ditt domännamn i adressfältet på din browser och lägga till /robots.txt. Här vill du leta efter en rad med texten: “Disallow: /”. Om det finns en sådan betyder det att du inte tillåter Google och andra botar att besöka din sajt. Ta bort “/” så löser du problemet!
Om du varken hittar en noindex-tagg eller det där / i robots.txt börjar det tyvärr bli lite krångligt. Då beror det förmodligen på att Google antingen inte ens hittar till din sajt, eller att de verkligen inte tycker om den. Kontrollera att du åtminstone har någon extern länk till sajten, eller fixa ett par stycken så att Google kan hitta dit. Gå in i Google Search Console (det hette tidigare Google Webmaster Tools) och kontrollera att du inte har något meddelande om en manuell åtgärd mot sajten, att Google inte markerar att de har problem att läsa dina dokument och att det finns en sitemap uppladdad. Om inget av det hjälper är nog tipset att höra av dig till en professionell sökmotoroptimerare som kan ta en titt på din sajt.
Delar av sajten är inte indexerad
Nu kommer vi in på den svåra biten när det kommer till att hitta och lösa problemen. När en viss del av en sajt inte finns indexerad eller när till synes slumpmässiga sidor inte blir upplockade av Google, kan det bero på nästan vad som helst. Därför tänkte jag lite snabbt gå igenom några vanliga anledningar till att Google väljer att inte spara ett antal sidor.
- Dålig struktur
Det kanske vanligaste problemet är att strukturen på sajten, de interna länkarna och menyer, är dåligt uppbyggd. Antingen för att det finns så många länkar i menyer att Google inte orkar spindla alla, eller att det saknas viktiga delar i huvudmenyer och roboten behöver förlita sig på bakvägar. Se till att ha en tydlig hierarkisk struktur på ditt innehåll. Det här blir viktigare ju större sajten är. - Internt duplicerat innehåll
Att ha många sidor med samma eller väldigt likt innehåll är något som Google inte gillar. Det här kan komma sig av att ha väldigt många liknande produkter till exempel, eller att det finns ett tekniskt problem som skapar kopior av sidor genom exempelvis att lägga till parametrar eller sessions-ID:n. Lösningen är att skapa unika sidor, eller om det är ett tekniskt problem genom canonical-taggar. - Externt duplicerat innehåll
Om mycket av ditt innehåll också finns på andra sajter, för att ni delar leverantör eller för att ditt innehåll har kopierats, är det vanligt att Google väljer att bara indexera sidor från en sajt. Här är lösningen att skapa innehåll som bara finns på din sajt. - Tunt innehåll
När Google stöter på en sajt med många sidor men lite bra information väljer de ibland att strunta i den sajten. Skapa i så fall mer intressant innehåll. - För få länkar
Om din sajt har för få länkar kan Google ibland tycka att din sajt inte verkar intressant nog för att spindla igenom alla sidor. Det löser du genom att skaffa fler relevanta länkar. - För många/spammiga länkar
Har du skaffat mycket dåliga länkar kan Google ibland tycka att de blir en negativ signal, och därför inte vilja visa upp de sidorna. Lös det genom att ta bort dåliga länkar, eller i värsta fall använda Disavow Tool. - För mycket reklam
Om Google stöter på en sajt som har väldigt mycket reklam, speciellt om den ligger “above the fold” kan de i vissa fall ta bort sådana sidor från sitt index. Se då till att ditt egna, unika innehåll är det som tar mest plats på sidan, inte reklamen.
Det finns fler anledningar till indexeringsproblem, men de här är de jag stöter på oftast. För att sammanfatta texten och ge ett generellt råd; bygg en sajt med intressant innehåll och en bra struktur. Det löser de flesta svårigheter man har med Google.