Robots.txt och noindex-taggar
Har du någonsin undrat hur du kan hindra Google från att indexera en sida som du inte vill ska dyka upp i sökresultaten? Eller har du kanske landat på en sida som du inte förstår syftet med? Som webbplatsägare kan du själv styra vilka delar av din sajt som ska vara synliga för sökmotorer och vilka som ska hållas i bakgrunden. Två viktiga verktyg för detta är robots.txt och noindex-taggen.
Man kan se robots.txt som en dörrvakt vid entrén till din webbplats. Den berättar för sökmotorernas robotar vilka rum de får gå in i och vilka dörrar som ska förbli stängda. Noindex-taggen fungerar mer som en liten skylt på en specifik dörr som säger: ”Du får gärna titta in, men ta inte med det här rummet i katalogen.”
För att använda dem på rätt sätt behöver du förstå skillnaden mellan att hindra genomsökning och att förhindra indexering. Låt oss gå igenom båda stegen.
Vad är robots.txt och hur använder man det?
Robots.txt är en enkel textfil som alltid placeras i webbplatsens rotkatalog. Om din sajt ligger på www.exempel.se hittar du filen på www.exempel.se/robots.txt. Den fungerar som en instruktion till sökmotorernas robotar om vilka delar av sajten de ska genomsöka och vilka de ska hoppa över.
I filen använder du direktiv, där de vanligaste är:
- User-agent: anger vilken robot instruktionen gäller för. ”User-agent: *” betyder att alla sökmotorer ska följa regeln.
- Disallow: anger vilken mapp eller sida som inte ska genomsökas.
Ett enkelt exempel:
User-agent: *
Disallow: /intern/
Disallow: /test.html
Här säger du till alla robotar att de inte får genomsöka mappen ”intern” eller filen ”test.html”.
Viktigt att förstå är att robots.txt bara styr genomsökning, inte indexering. Om någon annan webbplats länkar till en sida som du blockerat kan Google ändå indexera den, men utan att se innehållet. Då kan sidan dyka upp i sökresultaten som en länk utan beskrivning, vilket sällan ser bra ut.
Fråga dig själv: Finns det mappar eller filer på din sajt som Google egentligen inte behöver genomsöka? Till exempel adminpaneler, interna testområden eller filer som inte ger värde för användaren.
Vad är noindex och hur skiljer det sig från robots.txt?
Noindex-taggen är ett mer exakt verktyg. Den placeras i HTML-kodens <head>-sektion på en specifik sida och säger till sökmotorerna: ”Den här sidan ska inte finnas i sökresultaten.”
Exempel på hur en noindex-tagg kan se ut:
<meta name=”robots” content=”noindex”>
Det viktiga här är att sökmotorn först måste kunna besöka sidan för att se taggen. Om du blockerar sidan i robots.txt kommer Google aldrig åt koden och får därför inte veta att den ska uteslutas. Därför är noindex det säkraste sättet att hålla sidor borta från sökresultaten.
Typiska exempel på när du vill använda noindex är:
- En ”tack för ditt köp”-sida som bara är relevant för den som redan handlat
- Inloggningssidor eller interna dashboards
- Duplikat eller filterparametrar i en webbshop som du inte vill ska konkurrera med huvudprodukterna
Fråga dig själv: Finns det sidor på din sajt som är nödvändiga för användare men inte borde synas på Google?
När ska man använda vad?
Nu när du förstår grunderna är nästa steg att veta när du ska använda robots.txt och när noindex är rätt väg.
- Använd robots.txt när du vill spara på Googles genomsökningsbudget och hindra att onödiga filer eller mappar läses igenom. Det kan gälla loggar, interna sökresultatsidor eller stora filer som inte ska indexeras.
- Använd noindex när du vill att en sida ska vara åtkomlig för användare och robotar men inte synas i sökresultaten. Det är det mest pålitliga sättet att hålla innehåll borta från index.
En vanlig miss är att man råkar blockera viktiga sidor i robots.txt, till exempel hela /blogg/-mappen. Då kan Google inte ens se innehållet och du tappar värdefull synlighet. En annan fälla är att lägga noindex på fel sidor, som viktiga landningssidor, vilket gör att de försvinner från sökresultaten.
Fundera på: vilka sidor på din webbplats är viktiga för Google att se, och vilka kan du med fördel utesluta?
Praktiska tips för att undvika misstag
För att lyckas med robots.txt och noindex är det bra att arbeta metodiskt. Några tips:
- Skapa alltid en säkerhetskopia av din robots.txt innan du ändrar den
- Testa filen med Googles verktyg för robots.txt i Search Console
- Använd noindex istället för robots.txt när du vill utesluta en sida från sökresultaten
- Dubbelkolla att viktiga sidor som startsidan, produktsidor och bloggposter inte blockeras av misstag
- Kombinera gärna med en sitemap så att Google får en komplett översikt över de sidor du faktiskt vill visa
Sammanfattningsvis
Robots.txt och noindex är två kraftfulla men olika verktyg. Robots.txt fungerar som dörrvakten som styr var Google får gå, medan noindex är skylten på dörren som säger att en sida inte ska synas i sökresultaten.
Genom att förstå skillnaden och använda dem på rätt sätt kan du undvika vanliga misstag, spara resurser och samtidigt se till att bara rätt sidor syns i Googles index.
Nästa steg är tydligt, gå igenom din egen webbplats, skapa eller uppdatera din robots.txt och använd noindex där det är motiverat. På så sätt bygger du en tydlig struktur för både användare och sökmotorer och ökar chansen att dina viktigaste sidor når rätt publik.
Källor
Google. (u.å.). Skapa en robots.txt-fil. Google Search Central. Hämtad 10 september, 2025, från https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt
Google. (u.å.). Block Search indexing with noindex. Google Search Central. Hämtad 10 september, 2025, från https://developers.google.com/search/docs/crawling-indexing/block-indexing
SEMrush. (2025, juli 30). Robots.txt Explained: Syntax, Best Practices, & SEO. SEMrush. Hämtad 10 september, 2025, från https://www.semrush.com/blog/beginners-guide-robots-txt/