Vad är robots.txt?
Av Hamid, Kronoberg Digital · Uppdaterad · 2 min
Kort förklaring
robots.txt är en liten textfil på din hemsida som talar om för sökmotorernas robotar vilka delar av sajten de får besöka.
Vad filen gör
Filen ligger på dinsida.se/robots.txt. Där kan man till exempel be robotar att inte besöka en inloggningssida eller en mapp med interna filer, och tala om var sitemapen finns.
Det vanligaste misstaget
När en hemsida byggs stänger man ibland ute alla sökmotorer så att den halvfärdiga sidan inte syns. Glöms den inställningen kvar vid lanseringen blir hela sajten osynlig på Google. Det är en av de första sakerna att kontrollera om en ny sida inte dyker upp.
robots.txt döljer inte sidor
En sida som blockeras i robots.txt kan fortfarande dyka upp på Google om andra sidor länkar till den. Ska en sida verkligen inte synas används i stället en noindex-tagg på själva sidan.