Kim Andersen

Webudvikling, Umbraco, Google, SEO, sociale medier mm.
  • Hold dig opdateret med mit RSS-Feed
  • Hjem
  • Om Kim Andersen
  • Modtag nye indlæg på mail
  • Kontakt

Robots.txt og underdomæne/subdomæne – Hvad skal man gøre?

Kim Andersen | 22. september 2008 | 10:54

Alle som læser herinde kender nok til robots.txt. Det er den lille fil som ligger i rodet af dit website, som fortæller alle webcrawlerne hvad de må, og hvad de ikke må på dit website.
Jeg har tidligere skrevet artiklen: Robots.txt – Hvad, hvorfor og hvordan?, så jeg vil ikke gennemgå hvad en robots.txt skal indeholde.

Hvad gør man når man har et subdomæne/underdomæne?
Man kan let komme ud for at der er brug for et underdomæne til forskellige ting. Det kan eks. være til test af nye ting på sit site, eller bare en ”underafdeling” til hovedsitet.
Men gælder den robots.txt man har liggende på sit hoveddomæne så også her? Nej.

Man skal sørge for at lave en ny og separat robots.txt-fil til sit underdomæne, hvis man vil lave nogle begrænsninger for robotterne.
Du kan tænke på det som et selvstændigt domæne. Hvis vi tager eksemplet fra før, hvor man har et testmiljø på ”test.domæne.dk”. Så vil man højest sandsynlig ikke have at nogle data fra dette underdomæne bliver indekseret. Derfor kan du oprette en robots.txt som siger at robotterne IKKE må indeksere det som ligger på ”test.domæne.dk”. Det gøres ved at skrive:

User-agent: *
Disallow: /

Nu bliver intet af dit indhold på ”test.domæne.dk” optaget i Google eller andre søgemaskiner. Og du skal ikke være bange for at du har blokeret for dit hoveddomæne, ”domæne.dk”, da det jo også har sin egen robots.txt (og heri står forhåbentlig ikke det samme som ovenstående, da du så har fucked din crawling op!).

Og lige til sidst. Du skal selvfølgelig huske at ligge din nye robots.txt det rigtige sted på serveren. Den skal ligge i roden af underdomænet, og ikke i roden af hele domænet, for så går det galt 🙂
Det var alt for mig i dag. I må have en god mandag…

Ingen relaterede indlæg.

Kunne du lide indlæget?

Så tilmeld dig mit RSS-Feed eller følg mig på Twitter.

Du kan også få en gratis e-mail når jeg skriver et nyt indlæg.

Indtast din e-mailadresse:

Kategorier
Webudvikling
RSS Kommentarer
RSS Kommentarer

« Google indekserer nu lyd – GAudi (Google Audio Indexing) Optimer og ryd op i CSS-kode med CleanCSS »

Efterlad en kommentar

Du kan bruge disse tags : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Følg mig på twitter

Her kan jeg findes

  • Kraftvaerk – Kim Andersen
  • LinkedIn
  • Twitter
CoolShop.dk
DuGlemmerDetAldrig.dk
Bodylab
MuscleHouse
Bodyman
Bodystore

Seneste Kommentarer

  • Johannes Møller:
  • Hej Kim Mange tak for din venlighed. Jeg sætter stor pris på et link. Med...
  • - - - - - - - - - -
  • Allan Helboe:
  • Jeg er netop blevet gjort opmærksom på at min kommentar stadig er vist, selvom...
  • - - - - - - - - - -
  • kontorfællesskab:
  • Tak for et så godt skrevet indlæg! Det dækkede alt. Jeg vidste allerede om...
  • - - - - - - - - - -
  • Simone Poulsen:
  • Rigtig godt indlæg. Som de andre siger, så er det dog rigtig svært at undgå...
  • - - - - - - - - - -
  • Victor:
  • Tak for rådet:-) Det skal prøves!
  • - - - - - - - - - -

Kategorier

  • Affiliate Marketing (2)
  • Alt andet (16)
  • Database og Normalisering (3)
  • Digital Markedsføring (2)
  • E-handel (2)
  • Firefox (1)
  • Flash (1)
  • Gadgets (4)
  • Google (22)
  • Internet (9)
  • Multimediedesigner (2)
  • NFL (2)
  • Problemer ved programmering (1)
  • SEO (12)
  • Sitecore (1)
  • Tegnsæt (2)
  • Twitter (4)
  • umbraco (8)
  • Web 2.0 (9)
  • Webdesign tips og tricks (7)
  • Webudvikling (12)
  • Windows (3)
  • WordPress (12)

Meta

  • Log ind
  • Indlæg-RSS
  • Kommentar-RSS
  • WordPress.org