Kim Andersen

Webudvikling, Umbraco, Google, SEO, sociale medier mm.
  • Hold dig opdateret med mit RSS-Feed
  • Hjem
  • Modtag nye indlæg på mail

Robots.txt og underdomæne/subdomæne – Hvad skal man gøre?

Kim Andersen | 22. september 2008 | 10:54

Alle som læser herinde kender nok til robots.txt. Det er den lille fil som ligger i rodet af dit website, som fortæller alle webcrawlerne hvad de må, og hvad de ikke må på dit website.
Jeg har tidligere skrevet artiklen: Robots.txt – Hvad, hvorfor og hvordan?, så jeg vil ikke gennemgå hvad en robots.txt skal indeholde.

Hvad gør man når man har et subdomæne/underdomæne?
Man kan let komme ud for at der er brug for et underdomæne til forskellige ting. Det kan eks. være til test af nye ting på sit site, eller bare en ”underafdeling” til hovedsitet.
Men gælder den robots.txt man har liggende på sit hoveddomæne så også her? Nej.

Man skal sørge for at lave en ny og separat robots.txt-fil til sit underdomæne, hvis man vil lave nogle begrænsninger for robotterne.
Du kan tænke på det som et selvstændigt domæne. Hvis vi tager eksemplet fra før, hvor man har et testmiljø på ”test.domæne.dk”. Så vil man højest sandsynlig ikke have at nogle data fra dette underdomæne bliver indekseret. Derfor kan du oprette en robots.txt som siger at robotterne IKKE må indeksere det som ligger på ”test.domæne.dk”. Det gøres ved at skrive:

User-agent: *
Disallow: /

Nu bliver intet af dit indhold på ”test.domæne.dk” optaget i Google eller andre søgemaskiner. Og du skal ikke være bange for at du har blokeret for dit hoveddomæne, ”domæne.dk”, da det jo også har sin egen robots.txt (og heri står forhåbentlig ikke det samme som ovenstående, da du så har fucked din crawling op!).

Og lige til sidst. Du skal selvfølgelig huske at ligge din nye robots.txt det rigtige sted på serveren. Den skal ligge i roden af underdomænet, og ikke i roden af hele domænet, for så går det galt 🙂
Det var alt for mig i dag. I må have en god mandag…

Ingen relaterede indlæg.

Kunne du lide indlæget?

Så tilmeld dig mit RSS-Feed eller følg mig på Twitter.

Du kan også få en gratis e-mail når jeg skriver et nyt indlæg.

Indtast din e-mailadresse:

Kategorier
Webudvikling
RSS Kommentarer
RSS Kommentarer

« Google indekserer nu lyd – GAudi (Google Audio Indexing) Optimer og ryd op i CSS-kode med CleanCSS »

Efterlad en kommentar

Du kan bruge disse tags : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

CoolShop.dk
Bodylab
MuscleHouse
Bodyman
Bodystore

Seneste Kommentarer

  • Simon fra Besvaret.dk:
  • Jeg kan stadig huske da jeg spillede dette spil på Google. Er der nogen...
  • - - - - - - - - - -
  • Joakim:
  • Jeg arbejder selv med SEO, og måske dette forum kunne få øjnene op for min hjemmeside,...
  • - - - - - - - - - -
  • Bengt:
  • Tackar för tipsen!
  • - - - - - - - - - -
  • Rene:
  • Tak for din venlighed og tak for link. Rigtig dejlig dag
  • - - - - - - - - - -
  • Jakob Kvorning:
  • Super ide som jeg håber flere vil benytte. I kunne også tilmelde jer på...
  • - - - - - - - - - -

Kategorier

  • Affiliate Marketing (1)
  • Alt andet (16)
  • Database og Normalisering (3)
  • Digital Markedsføring (2)
  • E-handel (2)
  • Firefox (1)
  • Flash (1)
  • Gadgets (4)
  • Google (22)
  • Internet (9)
  • Multimediedesigner (2)
  • NFL (2)
  • Problemer ved programmering (1)
  • SEO (12)
  • Sitecore (1)
  • Tegnsæt (2)
  • Twitter (4)
  • umbraco (8)
  • Web 2.0 (9)
  • Webdesign tips og tricks (7)
  • Webudvikling (12)
  • Windows (3)
  • WordPress (12)

Meta

  • Log ind
  • Indlæg-RSS
  • Kommentar-RSS
  • WordPress.org