Robots.txt – Hvad, hvorfor og hvordan?

Kim Andersen | 27. februar 2008 | 21:21 -->

Denne fil er en fil, som jeg ikke selv har brugt ret meget før i tiden. Simpelthen fordi jeg ikke vidste at der fandtes en. Det er heller ikke et krav at den findes for at en hjememside kan fungere, men den er alligevel temmelig brugbar.

Måden hvorpå jeg fandt ud af at der fandtes en fil kaldet robots.txt, var da jeg havde købt mit domæne, kunne jeg se at der var mange tilfælde af, at nogle filer ikke kunne findes på mit domæne. Det undrede jeg mig selvfølgelig over, og så, at 76 ud af 81 tilfælde var det robots.txt der ikke kunne findes. Derfor satte jeg mig for at finde ud af hvad det var, og det er der kommet denne lille artikel ud af.

Hvad er en robots.txt-fil?
En robots.txt-fil er en lille fil, som styrer hvor søgemaskinernes robotter bevæger sig hen på dit website. Hvis man ikke har en robots.txt-fil så kan robotterne bevæge sig rundt overalt på websitet, og det er ikke sikkert man er interesseret i det. Det kan eksempelvis være nogle feriebilleder, gamle arkiv-artikler, sider som er beskyttet med password eller andre ting, som man egentlig gerne vil beholde for sig selv, og ikke skal offentliggøres til hele verden.

Det korte af det lange er, at når eksempelvis Googles robot (googlebot) kommer ind på dit website, søger den som det første efter robots.txt, for at se hvad den må og ikke må. Derfor skal robots.txt ligge i roden af dit website. I samme mappe som index-filen som regel. Min ligger eks. her www.designcreative.dk/robots.txt.

Hvad skal robots.txt indeholde?
Der er to parametre man skal beskrive når man laver sin robots.txt-fil. Hvilke robotter gælder reglerne for, og hvilke regler er det som gælder. Det skrives som:

- Hvilke robotter gælder reglerne for:
Skrives som “User-agent:” og her beskriver man om det skal gælde for alle robotter vha. * eller man kan skrive navnet på en specifik robot.

- Hvilke regler gælder:
Her skriver man “Disallow:” efterfulgt af hvilke mapper eller filer som en robot ikke må indeksere.

Da det kun er to parametre er det faktisk simpelt at skrive en robots.txt-fil. Her er nogle eksempler på hvordan de kan se ud:

Alle robotter må se alt:

User-agent: *
Disallow:

* beskriver som sagt alle robotter, og hvis der ikke står noget ud for Disallow er der ikke noget som robotterne ikke må indeksere.

Ingen robotter må se noget:

User-agent: *
Disallow: /

Når der står / gælder det for hele den mappe som robots.txt ligger i, svarende til hele websitet, da filen jo ligger i roden.

Ingen robotter må se en bestemt mappe:

User-agent: *
Disallow: /gamle_artikler/

Gælder igen for alle robotter da User agent er * og det gælder for mappen “gamle_artikler”, så denne mappe og hele indholdet i mappen må ikke indekseres.
Man kan også skrive /gamle_artikler/september/ så er det kun mappen “september” robotterne ikke må indeksere, men alle andre filer og mapper i “gamle_artikler”, må gerne indekseres.

En bestemt robot (i dette tilfælde googlebot) må se alt, mens alle andre robotter ikke må se noget:

User-agent: googlebot
Disallow:

User-agent: *
Disallow: /

Første linie giver googlebot adgang til alt, imens anden linie forbyder alle andre robotter at indeksere noget.

Bestemte filer må ikke læses:
Hvis man har nogle filer som man ikke vil have indekseret kan man lægge dem i en samlet mappe, eller referere til dem enkeltvis.

User-agent: *
Disallow: /gamle_artikler/1986.html
Disallow: /gamle_artikler/1987.html
Disallow: /gamle_artikler/1988.html

Nu er der ikke adgang til de tre ovenstående filer, og reglen gælder for alle robotter.

Man siger hele tiden hvad robotterne ikke må se. Kan man fortælle dem hvad de gerne må se?
Ja. nogle robotter kan godt forstå parametren “Allow:”. En af disse robotter er googlebot. Så ligesom man kan fortælle en robot at den ikke må indeksere bestemte dele, kan man altså også sige hvad visse robotter gerne må se:

User-agent: googlebot
Disallow: /
Allow: /nye_artikler/

Her siger vi til googlebot at den må se mappen “nye_artikler”, men så heller ikke mere.
NB! Det skal siges at det ikke er alle robotter der kan forstå Allow-parametren, så tjek den enkelte robot før de bruger den. Se en liste med over 300 robotter og en beskrivelse af hver bl.a. deres “User-agent”-navn.

Husk så til sidst at det ikke kun er robotterne som kan læse dine robots.txt-filer, men også alle almindelige mennesker. Hvis man skriver en URL såsom www.eb.dk, og så tilføjer /robots.txt så kommer man i langt de fleste tilfælde ind på den pågældende sides robots.txt-fil. (Det gælder også de store sites som eks. Microsoft og Google. Du kan jo prøve og se hvordan deres ser ud, da de er lidt længere end dem jeg har omtalt…)
Derfor er det en dum ide at lave en robots.txt som indeholder:

User-agent: *
Disallow: /mine_meget_private_billeder/

For hvor tror du så folk prøver at komme hen? Man kan så lave noget password og sådan noget, men der er folk som er gode til at knække koder, så tænk dig om inden du gør noget dumt.

Flash-banner til TV2 Østjylland

Kim Andersen | 26. februar 2008 | 20:02 -->

Lidt personlig succes for mig selv, er andre nok ikke så interesserede i. Det var faktisk heller ikke meningen med bloggen at jeg skulle snakke om personlige opture eller nedture for den sags skyld. Men jeg har i dette tilfælde lyst til at dele min beskedne glæde med andre end mig selv, så der kommer lidt.

I forbindelse med mit praktikophold hos Portal Danmark, skulle der laves et Flash-banner for at reklamere for det nye aarhus.dk. Det blev min opgave, og banneret blev færdiggjort.
Det blev “godkendt” af kollegaerne, og heri lå min første glæde, da jeg igen fik bekræftet at jeg godt kunne lave noget ordentligt og professionelt, som kunne bruges i erhvervslivet.

I dag tirsdag fik jeg så en anden god nyhed, og det er, at mit banner er blevet lagt ind på TV2 Østjyllands hjemmeside helt i toppen af vinduet, for at få noget trafik til aarhus.dk selvfølgelig. Det er jeg selv meget tilfreds med, da der så er flere som har godkendt mit arbejde, i form af en eller flere medarbejdere hos TV2 Østjylland.
Derudover er der også mange folk som ser mit banner, da tv2oj.dk har mange besøgende, og jo flere som ser mit arbejde jo bedre er det. Og så er det da også en fin reference at have med i bagagen synes jeg selv, hvis man skal ud og lave Flash-bannere igen i fremtiden.

Hvis folk har interesse i det, kan banneret som sagt ses i toppen på TV2 Østjyllands hjemmeside.

Ændring af multimediedesigneruddannelsen og bachelor

Kim Andersen | 24. februar 2008 | 16:08 -->

Multimediedesigneruddannelsen skal laves om, og man skal kunne tage et ekstra år, så man kan komme på bachelorniveau.

PROSA har skrevet en artikel omhandlende uddannelserne datamatiker, multimediedesign og IT-økonom. Heri er en opsumering af hvordan det står til med et lovforslag, som allerede burde have været trådt i kraft fra starten af 2008. Grundet folketingsvalget er lovforslaget dog stadig på en eller anden politikers skrivebord sammen med en masse andre papirer. Eller sådan virker det i hvert fald, set udefra.

Artiklen er interessant for studerende på de føromtalte uddannelser. Jeg vil kun komme ind på multimediedesigneruddannelsen i denne artikel.

Forslaget går på, at uddannelsen skal handle mere om interaktion og visualisering, og mindre om virksomhed og kommunikation. Derudover skal der laves en overbygningsuddannelse, der gør det muligt for multimediedesignere at komme op på bachelorniveau. Sådan som PROSA fremlægger sagen, tyder det på at revideringen omkring emnefokuseringen kan træde i kraft “allerede” fra august 2008. Dog er der stadig usikkerhed omkring bacheloren, men det afhæger af hvor hurtigt det nye lovforslag kan blive vedtaget.

Mit synspunkt

Selvom jeg er færdig som multimediedesigner til sommer i år, føler jeg stadig at jeg kan lære en helt masse mere indenfor områderne i uddannelsen.

Jeg ville ønske at uddannelsen indeholdte mere interaktion og design, ligesom det nye lovforslag også gerne vil have det. Derudover vil jeg også gerne have at uddannelsen varede et år eller to mere, da jeg som sagt føler at jeg kan lære meget mere. Så for mit vedkommen lyder en overbygningsuddannelse super.

Læs PROSA’s fulde artikel.

WebDesign måleværktøj: Screen Calipers

Kim Andersen | 23. februar 2008 | 18:25 -->

Som jeg skrev i går, havde jeg fundet er stykke værktøj kaldet ColorPic til at “fange” farve direkte fra skærmen.

Men faktisk er der flere nyttige værktøjer på http://www.iconico.com. Bl.a. har de lavet et værktøj der ligesom ColorPic gør det lettere for webdesignere, i hvert fald for mig, at arbejde. Værktøjet hedder Screen Calipers, og er et måleværktøj som man kan bruge direkte fra man åbner programmet.

Før i tiden tog jeg screenshot og åbnede Photoshop, for så at sidde med markerings værktøjet, hvis jeg skulle måle noget på skærmen. Men nu er det hele meget lettere :)

Jeg har uploaded en version af Screen Calipers på min server som du kan hente her.

Det er ikke den nyeste version, men ligesom med ColorPic er det en version som kan det man har brug for, og så behøver den ikke installation. Det bliver ikke meget lettere.

Den kan måle vandret og lodret, og så kan man skifte farven, afhængig af hvilken farve man skal måle på, så den er lettere at se.

Der findes også en ny version af Screen Calipers på http://www.iconico.com/caliper/.

Forskellen er, at man for det første skal installere denne version. Dernæst er det en trial version (som man godt nok kan have gratis forevigt, det siger de også selv). Men der er så begrænset muligheder indtil man registrere sig og betaler.

Selvom man har den som trial, kan man stadig måle vandret og lodret. I den nye version kan man også måle på skrå, og det kan man måske godt få brugt for. Dog kan man ikke måle i en ret stor vinkel når man har trial versionen.

Men prøv det selv, det kan spare dig for en masse tid og bøvl.

Forresten har de flere smarte værktøjer inde på http://www.iconico.com, som man kan hente kvit og frit. Bl.a. et program kaldet EasyRead, som man installerer og så kan man på en hvilken som helst hjemmeside gøre tekst, og nogle steder billeder, større og mindre.

Også WebTools Pro lyder til at være ret smart, da man kan installere programmet, og så har man mulighed for en helt masse funktioner som angår webdesign, bl.a. se sit arbejde i forskellige opløsninger og mange andre ting. Dog er dette også en prøve-udgave hvis man ikke betaler, så der er begrænsede muligheder.

WebDesign værktøj: ColorPic

Kim Andersen | 22. februar 2008 | 22:28 -->

WebDesignere har tit brug for at bruge bestemte farver som man måske har brugt på en anden hjemmeside. Det har jeg i hvert fald haft brug for. I de tilfælde har jeg taget et screenshot, lagt billedet ind i Photoshop og derfra fundet farven med Eyedropper Tool.

Det er slut nu!

Jeg har fundet et stykke freeware værktøj, som man henter ned og så kan man få et Eyedroppe Tool direkte på skrivebordet, i en browser eller hvor man nu vil bruge det.

Værktøjet hedder ColorPic og kan hentes fra hjemmesiden http://www.iconico.com.

Jeg har uploaded filen “ColorPic.exe” og den kan hentes her. Den fylder 150 kb. Forskellen på den version som ligger på min server og den nye version på http://www.iconico.com er, at den på min server ikke skal installeres. Den kører bare når du åbner filen. Genialt:)

Det fungere således, at når man åbner ColorPic, kommer der et lille nyt vindue frem på skærmen, og så virker markøren som vi kender Eyedropper Tool fra Photoshop. Man kører markøren hen over en farve på skærmen, og når man har fundet sin farve, trykker man Ctrl+g. Så gemmer ColorPic den valgte farve om man får farvekoden i flere enheder.

Man kan gemme op til 8 forskellige farver i den version som ligger på min server, men endnu flere på den nye version som dog skal installeres.

Det er som sagt 100% gratis, og der er ingen PopUps eller registrering af noget måde, så et dejligt stykke værktøj.

Normalisering af databaser: Tredje Normalform

Kim Andersen | 21. februar 2008 | 14:22 -->

Tredje normalform forkortes 3. NF. i ligehed med første og anden normalform.

Definition: En relation R er på tredje normalform, hvis den er på anden normalform og det gælder, at ingen ikke-nøgle-attribut er transitivt afhængig af nogen kandidatnøgle i R.

- Anden normalform SKAL være opfyldt.
- Ingen attributter må afhænge af andre attributter, der ikke selv er nøgler.
Tredje normalform - Læs mere...

Database normalisering: Anden Normalform

Kim Andersen | 20. februar 2008 | 22:22 -->

Anden normalform forkortes, på samme måde som den første, bare med et 2-tal i stedet for. Nemlig 2. NF.

Definition: En relation R er på anden normalform, hvis den er på første normalform, og hvis enhver ikke-nøgle-attribut er fuldt funktionelt afhængig af enhver kandidatnøgle i R.

- Første normalform SKAL være opfyldt.
- Ingen attributter der ikke selv tilhører nøglen, må afhænge af en del af nøglen (Det opstår tit hvis man har en primær nøgle som er sammensat af to eller flere felter).
Anden Normalform - Læs mere...

Normalisering af en database: Første Normalform

Kim Andersen | 19. februar 2008 | 18:44 -->

Du kan læse indledningen til normalisering på min hovedside om normalisering.

Jeg gennemgår, de første tre normalformer og kommer også lidt ind på Boyce/Codd normalformen. Vi starter med den første normalform.

Første normalform, forkortes ofte som 1. NF.

Definition: En relation er på første normalform, hvis ingen af dens domæner har elementer, der i sig selv er mængder.

- De enkelte felter må kun indeholde én værdi.
- Der må ikke være kolonner som gentager sig.
Normalisering af en database: Første Normalform - Læs mere

Problemer med dansk tegnsæt. Æ, ø og å fra formular til database

Kim Andersen | 18. februar 2008 | 18:35 -->

De berømte tegnsæt…
Vi kender alle sammen problemerne ved forskellige tegnsæt herunder de danske tegn, og brugen af vores æ, ø, og å. Der er mange problemer med disse danske tegn, og et af problemer er når man sender data fra en formular til en database.
Dog har jeg fundet en løsning som kan afhjælpe problemet. Det gjorde det i hvert fald for mig.
Det man gør, er at man sender et tegnsæt med dataene fra sin formular til sin database. Det vil sige at når databasen modtager dataene, så modtager den også et tegnsæt.
I praksis gøres dette ved at indsætte en linie kode efter <form>-taget, som så sender tegnsættet med de indtastede data, og derved burde MySQL kunne læse tegnene.
Den lille smule kode er:

<input type=”hidden” name=”content-type” value=”text/plain; charset=ISO-8859-1; format=flowed”>

Indsæt koden lige efter du har startet form-taget. Det løste i hvert fald mit problem med æ, ø og å fra en formular til en databasetabel.

Samlet kommer det til at se således ud:

<form>
<input type=”hidden” name=”content-type” value=”text/plain; charset=ISO-8859-1; format=flowed”>
<input …. />
<input …. />
</form>

I ovenstående tilfælde er det tegnsættet: ISO-8859-1 der bliver sendt til databasen. Hvis du gerne vil sende UTF-8 som tegnsæt, ændrer du det bare oppe under charset så koden kommer til at se sådan ud:

<input type=”hidden” name=”content-type” value=”text/plain; charset=UTF-8; format=flowed”>

Håber det kan bruges :)