Robots.txt fil

Robots.txt fil er kun brukt for å fortelle søkemotorene hvilke sider av nettstedet ditt som skal indekseres, og hvilken som skal utelates. Av erfaring er det mange der ute som tror at det å ha en robots.txt fil liggende på serveren gjør det enklere å indekseres i søkemotorene. Dette er feil!

Over til litt koding

Dersom du Ikke ønsker at nettsiden din skal indekseres i søkemotorene holder det med at du setter inn denne koden i index filen din: <meta name="robots" content="noindex,nofollow"> Merk dette er kun hvis du IKKE ønsker at nettsidene dine skal indekseres i søkemotorene.

Men dersom det kun er deler av nettsiden som ikke skal indekseres i søkemotorene, er du nødt til å sette opp en robots.txt fil, for å fortelle søkemotorene hvilke deler av nettstedet ditt som ikke skal indekseres. (Ønsker du å lese mer om dette kan du trykke på denne lenken: Robots Exclusion.)

Hvor skal Robots.txt fil plasseres?

Robots.txt fil plasseres i root mappen av webhotellet ditt. Dersom du ønsker at alt innhold på nettsiden din skal indekseres skriver du denne koden:

User-agent: *

Disallow:

Dersom du kun vil at enkelte mapper av nettsiden din ikke skal vises i søkeresultatene bruker du denne koden:

User-agent: (*)

Disallow: /mappe/

Og denne bruker du hvis du bare vil beskytte noen filer:

User-agent: (*)

Disallow: /forside/fil2.html

Med dette håper jeg at du har fått forståelsen av hvordan en Robots.txt fil fungerer. Ønsker du å lese mer om dette kan du gjøre det ved å følge denne lenken: Robots.txt-fil