Robots.txt
Brug robots.txt til at styre robotterne til dit websted.
Styr adgangen til dit websteds filer med en robots.txt
En robots.txt fil kan oprettes i f.eks. noteblok ( teksteditor) som en ASCII-kodet tekstfil. Filen navngives robots.txt, og denne fil uploades i roden på dit websted med de opsætninger, du ønsker, robotterne skal overholde. Robotterne / spiderne vil lede efter din robots.txt fil i roden på webstedet, hvis den er gemt andre steder, vil de ikke finde den.
Bemærk, at spamrobotter ikke bruger denne robots txt fil.
Robots.txt er en offentlig fil, som alle kan læse og herved se, hvilken dele af dit websted, du ikke ønsker indekseret. Brug ikke robot.txt til at skjule for dine hemmelige mapper. Her anvendes i stedet adgangskontrol med bruger adgang og password.
Brug af Robots Exclusion Protokol
User-agent: *
Disallow: /
Brug af user agent * betyder, at instruktionen gælder for alle søgerobotter.
Disalow: Websider, der ønskes udelukket fra indeksering.
/ (roden) betyder at den mappe, sitet ligger i, ikke indekseres af søgerobotterne.
User-agent: *
Disallow: /dokumenter/
Denne regel giver besked til robotterne om ikke, at indeksere mappen dokumenter.
User-agent: *
Disallow: /dokumenter/2009/
Denne regel giver besked til robotterne om ikke at indeksere undermappen 2009 - mappen dokumenter indekseres normalt.
User-agent: *
Disallow: /regnskab.php
Denne regel giver besked til robotterne om ikke at indeksere filen regnskab.php, alt andet, der ligger i roden, indekseres normalt.
User-agent: Googlebot
Disallow: /dokumenter/
Denne regel giver besked til Googlebot om ikke at indeksere mappen dokumenter, andre søgerobotter indekserer mappen dokumenter.
Det er altid en god idé at anvende robots.txt på sit website til udelukkelse af administrationsområder og filområder, man ikke ønsker, der skal vises i søgemaskinernes resultatlister mv. Men husk. Robots.txt forhindrer ikke almindelige brugere i at læse denne fil og finde mapper, der ikke ønskes vist for alm. brugere. Her bør der i stedet indsættes passwordsbeskyttelse, dette er den eneste effektive mulighed for at udelukke brugere fra områder på websitet.