Habt ihr eure Seite schonmal in ner Suchmaschine entdeckt, ohne das ihr diese angemeldet habt, oder möchtet ihr nur einen Teil eurer Homepage im Suchmaschinen eintragen lassen? Dann benutzt die Datei Robots.Txt!
Mit der Datei Robots.txt kann man Suchroboter den Seitenzugriff voll, teilweise oder gar nicht gewähren. In den nächsten Zeilen erkläre ich euch, wie man so eine Datei erstellt.
1. Öffnet einen Editor (notepad), um die Datei robots.txt zu erstellen.
Schreibt in die erste Zeile folgendes zum Beispiel:
User-agent: *
Mit diesem Befehl sagt ihr, das alle Suchmaschinen zugriff bekommen. Wollt ihr, das nur eine bestimmte Supermaschine (z.B. Fireball) den Zugriff bekommen soll, gebt stattdessen folgendes ein:
User-agent: fireball
Da es soviele Suchmaschinen gibt, kann ich nicht sagen, wie die Begriffe für die anderen heißen. Man kann sich aber meistens auf den Seiten der Suchmaschinen direkt informieren.
Nachdem jetzt der User-agent angegeben wurde, folgen die Zeilen, welche Verzeichnisse zugelassen werden und welche nicht:
Allow: /menu/
Allow: index.php
Dies beduetet, das die Datei index.php und der Ordner menu komplett durchsucht werden dürfen! Mit der folgenden Zeile kann man Ordner ausschließen:
Disallow: /cgi-bin/
Disallow: admin.php
Dies verbietet der Suchmaschine, die Datei admin.php und den Ordner cgi-bin zu durchsuchen!
Eine Robots-Datei könnte zum Beispiel jetzt so aussehen.
User-Agent: *
Disallow: /
User-Agent: Fireball
Allow: index.php
Bei diesem Beispiel werden außer Fireball keine Datei freigegeben! Die Suchmaschine Fireball darf die Datei index.php unter die Lupe nehmen!
Soweit ist die Datei robots.txt erstellt. Aber ich möchte noch einen guten Tip geben!
Gebt folgendes zusätzlich ein:
User-agent: EmailCollector
Disallow: /
User-agent: GagaRobot
Disallow: /
Der Agent EmailCollector wird von einigen E-Mail-Suchmaschinen verwendet. Damit ist die wahrscheinlichkeit etwas geringer, das speziell Suchmaschinen Zugriff auf E-Mail-Adressen bekommen weniger Chancen haben (etwas Spamvermeidung). Der GagaRobot letztendlich kein Roboter. Er versucht immer wieder an Verzeichnisse ranzukommen, wenn diese aus unbekannten Gründen nicht einsehbar sind! Dies kann im Extremfall sogar zum Netzwerkabsturz führen! Das ist einfach ein Hinweis, das nie zweimal gesucht werden darf (GagaRobot => verwirrter Roboter).
Zum Abschlu0 mußt ihr die Datei nur noch ins Hauptverzeichnis (bei FTP-Lima ins Verzeichnis html) kopieren!
PS: Die Methode ist wesentlich effektivierter als der Meta-Tag robots in der HTML-Datei!!!