WebCrawler (robots.txt)
lima-city → Forum → Die eigene Homepage → Homepage Allgemein
agent
angabe
auftauchen
code
durchsuchen
einstellen
frage
ftp
gemeinde
http
intervall
monat
nerven
ordner
regeln
sekunde
statistik
studio
tag
verzeichnis
-
Moinsen tag/gemeinde">Gemeinde,
und wieder etwas womit ich mich nicht so richtig auskenne.
So langsam wird meine Homepage Statistik durch gewisse SuchmaschinenRobots ausgekunschaftet.
http://tof-devil.lima-city.de/moon.studios/?link=stat
Ganz besonders geht mir der Slurp von Yahoo auf die nerven, der ist mir einfach zu oft auf der Website, auch wenn ich im Yahoo Ranking dadurch schon weit oben bin.
Man kann ja durch eine robots.txt auch den Intervall einstellen, wie oft eine Robot meine Seite durchsuchen darf.
Crawl-delay:
Nur wieviel Zeit ist Sinnvoll einzustellen?
Kennt sich da wer genauer aus?
MfG tof-devil -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Das ist halt die Frage wie oft du deine seite aktualisierst bzw wie aktuell du es in den Großen suchmaschienen haben willst.
Wenn du eine täglich aktualisierte Seite haben willst und die Suchergebnisse auch Aktuell sein sollen dann halt täglich.
Wenn du deine Seite nur einmal im Monat aktualisierst dann halt nur ein bis zweimal im Monat. -
Ähhm und die robots.txt lege ich einfach im FTP-ROOT-Verzeichnis ab?
tof-devil.lima-city.de/html/
oder muss die robots.txt in jedem Ordner vorhanden sein?
das würde ja reichen oder:
User-agent: *
Crawl-delay: 172800
Dann sollte maximal alle zwei Tage jeweils jeder Robot auftauchen.
MfG tof-devil
Beitrag geändert: 8.8.2008 18:54:08 von tof-devil -
Eine robots.txt im Hauptverzeichnis reicht.
Crawl-delay: 172800
Hast du das irgendwo ausgegraben oder nur geraten?
Also, mir ist jedenfalls keine Möglichkeit bekannt, um per robots.txt so etwas zu regeln. Aber vielleicht bringt der Meta-Tag Expires etwas:
<meta http-equiv="expires" content="Sat, 01 Dec 2001 00:00:00 GMT">
-
Naja laut Wikipedia soll es eine Möglichekit für die Auslesegeschwindigkeit (nur Yahoo! Slurp, msnbot) via Crawl-delay: geben. Die Angabe soll in Sekunden angegeben werden.
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Hoffe das der ständig nervende Besuch von Slurp dadurch weniger wird...
MfG tof-devil
Beitrag geändert: 8.8.2008 19:13:15 von tof-devil -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage