kostenloser Webspace werbefrei: lima-city


WebCrawler (robots.txt)

lima-cityForumDie eigene HomepageHomepage Allgemein

  1. Autor dieses Themas

    tof-devil

    Kostenloser Webspace von tof-devil

    tof-devil hat kostenlosen Webspace.

    Moinsen tag/gemeinde">Gemeinde,

    und wieder etwas womit ich mich nicht so richtig auskenne.

    So langsam wird meine Homepage Statistik durch gewisse SuchmaschinenRobots ausgekunschaftet.

    http://tof-devil.lima-city.de/moon.studios/?link=stat

    Ganz besonders geht mir der Slurp von Yahoo auf die nerven, der ist mir einfach zu oft auf der Website, auch wenn ich im Yahoo Ranking dadurch schon weit oben bin.

    Man kann ja durch eine robots.txt auch den Intervall einstellen, wie oft eine Robot meine Seite durchsuchen darf.

    Crawl-delay:

    Nur wieviel Zeit ist Sinnvoll einzustellen?

    Kennt sich da wer genauer aus?

    MfG tof-devil
  2. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

    lima-city: Gratis werbefreier Webspace für deine eigene Homepage

  3. Das ist halt die Frage wie oft du deine seite aktualisierst bzw wie aktuell du es in den Großen suchmaschienen haben willst.

    Wenn du eine täglich aktualisierte Seite haben willst und die Suchergebnisse auch Aktuell sein sollen dann halt täglich.

    Wenn du deine Seite nur einmal im Monat aktualisierst dann halt nur ein bis zweimal im Monat.
  4. Autor dieses Themas

    tof-devil

    Kostenloser Webspace von tof-devil

    tof-devil hat kostenlosen Webspace.

    Ähhm und die robots.txt lege ich einfach im FTP-ROOT-Verzeichnis ab?

    tof-devil.lima-city.de/html/

    oder muss die robots.txt in jedem Ordner vorhanden sein?

    das würde ja reichen oder:

    User-agent: *
    Crawl-delay: 172800

    Dann sollte maximal alle zwei Tage jeweils jeder Robot auftauchen.

    MfG tof-devil

    Beitrag geändert: 8.8.2008 18:54:08 von tof-devil
  5. Eine robots.txt im Hauptverzeichnis reicht.

    Crawl-delay: 172800

    Hast du das irgendwo ausgegraben oder nur geraten?

    Also, mir ist jedenfalls keine Möglichkeit bekannt, um per robots.txt so etwas zu regeln. Aber vielleicht bringt der Meta-Tag Expires etwas:
    <meta http-equiv="expires" content="Sat, 01 Dec 2001 00:00:00 GMT">
  6. Autor dieses Themas

    tof-devil

    Kostenloser Webspace von tof-devil

    tof-devil hat kostenlosen Webspace.

    Naja laut Wikipedia soll es eine Möglichekit für die Auslesegeschwindigkeit (nur Yahoo! Slurp, msnbot) via Crawl-delay: geben. Die Angabe soll in Sekunden angegeben werden.

    http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

    Hoffe das der ständig nervende Besuch von Slurp dadurch weniger wird...

    MfG tof-devil


    Beitrag geändert: 8.8.2008 19:13:15 von tof-devil
  7. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

    lima-city: Gratis werbefreier Webspace für deine eigene Homepage

Dir gefällt dieses Thema?

Über lima-city

Login zum Webhosting ohne Werbung!