kostenloser Webspace werbefrei: lima-city


Bots via .htaccess begrenzen

lima-cityForumProgrammiersprachenPHP, MySQL & .htaccess

  1. Autor dieses Themas

    mylonky

    mylonky hat kostenlosen Webspace.

    Hallo Community,

    ich habe ein Kleines Problem mit einem Crawler Bot,

    ich will ihn nicht ganz aussperren, sondern nur eingrenzen, es reicht wenn er maximal 3x gleichzeitig da ist aber in meinem Forum ist er liebendgerne bis zu 23x gleichzeitig Online, geht das in etwa was ich meine?



    https://ftimg.de/image/Uc (alle bis auf der Makierte Bot)

    Beitrag zuletzt geändert: 24.1.2016 2:28:24 von mylonky
  2. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

    lima-city: Gratis werbefreier Webspace für deine eigene Homepage

  3. Der Bot, der Dich nervt, ist von ahrefs.com, einem SEO-Anbieter, der mit Hilfe dieses Bots eine Datenbank mit Backlinks erstellt. Laut https://ahrefs.com/robot akzeptiert dieser Bot eine Directive "Crawl-Delay" in der robots.txt um den zeitlichen Abstand zwischen zwei Requests zu setzen.

    H.
  4. Autor dieses Themas

    mylonky

    mylonky hat kostenlosen Webspace.

    das heißt wenn ich z.b.
    User-Agent: AhrefsBot
    Crawl-Delay: 20
    rein schreibe kommt alle 20 sekunden nurnoch einer oder habe ich dann alle 20 sekunden 30?
  5. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

    lima-city: Gratis werbefreier Webspace für deine eigene Homepage

Dir gefällt dieses Thema?

Über lima-city

Login zum Webhosting ohne Werbung!