wie ich einen Webseiten Spammer in den Allerwertesten....
lima-city → Forum → Sonstiges → Spam und sonstiges Unvergütetes
bot
browser
code
datei
datum
fehlermeldung
http
idee
ignorieren
index
inhalt
machen
nutzer
problem
session
system
text
url
webseite
windows
-
Hallo Miteinander!
da sitzen wir nun Stunden lang vor unserer Webseite um interessanten Text zu schreiben und irgend ein unbekannter Spammer klaut unseren Content und veröffentlicht diesen auch noch auf gekaperten Webseiten.......
Ich höre schon wie so manchen bei diesem Thema das Messer aufsprigt.
Ich möchte hier einmal eine freie Diskussion ohne viel Stress anzetteln.
Insbesondere weil auch meine Webseite vom Textklau eines übelsten Spammers betroffen ist.
Ich wünsche noch inspirierende Diskussionen.
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Ich würde einen Anwalt einschalten. Webseiten-Inhalte fallen unter das Urheberrecht. So kann man den Inhaber der Webseite, auf welcher der "gestohlene Content" platziert ist, abgemahnt werden.
Wobei es mir persönlich in den meisten Fällen egal ist. Wenn ich etwas schreibe, dann ist es meistens sowieso via CC-0-Lizenz freigegeben. Aber angenommen, mir läge etwas daran... -
Ein Anwalt dürfte da nicht viel helfen. Der Spammer hockt auf Zypern Urheberrechnte kennt er nicht.
Google dürfte wohl ziemlich gute Anwälte haben, kämpft jedoch schon über einem Jahr mit dem Spammer.
Wobei es schwierig nachzuweisen ist. Der Webseitenbeistzer auf den Weitergeleitet wird muß ja auch nicht gleich der Hacker sein.
Vlt. erkläre ich einmal zuerst mal was er genau gemacht.
Zunächst lässt der Spammer alle möglichen und relevanten Texte von mehreren Webseiten crowlen. Danach werden aus diesen "Textfragmente" incl. Deinem Webseiten Branding Texte mit Keywords usw gebaut.
Diese nichtssagenden und unsinnigen Texte werden dann auf gehackte Webseiten geladen um in den Google Index zu kommen.
Danach erfolgt eine weitere Manipulation einer Webseitenweiterleitung auf die [url]iqoption(dot)com[/url]
Die gekaperten Webseiten ranken natürlich alle im Google ziemlich schlecht, bereiten aber den Webmaster einiges an Kopfzerbrechen.
Ich hab bereits Seiten von Kirchen, Schülern und sogar auch einen SEO gesehen, welche gehacked waren und über 2000 Seiten im Google stehen hatten. Alle mit Textfragmenten von meiner Webseite.
Natürlich hab ich bereits ca. 100 dieser Seiten als Spam verpetzt. Je mehr verpetzt, um so mehr produzieren die dann von neuem.
Hier eine Kostprobe mit dem Text-schnipsel von meiner Seite, was in der Suche eingebaut ist.
https://paste42.de/11572/spam_der_iqoption.com
Ziel der ganzen Aktion ist eigentlich nur dass die Webmaster nach Ihren gekaperten Seiten in Google sowie nach Ihrem Content suchen müssen um den Schrott wieder los zu werden. Macht man das nicht, ist man schnell bei der Suchmaschine weg.
Es wird also Suchtraffic produziert um auf die Webseite des Verursachers umgelenkt zu werden um dort Traffic erzeugen.
-
Spam ist es nicht ( https://de.wikipedia.org/wiki/Spam) aber das ist auch so blöd :3
du kannts aber versuchen das so zu machen das wenn von einer IP zu viele anfragen kommt das die ein Captcha ausfüllen müssen (und das solange angezeigt wird BIS sie es gemacht haben) das hält schon primitive bots und spiders ab (solltest aber den google bot ignorieren lassen davon)
ich würde dir auch sowas wie Anti Hammer empfehlen
das blockiert alle bots ausser die die auf der whitelist stehen und schützt dein inhalt von Bruteforce o.ä. :3 (oder wenn kontakt formulare hast auch vor Email Spam) -
Danke für die Antwort.
Problem bei IP-Sperren dürfte sein, dass man eben nicht alle IP´s von google genau weiß. Es sind nur die üblich verdächtigen, die mit 66... usw. bekannt. Tatsächlich gibt es jedoch noch mehr. Und Google testet Deine Seite wohl aus gutem Grund mit fremden IP´s um zu prüfen ob Du die Seite gegenüber Google manipuliert hast.
Ein weiteres Problem dürfte die ständige dynamische IP-Änderung der Spam-bots sein. Die kommen inzwischen getarnt aus dem Darktnet und scannen dann nicht innerhalb von Sekunden die Seite ab, sondern eher im halbstündlichen Tackt pro Seite.
Ein paar Bots kann man schon herausfiltern. Insbesondere wenn diese nach Instllationen von Word-Press, logins oder on cloud suchen oder auch noch fehlerhafte Aufrufe von Seiten machen. Diese werfe ich gleich auf eine vorgegaukelte Seite, wo ich diesen dann Ihren eigenen Spam-Text zum Fraß vorlege.
Ich hab gerade ein weiteres Experiment am Laufen. Diesmal greife ich den Spammer selbst an. Derzeitig rankt das bei google sehr sehr gut. Ist ja wohl auch kein Wunder. Mal sehen ob der Spammer daraus etwas dazulernt.
https://goo.gl/c4tctI
-
naja es sind zwar zu 100% nicht alle aber sehr viele:
http://www.iplists.com/nw/
ausserdem muss du nur eine Session speichern
aber ambesten nicht mit session_start() sondern mit nen eigenen system
wie du eine ID erzeugen kannts kann ich dir schon geben:
<?php $UserID['remote_ip'] = $_SERVER['REMOTE_ADDR']; $UserID['user_agent'] = @$_SERVER['HTTP_USER_AGENT']; $UserID['user_accept'] = @$_SERVER['HTTP_ACCEPT']; $UserID['user_charset'] = @$_SERVER['HTTP_ACCEPT_CHARSET']; $UserID['user_encoding'] = @$_SERVER['HTTP_ACCEPT_ENCODING']; $UserID['user_language'] = @$_SERVER['HTTP_ACCEPT_LANGUAGE']; $UserID['client_id'] = hash("sha512",$UserID['user_agent'].$UserID['user_accept'].$UserID['user_language'].$UserID['user_encoding'].$UserID['user_charset'].$UserID['remote_ip']); echo $UserID['client_id']; ?>
würde den bot/spider dazu zwingen mehrere computer/browser usw zu nutzen und somit wird deine seite als unwichtig eingestuft weil es irgendwann zu viel leistung braucht wenn du dann immer für jede blockierte ID eine datei macht (und die PHP prüft ob die existiert um dann die(""); auszugeben)
ist der blockiert
ambesten auch eine versteckte Verlinkung auf jeder seite von dir zu der Datei die dann die ID blockiert die sie aufruft
(aber du musst die in einen ordner packen die dann per robots.txt verboten ist, jeder Seriöse bot beachtet die robots.txt wobei einige google bots die mit absicht nicht beachten weswegen du ein IP check machen solltest vorher)
ein link könnte so aussehen:
<a href="/pfad/zu/block.php" style="display:none;">Achtung: nicht auf den link klicken da dies einen IP ban zu folge hat</a>
Jeder bot der die robots.txt nicht beachtet und zu /pfad/zu/block.php geht wird blockiert soffern seine IP nicht auf der whitelist (quelle steht oben) steht :)
wenn möchtest kann ich dir auch kostenlos einen anti-bad-bot script machen ^^ (aber eine verlinkung währe nett jedoch nicht erzwungen ^^)
mein tipp ist jedoch zu schauen ob http://corz.org/server/tools/anti-hammer/ funktioniert (davon habe ich auch das userid zeugs ^^ wieso ist mir nie aufgefallen was man dafür braucht xD)
andererseits kannts du versuchen ob eine verschlüsselung per javascript ausreicht zwar muss jeder nutzer JavaScript aktiv haben aber dann würde kein bot mehr was sehen (ausser text salat) solange er kein Javascript unterstützt ^^
achja ich weiss "kopieren" wie ich es mit der userid gemacht habe ist nicht nett aber das ist andererseits ein standard weg um eine session artige nutzer id zu generieren wie ich sehe ^^ (und verlinkt habe ich die software auch von der ich das kenne die nutze ich auch bei mir sogar)
wie gesagt: ich kann versuchen für dich ein einfaches system zu machen was die bots blockiert die nicht auf der seite sein dürfen aber bots wie Bing oder Google durch lassen
bei fehler haften informationen bitte verbessern ^^
EDIT: achja und es ist nicht schlimm wenn mal doch ein google bot o.ä. gebannt wird solange es nicht alle sind ^^
EDIT2:
versuche mal den SemrushBot zu sperren auf den ich schon in einen anderen thread geantwortet hab dieser bot Soll laut mehreren quellen die robots txt ignorieren und daten für ihre kunden sammeln (samt inhalt) für "nur" 70€~ im monat vllt wirds weniger dadurch ^^ oh und so weit ich weiss kommt nix aus dem darknet ins normal-net ^^
tipp: wenn du mehrere tausend aufrzfe hast abundzu dann ist das warscheinlich SemrushBot
Beitrag zuletzt geändert: 6.2.2017 0:59:21 von justplayerde -
Hallo justplayerde,
danke erst mal für die vielen Tips. Ich hab mal versucht den code in meinee php-Schnipsel einzubauen.
Ich hab insgesamt 3 Fallen für den bot gebastelt. Schapp
Das Abfragen eines client_id hab ich noch nicht komplett.
So weit ich es aber aufgezeichnet hab, wird die IP vom bot ständig verändert.
hier ein Log-file
http://iqoption-spam.clan.rip/404/404.txt
und die Bot-falle sowie SEO freundlichen Google 301
(code herausgenommen. wenn gewünscht, pm an mich)
Beitrag zuletzt geändert: 7.2.2017 9:42:25 von autonomestrading -
das sollte funktionieren ^^
achja bei einer index.php fehlt ein p am ende ;)
wenn ich mir die 404.txt so anschaue kommt mir der gedanke das (warscheinlich ) der SemruschBot ein Botnet ist?
als so eine kleine firma können die niemals so viele IP addressen haben (nichtmal google hat so viele)
zwar können es mehrere Bots von anderen anbietern sein
kann aber auch iqoption sein (also mit dem warscheinlichen botnet)
das mehrere bots von anderen anbietern am gleichen tag in dieser zeit auf die seite gehen ist sehr unwarscheinlich
und schon garnicht mit normalen Agents
dies ist jedoch nur eine vermutung
Um dann einen zu blockieren der halt auf dem nicht-anklickbaren link geht dann einfach eine datei in einen unterverzeichniss erstellen und in der Main datei von Wordpress prüfen ob diese existiert
dann einfach exit, die(); oder weiter leiten
EDIT: mir fällt grad auf das die datei teatime.php heist ^^
Beitrag zuletzt geändert: 6.2.2017 20:53:52 von justplayerde -
hihi
sehr gut analysiert.
Es ist mit sehr hoher Wahrscheinlichkeit die bereits auf der öffentlichen blacklist stehende iqoption.
teatime.php war ursprünglich gewählt, weil ich dort den EICAR Testvirus deponiert hatte.
Leider führt der Bot keinen Code aus und ignoriert das.
Eine Weiterleitung auf die eigende IP führt der Bot auch nicht aus.
Bleibt mir also nur noch als Angriff eine Weiterleitung auf den selbst gemachten Spam.
(ist alles schön auf noindex)
http://iqoption-spam.clan.rip/fehlermeldung.php
(für den Menschen ist es unsichtbar, für den Bot im code lesbar)
Ich bin ja gespannt ob der Spammer noch seinen eigenen Quark in die gehackten Weiterleitungs Seiten einbaut.
Das wird ja mal heiter werden.
-
gute idee auch zu informieren wenn man als nutzer raufgeht
Es wurde die nicht existierende Seite: /fehlermeldung.php?Sehr%20interresante%20idee%20xD%20gruss%20Justin von ? ueber in de angefordert. Dein Browser: Google Chrome 55.0.2883.87 System windows reports: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 OPR/42.0.2393.517 Eine Nachricht ist unterwegs, damit ich nach dem Rechten sehen kann.
February 6, 2017, 10:19 pm,?,,/fehlermeldung.php,de,Google Chrome,55.0.2883.87,windows February 6, 2017, 10:19 pm,82.145.220.235,,/fehlermeldung.php?Sehr%20interresante%20idee%20xD%20gruss%20Justin,de,Google Chrome,55.0.2883.87,windows
EDIT:
mir ist auch aufgefallen das der bot keine sprache mit sendet
die vom bot:
February 6, 2017, 9:39 pm,186.148.88.18,,/fehlermeldung.php,,Mozilla Firefox,40.1,windows
meine
February 6, 2017, 9:43 pm,?,,/fehlermeldung.php,de,Google Chrome,49.0.2623.112,windows
Beitrag zuletzt geändert: 6.2.2017 22:27:55 von justplayerde -
justplayerde schrieb:
gute idee auch zu informieren wenn man als nutzer raufgeht
mir ist auch aufgefallen das der bot keine sprache mit sendet
die vom bot:
klar, immer an Deine Benutzer denken. Stell Dir vor Du würdest aus irgend einem Grund auf der Seite landen und weisst nicht was das zu bedeuten hat.
Die Daten im header werden vom bot gerne verfälscht. Ich hatte schon einen mit "Vote Donald " als Sprache. vlt. war es ja auch nur Wahlmanipulation?
Wie Du bereits sehen kannst, heute gab es von unserem Bot etwas weniger Traffic. Das macht mich etwas zuversichtlich. Es könnte aber auch sein, dass der Bot gerade in der Testphase dazulernt weil er ja einen Fehler macht. Jedenfalls ist eine direkte Weiterleitung des Spam-Bots genau das Richtige solange er seinen ph-Fehler erzeugt.
Ich vermute dass der lästige Bot andere Aufgaben als nur Text zu sammeln hat. Google bewertet ja auch die Absprungrate. Da der Bot eigentlich kontinuierlich mit verschiedenen ips die Seite lädt und nicht auf weitere Seiten klickt, könnte er ja auch einen User simulieren, der von dem Suchergebnis nicht recht überzeugt ist um damit Google ein Signal des Missfallens zum Ausdruck zu bringen. Das wird die Seite abwerten und im Gegenzug die eigenen manipulierten iqoption-Weiterleitung - Webseiten mit ähnlich gleichen Text wieder aufwerten.
Mir ist aber noch etwas Nettes eingefallen (die Ideen gehen mir nicht aus)
Ich könnte auf eine Subdomain eine WP Installation erstellen und das Admin-Passwort absichtlich auf Werkseinstellung lassen.
Die WP-Anfragen des Bots kann ich auf diese Testinstallation umleiten. Damit dürfte ja der Bot sehr schnell die Webseite als hackbar erkennen und mit seinem Weiterleitungsspam befüllen. Nachdem er diese manipuliert hat, brauche ich nur noch den Title und die Meta entsprechend dem tatsächlich vorhandenem, der Wahrheit entsprechenden Inhalt ändern.
Also wie z.B.
von "iqoption der Brokertest, sofort kostenloses Depot erstellen"
in "iqoption Achtung ich bin eine der vielen Spam Webseiten und leite Dich gleich nach Zypern weiter"
Wetten dass dieser Titel auch gut rankt?
-
Die Absprungsrate wird nicht bewertet so weit ich weiss (Google kann das ja nicht - ohne Google code auf der seite - sehen wie lange wer drauf ist)
Ich arbeite gerade auch an ein Kleines "Antibot System" was wenn man auf die seite contact_us.php (um jeden bot zu locken) geht per ID gebannt ist und ein mit JavaScript generiertes Captcha lösen muss aber ich würde lieber zu Google Recaptcha tendieren da das sicherer ist als meins ^^ (aber ich hab grad nicht genug internet volumen dafür)
Vorteil: mein system funktioniert mit einen auto-prepend in der .htaccess somit wird jegliche PHP noch das script angehangen und wenn das script "exit" oder "die" hat wird jeglicher anderer output blockiert und das captcha angezeigt
Das Problem: Sessions können dank wordpress nicht genutzt werden weswegen ich ein eigenes session system bauen musste was nicht wirklich funktioniert wie es soll ^^
und dadurch endsteht ein daten müll im Sessions und ID_Whitelist ordner der aber nach deiner einstellung nach X tagen geleert wird (aber auch nur sessions usw die X tage alt sind)
dazu muss die antibot.php und contact_us.php auf der selben domain laufen damit die richtig arbeiten können
aber das jetzige system funktioniert nur ich weiß nicht wie Lima das findet ein eigenes Session system zu machen und eine Whitelist die ca 2K einträge pro aufruf erzeugt xD (Achja die whitelist der google etc bots werden nur gelesen wenn ein offizieler bot die seite aufruft)
Demo:
https://jls.justplayer.de/antibot/test.php
und die JavaScript sache funkt auch nicht immer -
Google kann das ja nicht - ohne Google code auf der seite - sehen wie lange wer drauf ist
Die offizielle Stellungnahme von Google lautet : es werden für die Auswertung keine Analytics Daten verwendet. Hoffen wir mal, dass dies so stimmt, so wird sich Google die Absprungrate vermutlich eher über Chrome, Handys, verdächtige Toolbars und - ich unterstell einmal auch den Firefox ermitteln und dies für Ihre Zwecke statistisch hoch rechnen.
Ich kanns mir auch nicht anders erklären. Idealer Weise wird vermutlich das Nutzerverhalten am Nutzer selbst über freien Browser gemessen.
Dein Antibot System gefällt mir sehr gut. Insbesondere weil es eben nichts von der "Stange" ist und die Bot Ersteller eben auf Individuallösungen keine schnelle Antwort haben.
Das Google Recaptcha hat zwar etwas nettes, mir persönlich gefällt es aber nicht wenn ich die 3 Geschäfte von vorne anklicken muss. Ich kenne ja schon alle und finde das viel zu Aufwändig.
Deine Abfrage hab ich schon mal getestet. Funktioniert.
Kleiner Verbesserungsvorschlag (ist aber nicht so wichtig)
mit php imagestring imagejpeg kannst Du den Text in Bilder umwandeln.
und die JavaScript sache funkt auch nicht immer
Versuch es möglichst mit PHP. Der Bad-bot hat zu 100% kein ausführbares Script. Nicht einmal den Testvirus erkennt er.
Wobei das bereits auch eines der möglichen Ansätze sein kann.
Ich meine gleich alle User die mit noscript auf die Seite daher kommen sollten sich erst einmal dem Test Deines "Antibot-Systems" unterziehen. Das würde dem Lima einiges an unnötigen Traffic ersparen.
(Ich kann aber auch falsch liegen)
Es dürfte sogar möglich sein, dass uns der Bot je nach Aufgabe des Bots ein installiertes script oder noscript nur vorgaukelt.
Eine Idee: Wenn er bei der Betriebssystemabfrage das installierte java-script einfach nur vorgaukelt um sich zu tarnen und ich im Html das einfach mit der Anweisung <SCRIPT> real teste, so pack ich ihn an den Hörnern. -
Naja das der bot kein JS unterstützt nutze ich sogar aus indem ich JavaScript für das captcha nutze
Dadurch das er kein JavaScript verarbeitet kann er die lösung für das captcha nicht sehen und schreibt was zufälliges rein (vllt sogar in das unsichbare wo man nichts reinschreiben darf wodurch er sich sofort als bot "verifiziert"
wobei ich könnte das so machen das es noch extra schwerer wird wenn ich ihn genau dann mit der IP sperre
jetzt habe ich jedoch für Bots die JS verarbeiten können was angepasst ^^
und jeglicher javascript code wird per PHP unlesbar gemacht:
<script type="text/javascript"> function R2ZYDPBV1MANTLOW7X6S8IC4(H2ZYDPBV1MANTLOW7X6S8IC4 = 5) { var T2ZYDPBV1MANTLOW7X6S8IC4 = ""; var POS7TCWGQUDBZ1N3AEKIVFH6 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789"; for (var i = 0; i < H2ZYDPBV1MANTLOW7X6S8IC4; i++) T2ZYDPBV1MANTLOW7X6S8IC4 += POS7TCWGQUDBZ1N3AEKIVFH6.charAt(Math.floor(Math.random() * POS7TCWGQUDBZ1N3AEKIVFH6.length)); return T2ZYDPBV1MANTLOW7X6S8IC4; } (function F2ZYDPBV1MANTLOW7X6S8IC4() { var K4CNT2ZGSWAVLM76PUR5KFO9 = window.atob('S0JWRzE='); document.getElementById("4CNT2ZGSWAVLM76PUR5KFO9").innerHTML = R2ZYDPBV1MANTLOW7X6S8IC4(3) + '' + K4CNT2ZGSWAVLM76PUR5KFO9 + '' + R2ZYDPBV1MANTLOW7X6S8IC4(3) + ''; console.log(R2ZYDPBV1MANTLOW7X6S8IC4(43)); setTimeout(F2ZYDPBV1MANTLOW7X6S8IC4, 100); })(); </script>
zwar können Bots die Javascript verarbeiten möglicherweise die lösung heraus finden aber die müssen dann erstmal sehen wo wie was rein kommt da die IDs der inputs auch zufällig sind
jetzt gibts noch ein problem: was ist wenn man wegen irgend einer behinderung das nicht sehen kann :3 da sich der text ja so schnell verändert (wobei der eigendliche code sich nicht ändert sondern nur das darum) kannts sein das man probleme hat
jedenfalls kann ich das erkennen ^^
achja zur "verwirrung" des bots wird auch die console zu gespamt mit zeichen die nicht gebraucht werden
hoffendlich wirkt das sich nicht so auf die rechenleistung von mobil geräten aus :/
wie auch immer:
Bei bots gilt: Um so Mehr leistung um so weniger bots (ID per browser bann, IP bann?, JavaScript, etc)
Somit benötigt der bot schonmal:
Mehrere Browser einstellungen
JavaScript
Berechnung für die zufälligen inhalte
Muss falsche Inputs ignorieren
das heist die absprungsrate ist bei bots sehr hoch und google versteht sogar sowas wenn man ein schutzt gegen bots macht
aber wenn google drauf geht wird es
function E403() { if (IsCrawl($BOT_UserID['user_agent'])) { header("HTTP/1.1 301 Moved Permanently"); header("Location:" . $BOT_Config['HOMEPAGE']); } exit; }
ausgeführt ^^
und google berechnet den PageRank[copyright zeichen hier einfügen] damit wie viele auf den link in der such maschiene klicken, wieviele pro monat, wie viele danach gesucht haben etc -
und google berechnet den <p>© Page Rank<p> damit wie viele auf den link in der such maschiene klicken, wieviele pro monat, wie viele danach gesucht haben etc
nun ja, wenn Du dem Google gefallen möchtest, dann musst Du dich schon mit Google-Produkten schmücken.
Ich bin aber auch der Meinung dass man mit selbst gemachten Lösungen langfristig immer besser fährt. Weil man dann auf Umstellungen in der Technik schnell reagieren kann.
Kleines update:
Die letzten Tage hat einer scheins mal ordentlich aufgeräumt. Von ursprünglich der ca. 100 der iqoption hack Spamseiten mit Textfragmenten meiner Startseite sind inzwischen nur noch 10 übrig.
Ich hab die gehackten Seiten aber nicht an Google verpetzt.
Ist ja wohl nicht mein Problem, sondern eines der Seitenbetreiber oder eher das von Google.
Es kann aber auch sein, dass eine Bot-Ableitung auf meine künstlichen SPM-Text erste Wirkungen zeigt.
Vlt meint der Bot: so ein Schrott Text aber auch. Den Nachweis kann ich aber noch nicht erbringen.
Ich denke dass man irre gewordene Bots einfach nur beharrlich abzufangen muß. Das ist auch eine Art der Chemotherapie gegen zu viel Webspam.
-
Das problem an bots ist das die nie auf nur einer seite sind sondern mehrere tausend in der stunde verarbeiten (und ein google bot millionen)
Kann sien das der bot der alles kopiert von dir merkt das es keinen content mehr gibt (wenn du ihn gesperrt haben solltest oder diese meldung immer kommt)
das die 90 seiten weg sind kann aber auch daran liegen das die das - endlich - gemerkt haben das ihre seite gehackt wurde ^^
aber um wirklich alle bots die die robots.txt ignorieren zu blockieren (und nicht auf einer whitelist stehen)
da deine seite schon mal von so einen bot gefunden wurde ist es auch blöd da jetzt alle informationen über die seite (Email Addresse, andere daten die mir grad nicht einfallen)
und deine seite steht jetzt warscheinlich auf ner liste für weitere bots :3
ich habe auch das problem gerade das ich z.b. andauernd spam bekomme mit dem titel "Die Besten Generika" oder "Bestes Pillenversand" etc
und in der letzten war ein versuch mich mit viren zu infizieren.. leider öffne ich keine tabellen von spam mails ^^ und bilder werden auch blockiert
hab der seite eine Warnung geschrieben das die aufhören soll da ich sie sonds auf viele blacklists setze und da die eh Illegale sachen machen und kein impressum haben sogar melde ^^ -
das die 90 seiten weg sind kann aber auch daran liegen das die das - endlich - gemerkt haben das ihre seite gehackt wurde ^^
Zu früh gefreut.
Heute sind wieder viele der Spammseiten zurück gekommen.
d.h. gehackte „IQ Option“ Webseiten für Leute, mit optional sehr niedrigem IQ
Es kann leicht sein, dass denen Google wenigstens ein bischen Ranking gegönnt hat.
aber um wirklich alle bots die die robots.txt ignorieren
Dir ist aber schon klar:
Wenn in den Seiten im Meta index,follow steht, dann greift Google darauf zu.
Die robots.txt Sperre sagt nur, das Google nicht crawlen darf was bereits schon im Index steht.
D.h. auch der Google Bot kann robots.txt ignorieren wenn die Seite noch frisch ist.
Beitrag zuletzt geändert: 9.2.2017 20:40:04 von autonomestrading -
bitte wenn du es noch nicht hasst verifiziere bei google deine seite als dein besitz so das Google auch sehen kann wer zu erst da war
Weil Google ist schlau und sieht anhand vom selben text und domain/zeit wem was gehört und rankt automatisch runter wenn das eine kopie ist ;) (oder enfernt wegen dem deutschen gesetzt den eintrag) -
das ist natürlich alles bereits seit langem erledigt.
1.) die google-site-verification:
2.) google analytics UA.... hab den code mit anonymisize
3.) die search console mit der Property
4.) hab sogar My Bussiness mit dem Postkarten code angelegt
5.) Impressum mit email wie die url, kontakt usw.
6.) Gültige Handynummer in die Google mail.
7.) Google Plus
Damit sollte Google mich schon kennen.
Wenn ich einen neuen Artikel geschrieben hab, so bitte ich Google um Indexierung.
Hinweise auf Duplicate Content oder Maßnahmen gegen mich hatte ich noch nie.
Über das Google Ranking muss ich ja nicht jammern.
Durchschnittliche CTR: 4,6%, Klicks 15, Position 16
Das passt eigentlich zu der Generator Seite ohne viel SEO.
Etwas seltsam kommen mit aber Suchen nach "apple-app-site-association" und ".well-known/assetlinks.json" sowie ".well-known/apple-app-site-association". Ich hatte noch nie eine aap. Es könnte vlt. sogar von einer viralen Link einer fremden Webseite stammen, welche auf meine zeigt und dem Google veranlasst danach zu suchen.
Beitrag zuletzt geändert: 10.2.2017 17:58:19 von autonomestrading -
du musst google nicht immer anfragen das zu indexieren ^^ der bot geht - je nach der durchschnittlichen aktualisierung deiner seite (also wie oft du was veränderst mit z.b. Blog einträge) - automatisch auf deiner seite ^^
noch irgendwelche ideen wie ich das script verbessern kann? also das captcha ^^
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage