Ordner extra für Suchmaschienen freigeben
lima-city → Forum → Die eigene Homepage → HTML, CSS & Javascript
agent
attribut
bild
bot
code
dank
datei
erfolg
ergebnis
http
idee
index
ordner
problem
risiko
suche
teil
unterseite
url
versuchen
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Schönen Abend!
Eine möglichkeit wäre (in der theorie) eine Datei Namens robots.txt. zB ein Google-Bot muss immer diese Datei lesen, bevor er auf den Webspace darf / kann. Du kannst in dieser Datei dem Bot sagen, wo er hindarf & wo er draußen bleiben muss. Google selbst hat auch eine (sehr umfangreiche). Hier ein kleines Schnipsel
dasselbe kannst du im Root-Verzeichniss deines Webservers machen. Einfach eine Datei namens robot.txt erstellen & drauf loslegen (der Code dürfte sich von selbst erklären => disallow = draußenbleiben, allow = darf rein).User-agent: * Disallow: /search Disallow: /groups Disallow: /images Disallow: /catalogs Allow: /catalogs/about Disallow: /catalogues Disallow: /news Allow: /news/directory
Schönen Feierabend noch!
-
Das Freigeben ist wohl das kleinste Problem, denn jeder Ordner, der nicht gesperrt ist, ist automatisch freigegeben. Für dich wäre es wohl interessanter, Google die passenden Links unterzuschieben, damit die Daten in diesem Ordner auch indiziert werden.
Beste Möglichkeit: Eine Webseite, mit Links zu den Inhalten des Ordners, anzulegen, die nirgendwo öffentlich verlinkt ist, aber in einer Sitemap für Google erscheint.
Alternativ könntest Du auch einen Link zu einer solchen Seite auf deiner HP einbauen, der nur für den Googlebot sichtbar ist.
Ob Du damit aber den Erfolg erzielst, den Du dir erhoffst, wage ich zu bezweifeln. Man kann Google einiges unterschieben, aber, wenn keine Zugriffe von Usern darauf erfolgen, nicht dauerhaft. Solche Versuche enden meist sogar mit gegenteiligem Ergebnis.
:
Beitrag zuletzt geändert: 12.1.2012 2:38:08 von fatfreddy -
Danke für die Antworten!
limabone schrieb:
Schönen Abend!
Eine möglichkeit wäre (in der theorie) eine Datei Namens robots.txt. zB ein Google-Bot muss immer diese Datei lesen, bevor er auf den Webspace darf / kann. Du kannst in dieser Datei dem Bot sagen, wo er hindarf & wo er draußen bleiben muss. Google selbst hat auch eine (sehr umfangreiche). Hier ein kleines Schnipsel
dasselbe kannst du im Root-Verzeichniss deines Webservers machen. Einfach eine Datei namens robot.txt erstellen & drauf loslegen (der Code dürfte sich von selbst erklären => disallow = draußenbleiben, allow = darf rein).User-agent: * Disallow: /search Disallow: /groups Disallow: /images Disallow: /catalogs Allow: /catalogs/about Disallow: /catalogues Disallow: /news Allow: /news/directory
Schönen Feierabend noch!
Also soweit ich weiß gibtes das Attribut "Allow" in der robots.txt nicht. Alles was nicht mit "Disallow" gekennzeichnet ist, ist sowieso erlaubt. Aber man kann soviel ich weiß einem bot so nicht extra sagen dass er auf diverse Ordner zugreifen SOLL...
fatfreddy schrieb:
Das Freigeben ist wohl das kleinste Problem, denn jeder Ordner, der nicht gesperrt ist, ist automatisch freigegeben. Für dich wäre es wohl interessanter, Google die passenden Links unterzuschieben, damit die Daten in diesem Ordner auch indiziert werden.
Beste Möglichkeit: Eine Webseite, mit Links zu den Inhalten des Ordners, anzulegen, die nirgendwo öffentlich verlinkt ist, aber in einer Sitemap für Google erscheint.
Alternativ könntest Du auch einen Link zu einer solchen Seite auf deiner HP einbauen, der nur für den Googlebot sichtbar ist.
Ob Du damit aber den Erfolg erzielst, den Du dir erhoffst, wage ich zu bezweifeln. Man kann Google einiges unterschieben, aber, wenn keine Zugriffe von Usern darauf erfolgen, nicht dauerhaft. Solche Versuche enden meist sogar mit gegenteiligem Ergebnis.:
Ja, das stimmt wohl.. Ich werd mir das nochmal durch den Kopf gehen lassen.. Aber wie erstelle ich einen Link der nur für den Googlebot sichtbar ist?
Beitrag zuletzt geändert: 12.1.2012 16:40:37 von yorecords -
yorecords schrieb:
Aber wie erstelle ich einen Link der nur für den Googlebot sichtbar ist?
Die Google-Bots kommen normalerweise (!) mit einem speziellen User-Agent auf deine Seite.
Du mußt also die Links nur für alle Besucher, die diesen User-Agent nicht zeigen, ausblenden.
Das nennt sich dann "cloaking" und hat schon einige - ganz schlaue - Webmaster vor die Wand fahren lassen, weil Google ihre Seiten deswegen komplett aus dem Index entfernt hat. Ich würde mir sehr gut überlegen, ob ich bereit wäre, dieses Risiko einzugehen. -
Also soweit ich weiß gibtes das Attribut "Allow" in der robots.txt nicht. Alles was nicht mit "Disallow" gekennzeichnet ist, ist sowieso erlaubt. Aber man kann soviel ich weiß einem bot so nicht extra sagen dass er auf diverse Ordner zugreifen SOLL...
Da es Google selbst verwendet, gibt es dieses Attribut ganz sicherlich: http://www.google.ch/robots.txt
Die Frage ist eher, ob die Crawler dann auch explizit folgen, oder ob sie nur die berechtigung abchecken und nur einem effektiven Link folgen... Denke, dass unterscheidet sich je nach Crawler. -
fatfreddy schrieb:
yorecords schrieb:
Aber wie erstelle ich einen Link der nur für den Googlebot sichtbar ist?
Die Google-Bots kommen normalerweise (!) mit einem speziellen User-Agent auf deine Seite.
Du mußt also die Links nur für alle Besucher, die diesen User-Agent nicht zeigen, ausblenden.
Das nennt sich dann "cloaking" und hat schon einige - ganz schlaue - Webmaster vor die Wand fahren lassen, weil Google ihre Seiten deswegen komplett aus dem Index entfernt hat. Ich würde mir sehr gut überlegen, ob ich bereit wäre, dieses Risiko einzugehen.
Oho.. Ok, danke. Dann lass ich das lieber mal. Rein theoretisch könnte ich diese Links aber auch einfach in den NOFRAMES-Teil meines Framesets schreiben.. Dann würde sie der normale User auch nicht sehen, aber Google sollte es eigentlich. Birgt das dann auch so ein Risiko?
all-web schrieb:
Also soweit ich weiß gibtes das Attribut "Allow" in der robots.txt nicht. Alles was nicht mit "Disallow" gekennzeichnet ist, ist sowieso erlaubt. Aber man kann soviel ich weiß einem bot so nicht extra sagen dass er auf diverse Ordner zugreifen SOLL...
Da es Google selbst verwendet, gibt es dieses Attribut ganz sicherlich: http://www.google.ch/robots.txt
Die Frage ist eher, ob die Crawler dann auch explizit folgen, oder ob sie nur die berechtigung abchecken und nur einem effektiven Link folgen... Denke, dass unterscheidet sich je nach Crawler.
Ok.. Cool. Dann versuch ich es einfach mal Hier: http://de.selfhtml.org/diverses/robots.htm steht aber auch:Ein Schlüsselwort Allow: wurde niemals definiert
. Aber wenn Google es verwendet wird wohl was dran sein.. Danke.
Beitrag zuletzt geändert: 12.1.2012 18:16:13 von yorecords -
yorecords schrieb:
Ok.. Cool. Dann versuch ich es einfach mal Hier: http://de.selfhtml.org/diverses/robots.htm steht aber auch:Ein Schlüsselwort Allow: wurde niemals definiert
. Aber wenn Google es verwendet wird wohl was dran sein.. Danke.
Bitte. Wie du sicherlich weisst, kann man auch undefinierte Dinge einfach erschaffen - auch wenn's kein W3C abgesegnet hat... Und das ist genau der Fall. Versuche es Du doch einfach mal hier: http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Cheers -
yorecords schrieb:
Rein theoretisch könnte ich diese Links aber auch einfach in den NOFRAMES-Teil meines Framesets schreiben.. Dann würde sie der normale User auch nicht sehen, aber Google sollte es eigentlich. Birgt das dann auch so ein Risiko?
Google betrachtet alles als Cloaking, was den Inhalt der Seite für Suchmaschinen manipuliert. Ob es auffällt, ist eine andere Sache. Das bleibt deiner Kreativität überlassen.
Eventuell finden sich noch andere, risikolose Möglichkeiten, aber dazu müßtest Du schon erklären, warum Du Seiten im Googleindex haben möchtest, die User nicht sehen sollen. -
fatfreddy schrieb:
yorecords schrieb:
Rein theoretisch könnte ich diese Links aber auch einfach in den NOFRAMES-Teil meines Framesets schreiben.. Dann würde sie der normale User auch nicht sehen, aber Google sollte es eigentlich. Birgt das dann auch so ein Risiko?
Google betrachtet alles als Cloaking, was den Inhalt der Seite für Suchmaschinen manipuliert. Ob es auffällt, ist eine andere Sache. Das bleibt deiner Kreativität überlassen.
Eventuell finden sich noch andere, risikolose Möglichkeiten, aber dazu müßtest Du schon erklären, warum Du Seiten im Googleindex haben möchtest, die User nicht sehen sollen.
Weil ich mit Frameset arbeite. Wenn also eine Suchmaschiene andere Seite als index.html indiziert ist das scheiße weil der User dann nur einen einzelnen Frame als Suchergebnis geliefert bekommt. Deswegen habe ich mittels robots.txt alle anderen Seiten verboten und muss den index jetzt so einrichten, dass die Seite trotzdem mit den richtigen Keywords gefunden werden kann (komischerweise funktioniert das derzeit aber nicht richtig, es werden noch immer Unterseiten angezeigt...) . Also hab ich jetzt einfach in den NOFRAMES-Teil alles wichtige nochmal extra geschrieben.
all-web schrieb:
yorecords schrieb:
Ok.. Cool. Dann versuch ich es einfach mal Hier: http://de.selfhtml.org/diverses/robots.htm steht aber auch:Ein Schlüsselwort Allow: wurde niemals definiert
. Aber wenn Google es verwendet wird wohl was dran sein.. Danke.
Bitte. Wie du sicherlich weisst, kann man auch undefinierte Dinge einfach erschaffen - auch wenn's kein W3C abgesegnet hat... Und das ist genau der Fall. Versuche es Du doch einfach mal hier: http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Cheers
Ne, das hab ich so noch nicht gewusst. Gut zu wissen, danke. -
yorecords schrieb:
Weil ich mit Frameset arbeite. Wenn also eine Suchmaschiene andere Seite als index.html indiziert ist das scheiße weil der User dann nur einen einzelnen Frame als Suchergebnis geliefert bekommt. Deswegen habe ich mittels robots.txt alle anderen Seiten verboten und muss den index jetzt so einrichten, dass die Seite trotzdem mit den richtigen Keywords gefunden werden kann
Ok, das erklärt einiges.
Das Problem ist also eher, daß Google die Frameseiten indiziert und dem Suchenden einzeln als Ergebnis der Suche darstellt. Darauf wäre ich, nach deiner Fragestellung, nie gekommen.
Wie wäre es denn, wenn Du, statt Google zu verarschen, einfach dafür sorgst, daß die Frameseiten, sofern außerhalb des Framesets aufgerufen, nicht dargestellt werden, sondern der Aufruf eines einzelnen Frames eine Anzeige des kompletten Framesets bewirkt? Dafür bedarf es keiner Tricks und keines Cloakings, sondern nur einer gewissen Intelligenz bei der Gestaltung der Website. Was aus Googlesicht auch absolut gefahrlos wäre. -
fatfreddy schrieb:
Das Problem ist also eher, daß Google die Frameseiten indiziert und dem Suchenden einzeln als Ergebnis der Suche darstellt. Darauf wäre ich, nach deiner Fragestellung, nie gekommen.
Ja, darum geht es bei diesem Thema ja nur entfernt.. Eigentlich ging es mir ja darum, die Bilder die so in meiner Galerie sichtbar sind (die am Server nur numeriert sind) für die Bildersuche bei Google zu indizieren indem ich einen extra Ordner mit denen die ich dafür indizieren will anlege, diese benenne und so für den index freigebe. Im Ordner mit den Galeriebildern sind nämlich auch noch alle Buttons und ähnliches, was ich dann auch nicht unbedingt für die Suche freigeben will.
fatfreddy schrieb:
Das Problem ist also eher, daß Google die Frameseiten indiziert und dem Suchenden einzeln als Ergebnis der Suche darstellt. Darauf wäre ich, nach deiner Fragestellung, nie gekommen.
Wie wäre es denn, wenn Du, statt Google zu verarschen, einfach dafür sorgst, daß die Frameseiten, sofern außerhalb des Framesets aufgerufen, nicht dargestellt werden, sondern der Aufruf eines einzelnen Frames eine Anzeige des kompletten Framesets bewirkt? Dafür bedarf es keiner Tricks und keines Cloakings, sondern nur einer gewissen Intelligenz bei der Gestaltung der Website. Was aus Googlesicht auch absolut gefahrlos wäre.
Das ist dann das nächste Problem. Deine Idee hört sich ja gut an und natürlich bin ich auch selbst schon darauf gekommen. Nur weiß ich nicht wirklich wie ich das machen soll.. -
yorecords schrieb:
Eigentlich ging es mir ja darum, die Bilder die so in meiner Galerie sichtbar sind (die am Server nur numeriert sind) für die Bildersuche bei Google zu indizieren indem ich einen extra Ordner mit denen die ich dafür indizieren will anlege, diese benenne und so für den index freigebe. Im Ordner mit den Galeriebildern sind nämlich auch noch alle Buttons und ähnliches, was ich dann auch nicht unbedingt für die Suche freigeben will.
Vermute ich recht, daß Du, unter anderem, die Photos des zotteligen, unrasierten Gitarrenträgers meinst?
Wenn ja, dann wäre dein Vorhaben eher contraproduktiv. Die Galerieseiten kann und wird Google spidern. Wenn Du dem Spider jetzt noch zusätzlich die gleichen Bilder unter anderem Namen unterschiebst, definiert Google das als "double Content" und indiziert eventuell die falsche Version des Bildes.
[Frames]Das ist dann das nächste Problem. Deine Idee hört sich ja gut an und natürlich bin ich auch selbst schon darauf gekommen. Nur weiß ich nicht wirklich wie ich das machen soll..
Sorge dafür, das für Nutzer, die direkt auf die Frameseite kommen, der umgebende/erklärende Content nachgeladen wird. Das wäre z.B. über eine Referrerprüfung mir passender Weiterleitung möglich.
Deine Idee, Google zu täuschen wäre in diesem Falle (siehe oben) vermutlich sogar eher schädlich.
Das ursächliche Problem ist die Gestaltung der Homepage mit Frames. Was Du erkannt hast, ist einer der wesentlichen Nachteile der Framelösungen, der mit dazu beigetragen hat, daß diese heute kaum noch eingesetzt werden.
Alternative zu Googletricks und beste Lösung für dich: Gestalte deine Webseite so, daß Du ohne Frames auskommst. (Dein Problem betrifft ja eben nicht nur die Bilder, sondern sämtliche Unterseiten deiner Homepage!)
Klar, das ist Arbeit, aber so, wie ich das sehe, willst Du dich mit der Website verkaufen. Wenn ja, dann solltest Du es den Usern so einfach wie möglich machen, daß, was Du ihnen mitteilen willst zu finden.
-
fatfreddy schrieb:
Vermute ich recht, daß Du, unter anderem, die Photos des zotteligen, unrasierten Gitarrenträgers meinst?
Wenn ja, dann wäre dein Vorhaben eher contraproduktiv. Die Galerieseiten kann und wird Google spidern. Wenn Du dem Spider jetzt noch zusätzlich die gleichen Bilder unter anderem Namen unterschiebst, definiert Google das als "double Content" und indiziert eventuell die falsche Version des Bildes.
Jap, genau die Bilder mein ich..
Naja ich hab die Quelle der Galerie ja via robots.txt verboten, also sollte Google wenn nur die anderen finden.
fatfreddy schrieb:
Sorge dafür, das für Nutzer, die direkt auf die Frameseite kommen, der umgebende/erklärende Content nachgeladen wird. Das wäre z.B. über eine Referrerprüfung mir passender Weiterleitung möglich.
Deine Idee, Google zu täuschen wäre in diesem Falle (siehe oben) vermutlich sogar eher schädlich.
Also das hört sich gut an, nur weiß ich trotzdem nicht wie das gehen soll. Vermutlich ja via PHP, womit ich mich aber kein Bisschen auskenne.
Die Frage ist halt ob Google das wirklich als Täuschung ansieht, da es ja normal ist i NOFRAMES-Teil den Content nochmal darzustellen, z.B. für Browser die keine Frames anzeigen können. Da ist eigentlich nichts verwerfliches dran..
fatfreddy schrieb:
Das ursächliche Problem ist die Gestaltung der Homepage mit Frames. Was Du erkannt hast, ist einer der wesentlichen Nachteile der Framelösungen, der mit dazu beigetragen hat, daß diese heute kaum noch eingesetzt werden.
Alternative zu Googletricks und beste Lösung für dich: Gestalte deine Webseite so, daß Du ohne Frames auskommst. (Dein Problem betrifft ja eben nicht nur die Bilder, sondern sämtliche Unterseiten deiner Homepage!)
Klar, das ist Arbeit, aber so, wie ich das sehe, willst Du dich mit der Website verkaufen. Wenn ja, dann solltest Du es den Usern so einfach wie möglich machen, daß, was Du ihnen mitteilen willst zu finden.
Ich weiß, dass das das Hauptproblem bei Frames ist, und mir wird immer wieder geraten einfach auf Divs umzustellen. Jedoch möchte und werde ich das aus diversen Gründen nicht tun. Zumal weil ich mich mit Frames einfach besser auskenne. Und bis auf dieses Problem hatte ich noch nie welche damit und kann mir auch nicht vorstellen was da sonst noch schiefgehen könnte.
Im Endeffekt geht es auf der Website ja um die Musik, und an sich sind alle relevanten Keywords in der Index.html im NOFRAMES-Teil. Und wenn man auf diese Seite kommt ist der Rest sowieso übersichtlich. Laut Google-Analytics finden sich die User gut auf der Seite zurecht. Deswegen wäre es halt nur wichtig sie nicht quer auf irgendwelchen Unterseiten einsteigen zu lassen, weil sie sonst natürlich den Rest der Seite garnicht sehen. Normal sollte dieses Problem ja über die robots.txt und Meta-Angaben lösbar sein, nur hält sich Google derzeit anscheinend nicht dran.. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
