[Miracle Boy]

Ich habe bei mir ein problem(chen) mit den Suchmaschienenbots

Habe ein robots.txt file mit folgendem inhalt in den public_html ordner hochgeladen

Code:

User-Agent: *

Disallow: /

Theoretisch müssten ja Google und co ja unverrichteter Dinge wieder verschwinden.

Folgende Bots tauchen trotzdem immer wieder auf:
Google
Yandex
Facebook
Internet Archive
Baidu

Die folgenden scheinen sich aber daran zu halten:
Alexa Internet
Altavista
Twitter
Blekko
Ask.com
Bing
MSN

Hat irgend Jemand eine Idee woran das liegen bzw. wie man das lösen könnte?!

[StefanT]

Das liegt vermutlich daran, dass es "User-agent" und nicht "User-Agent" lauten müsste. Das kann gut sein, dass manche Crawler da pingelig sind. Auf keinen Fall darf eine Leerzeile zwischen User-agent und den Regeln sein.
Beachte auch, dass einige Stunden dauern kann, bis ein Crawler die robots.txt erkennt.

[Miracle Boy]

die leerzeile ist da auch garnicht drin. ist hier irgendwie beim Code übernommen worden.

Hab das User-agent jetz mal umbenannt. mal sehen obs hilft

Sieht jetz so aus:

User-agent: *
Disallow: /

[Miracle Boy]

so. ich glaub es hat wirklich daran gelegen das ich agent groß geschrieben hatte.
Scheint nun zu funktionieren.
nur Yandex scheint das grundsätzlich zu ignorieren. hat der Bot schon immer gemacht.
aber gibt schlimmeres