Hi,
ich habe gerade gesehen dass in den Google Webmaster Tools immer mehr fehlerhafte URL`s auf meiner Domain
http://www.sportwettentalk.com angezeigt werden.
Die Fehler steigen seit dem Juni 2012 stetig an und sind mittlerweile bei über 50 000.
Der Googlebot versucht auf Seiten zuzugreifen von denen er dann einen 403 Code gemeldet bekommt.
Wie kommt es dazu??
Im Anhang ein Screenshot der Fehler.
Ist die Suchmaschine als Gruppe eingerichtet uns wenn ja, hat sie irgendwelche Rechte ?
Der Bot versucht auf Rechte zuzugreifen, die er nicht hat, deswegen der 403.
Also ich habe für Suchmaschinen Bots eine Gruppe angelegt damit die geschlossene Foren durchsuchen können und diese indizieren können.
Aber diese Gruppe hat keine Rechte. Was müsste ich denn jetzt genau machen, damit diese Fehler nicht mehr ansteigen?
Du hast anscheinend keine robots.txt Datei angelegt. Schau Dir mal die von MyBBoard.de an:
https://www.mybb.de/forum/robots.txt
Auf diese Art werden den Bots die Zugriffe auf diese PHP´s oder auch ganze Ordner untersagt. Man "verbietet" sozusagen das crawlen dieser Inhalte. Da Dein Bot keine Rechte für Themenerstellung oder Thread-Bewertung oder ähnliches hat, kommt dann der Zugriffsfehler in Deinem Log. Du kannst ja genau sehen was Er versucht hat aber nicht durfte.
- ratethread.php
- newreply.php
- u.s.w.
Ich denke mit einer guten robots.txt wirste das in den Griff bekommen,
denn was die Bots nicht crawlen dürfen, kann dann auch nicht als Zugriffsverweigerung geloggt werden.
Aber bitte nicht die Datei von hier einfach übernehmen, die Regeln wurden auf die Rechte hier im Forum zugeschnitten.
Alles klar, danke, schaue ich mir gleich einmal an.
(10.10.2012, 05:41)GreenDragon schrieb: [ -> ]Ich denke mit einer guten robots.txt wirste das in den Griff bekommen,
denn was die Bots nicht crawlen dürfen, kann dann auch nicht als Zugriffsverweigerung geloggt werden.
"Nicht crawlen dürfen" - nunja, die Bots müssen sich nicht an die robots.txt halten - jedoch halten sich die meisten Crawler daran.
Hier geht es ja um Google.
