Hallo, Gast! (Registrieren)

Letzte Ankündigung: MyBB 1.8.12 veröffentlicht (22.05.17)


Benutzer, die gerade dieses Thema anschauen: 1 Gast/Gäste
robots.txt und google
#1
Hallo zusammen,

ich habe in meiner robots.txt u.a. folgenden Eintrage:

Disallow: /search.php

Im google Webmaster Tool sieht es jedoch so aus, als ob google das nutzen will und ein Problem dabei hat. Mir werden die entsprechenden Links als Crawlingfehler angezeigt. Logisch, eventuell geht die Suche in einen Bereich für registrierte Mitglieder ... Aber wie gesagt, eigentlich soll google ja nicht "search"en.

URL:
http://www.clever-excel-forum.de/search....ser&uid=47
Fehler 403
Der Googlebot konnte Ihre URL nicht crawlen, da Ihr Server entweder eine Authentifizierung für den Zugriff auf die Seite erfordert oder dem Googlebot den Zugriff auf Ihre Website verwehrt.

Wenn ich den Link anklicke, bekomme ich das Suchergebnis für alle Beiträge des users.
Wenn ich auf "Abruf wie durch google" klicke, kommt "von robots.txt abgelehnt"

Hier ist noch die komplette robots.txt:

Sitemap: http://www.clever-excel-forum.de/sitemap-index.xml
User-agent: *
Disallow: /attachment.php
Disallow: /captcha.php
Disallow: /css.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /managegroup.php
Disallow: /master_favourite_post.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /polls.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /showteam.php
Disallow: /stats.php
Disallow: /syndication.php
Disallow: /task.php
Disallow: /thankyoulike.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /warnings.php
Disallow: /xmlhttp.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /User-*
Disallow: /mobiquo/
Disallow: /highslide/
Disallow: /admin/
Disallow: /install/
Grüße, André
#2
Ich würde den Sitemaps ganz ans Ende schreiben (und durch eine Leerzeile von den anderen Regeln trennen. Ansonsten sieht das alles für mich richtig aus.
Crawling-Fehler sind normalerweise ja auch nichts schlimmes, wie ich kürzlich hier beschrieben habe: https://www.mybb.de/forum/thread-28100-p...#pid200742
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.
#3
Hallo Stefan,

danke für die Antwort, das beruhigt mich ;-) Ich hab immer die eine oder andere Befürchtung, wenn ich "schlechte" Nachrichten sehe. Google hatte dazu eine wichtige Nachricht: http://www.clever-excel-forum.de/: Increase in authorization permission errors
Grüße, André
#4
Das sollte eigentlich nicht passieren, wenn die Datei in der robots.txt steht. Aber das ist eher als Hinweis zu sehen, dass etwas nicht stimmen könnte; was hier nicht der Fall ist. Wink
[Bild: banner.png]

Bitte die Foren-Regeln beachten und im Profil die verwendete MyBB-Version angeben.


Möglicherweise verwandte Themen...
Thema Verfasser Antworten Ansichten Letzter Beitrag
  Muss robots.txt von Google gelesen werden können? Koelner 30 2.936 22.06.2014, 19:39
Letzter Beitrag: Koelner
Wink robot.txt susi 4 560 19.03.2014, 20:58
Letzter Beitrag: susi
  htaccess.txt in .htaccess umbenennen Jockl 9 2.310 19.02.2013, 21:07
Letzter Beitrag: Muckelchen
  Seiten mithilfe einer "robots.txt"-Datei blockieren oder entfernen Trust 2 650 14.12.2012, 14:08
Letzter Beitrag: frostschutz