MyBB.de Forum

Hallöchen,

in den letzten Monaten ist es ab und an passiert, dass mein Forum von mir und anderen Usern nicht erreicht werden konnte.
502 Proxy Error
Proxy Error
The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request

Reason: Error reading from remote server

Heute habe ich das ca. 19:00 Uhr festgestellt, und es ist immer noch nicht ereichbar ...
https://www.clever-excel-forum.de/

Seltsamerweise laufen da aber anscheinend normale Aktivitäten - festzustellen im phpadmin beim Hoster.
Die Zugriffe laufen auch munter weiter.

Ich habe da mal die letzten 8 Zugriffe notiert, die finde ich auch recht seltsam... Diese sind alle mit der uid 0.
187.220.212.188 Mexico
122.6.154.232 Shandong China
41.139.167.23 Nairobi Kenia
66.249.79.71 Iowa USA
103.248.222.153 Punjab Pakistan
146.174.178.65 Singapur
202.65.238.137 Jakarta Indonesien
116.21.162.168 Guangdon China

PHP-Code:
SELECT `useragent`, `uid`, `sid`, INET6_NTOA(`ip`) AS iP_HexValue, `time`

FROM `mybb_sessions` Where `time` >= 1766257360 order by `time` desc 

Als 9. kam dann eine bekannte uid, dann wieder 0er ...
Die IP-Locations habe ich über Netzwelt gesucht.

Teil- / zeitweise hatte ich in den letzten Wochen immer mal um die 30-40 auf die Sekunde gleichzeitige Zugriffe, aber von unterschiedlichen IP
Nimmt man time +/- 1 Sekunde, kommt man auf 40-60

PHP-Code:
SELECT `uid`, `time`, Count(*) As `anzahl`

FROM `mybb_sessions` Group by `time` order by `anzahl` desc 

In der Sessions sind übrigens gut 95% 0er.

Im Moment habe ich insgesamt gut 28.000 Einträge darin.
Ich hatte aber auch schon ca. 500.000

Spider habe ich gut 130 definiert.
In den letzten 24 h liefen 42, in den letzten 30 Minuten 17

PHP-Code:
SELECT `useragent`, Count(*) As `anzahl`

FROM `mybb_sessions`

WHERE useragent REGEXP '(?i)bot|spider|crawl|slurp|archiv|fetch|scrap|scan|monitor' Group by `useragent` order by `anzahl` desc 

Hat irgendwer auch solche Probleme / Erfahrungen / Anregungen?
Meine nächste Aktion wird wohl eine Überarbeitung der robots.txt sein.

Seit einigen Monaten sind vermehrt Bots unterwegs, die sich weder als solche erkennen geben noch an die Spielregeln (wie robots.txt) halten. Diese crawlen zeitweise von mehreren hundert IP-Adressen parallel und verschwenden dabei massiv Ressourcen. Aufgrund der vielen Anfragen kann das sogar den Server verlangsamen oder eine Website ganz lahmlegen.

Aufgrund der ständig wechselnden IP-Adressen und der Tarnung als normaler Nutzer sind sie leider nur schwer zu erkennen und zu stoppen.

Moin Stefan,

danke für die Antwort - man macht sich da ja auch Gedanken, ob das was auf das eigene Forum spezielles und gezieltes ist... Da wird das mit der robot nix oder nicht viel bringen :-(

Problematisch ist neben dem Traffic, wenn dadurch ein "einfach" gehostetes Forum an die 2 GB - DB - Grenze rutscht. Ich habe durch die sessions bei den 500.000 Einträgen gut 0,4-0,5 GB mehr in der DB gehabt ...

Ich hatte deswegen schon die Bereinigung auf ca. alle 3h gestellt und vorübergehend - als ich die 500.000 hatte - in der dailycleanup.php die Frist von 24h auf 12 oder 6h gekürzt...
Eventuell werde ich da auch nochmal schauen, dass ich da zwischen den Gästen und den angemeldeten Usern unterscheide und die 0er vielleicht schon nach 3 h entferne ...
Ein Anmeldezwang, um da vielleicht reduzierend einzugreifen, wäre kontraproduktiv für die "richtigen" Interessenten.

Eine Serverinstallation bietet da mehr, kostet aber auch mehr und braucht etwas mehr Wartungsaufwand. Und das Problem mit dem Traffic würde bleiben. :-(

Das ist ziemlich sicher nichts Gezieltes, andere Betreiber von Foren berichten ähnliches. Vorhin als ich dir geschrieben habe, waren hier im Forum auch über 2000 "Gäste" unterwegs und vor ein paar Tagen gab es - mitten in der Nacht - einen neuen Besucherrekord mit über 10000. Das sind dann wohl 99,99% Bots... Sad

schauan

StefanT

schauan

StefanT