Hallo zusammen,
ich hab das Problem, dass der Google Bot bei mir enorme Errors erzeugt und somit die Logs sehr schnell ansteigen. In den logs sehe ich, dass der Google Bot dort auch auf Dateien zugreift, die ich per robots.txt eigentlich ausgeschlossen habe.
Ich verstehe das nicht genau wie das funktioniert mit dem Crawlen im Zusammenhang mit php-Seiten. Aber irgendwie erzeut der Bot immer mächtig viele php-errors.
Was kann ich tun?
Gruß
JfreakR