wemo wrote:Wenn ich mit Options -Indexes das Directory Listing verhindere und die index.html umbenenne,
dann finden Bots nichts zum Indexieren, richtig?
Wenn ein Bot durch einen Link auf eine deiner anders benannten File gelangt ist, ist dein System schon umgangen.
Dein Ansatz ist meiner Meinung nach der falsche.
Klar kannst du Dateien anders benennen, als es der Quasi-Standard vorgibt.
Natürlich kannst du Dateien so schrecklich verstümmeln, dass daran kein Crawler seine Freude haben wird.
Doch der Preis dafür ist, dass auch andere deine Seite nicht finden werden bzw. damit nichts anfangen können.
Meiner Meinung nach lohnt sich der ganze Aufwand gegen "Badbots" wie du sie nennst nicht. Konzentriere dich auf die offiziellen Crawler der Suchmaschinen. Diese kannst du mit einer robots.txt Datei ziemlich gut anweisen, welche Seiten zu indezieren, welchen Links zu folgen ist, und welche nicht.
Vielleicht wird die Sache klarer, wenn du erstmal erklärst, was du weshalb tun möchtest.