You must log in or register to comment.
Bots, die sich an die robots halten, waren nie das Problem *sfz
Technische Zugriffssperren ersetzt die Datei allerdings nicht: Sie formuliert Vorgaben, an die sich kooperative Crawler freiwillig halten, während manche Anbieter die Vorgaben der robots.txt ignorieren.
Und damit ist die Sache gestorben.
Für die anständigen gibt es das Schild “Rasen nicht betreten”. Für alle anderen einen hüfthöhen Zaun, Modell Anubis.
