D_a_X@feddit.org to Netzkultur / Netzpolitik@feddit.org · 20 hours agoKI-Training: Ein Eintrag in der robots.txt soll bald für alle Bots reichenwww.heise.deexternal-linkmessage-square3linkfedilinkarrow-up18arrow-down13
arrow-up15arrow-down1external-linkKI-Training: Ein Eintrag in der robots.txt soll bald für alle Bots reichenwww.heise.deD_a_X@feddit.org to Netzkultur / Netzpolitik@feddit.org · 20 hours agomessage-square3linkfedilink
minus-squareeinkorn@feddit.orglinkfedilinkarrow-up18·20 hours ago Technische Zugriffssperren ersetzt die Datei allerdings nicht: Sie formuliert Vorgaben, an die sich kooperative Crawler freiwillig halten, während manche Anbieter die Vorgaben der robots.txt ignorieren. Und damit ist die Sache gestorben.
minus-squareKlingenrenner@feddit.orglinkfedilinkarrow-up6arrow-down1·16 hours agoFür die anständigen gibt es das Schild “Rasen nicht betreten”. Für alle anderen einen hüfthöhen Zaun, Modell Anubis.
Und damit ist die Sache gestorben.
Für die anständigen gibt es das Schild “Rasen nicht betreten”. Für alle anderen einen hüfthöhen Zaun, Modell Anubis.