magnify
Home Themen Webmaster Böse Bots abwehren mit der "Spider-Trap"
formats

Böse Bots abwehren mit der "Spider-Trap"

Ich hatte im Newsletter bereits darüber berichtet. Seit einigen Monaten setze ich das Tool „Spider-Trap“ gegen feindliche Bots ein. Inzwischen wurden über 130 IP-Adressen automatisch in die .htaccess eingetragen und haben künftig keinen Zugriff auf meine Website.

Hintergrund und Funktionsweise:
Ohne die kleinen (Ro)Bots, die ständig auf der Suche nach neuen Seiten sind, würden Suchmaschinen nicht funktionieren – oder die Suchergebnisse wären völlig veraltet. Seiten, die man von der Indexierung in Suchmaschinen ausschließen möchte, kann man auf seinem Server in der Datei „robots.txt“ eintragen.

Soweit – so gut. Denn die großen Suchmaschinen wie Google, MSN oder Yahoo halten sich an diese Regel. Doch es gibt auch „böse“ Spider, die das Web nach Daten durchsuchen und die robots.txt einfach nicht beachten. Diese Spider suchen E-Mail-Adressen (für einen späteren Spam-Einsatz), sie klauen Content (was den Originalseiten wegen „Duplicate Content“ richtige Probleme bereiten kann), etc.

Genau hier setzt ein kostenloses Tool an, welches ich allen Webmastern empfehlen kann: Spider-Trap. Die Spinnenfalle lockt die bösen Bots über einen (auf Wunsch unsichtbaren) Link in eine Falle und schließt sofort die Absender-IP-Adresse über einen EIntrag in der .htaccess für weitere Besuche der Website aus. Falls ein Besucher versehentlich den Link klickt, kann er sich sofort über die Eingabe eines Codes wieder freischalten lassen. White- und Blacklist lassen sich auch manuell bearbeiten.

Spider-Trap wurde von Thomas Zeithaml programmiert und lässt sich in wenigen Minuten installieren. Ich habe es auch auf 100pp seit einigen Tagen im Einsatz. Wenn Sie es testen möchten, klicken Sie doch einmal das kleine Spider-Verbotsschild auf der Startseite unten links…

VN:F [1.9.22_1171]
Wie hat dir dieser Beitrag gefallen?
Wertung: 0.0/5 (0 Bewertungen)
Danke für´s Teilen :-)Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedIn
 
 Share on Facebook Share on Twitter Share on Reddit Share on LinkedIn
Kommentare deaktiviert für Böse Bots abwehren mit der "Spider-Trap"  comments