Neue Blogeinträge

Der Umgang mit Crawlern, Spidern und anderem Ungeziefer

Performanz und Verfügbarkeit von Websites sicherstellen

Das Verhältnis von Website-Betreibern zu digitalen Krabbeltieren ist ambivalent; einerseits ist man auf sie angewiesen, um überhaupt in Suchmaschinen wie Google in Erscheinung zu treten, andererseits ist die schiere Masse aggressiver, rücksichtsloser, sinnloser, fehlerhaft programmierter oder bewusst schadhafter Bots längst zu einem Problem geworden.

Image field: