Im Laufe der letzten Dekade werden regelmäßig Cybersicherheitsberichte über die Herkunft des weltweiten Websiteverkehrs veröffentlicht. Dabei kristallisiert sich eine sich fortlaufend, deutlich erhöhende Menge an Websiteverkehr durch sowohl "gute" als auch "schädliche" Bots heraus. Bots sind daher für eine große Menge an sogenannten ungültigem Websiteverkehr verantwortlich und können Analytikstatistiken verfälschen, Werbungsbudget und Datentransferbudget kosten.
Imperva gibt jährlich eine Analyse mit Statistiken heraus. Hier ist ein Auszug aus ihrem 2024 Berlicht, der das allgemeine Problem beschreibt:
Bad bot traffic levels rose for the fifth consecutive year, indicating an alarming trend. This increase is partly driven by the increasing popularity of Artificial Intelligence (AI) and Large Learning Models (LLMs). In 2023, bad bots accounted for 32% of all internet traffic – a 1.8% increase from 2022. The portion of good bot traffic also increased, albeit slightly less significantly, from 17.3% of all intent traffic in 2022 to 17.6% in 2023. Combined, 49.6% of all internet traffic in 2023 wasn’t human, as human traffic levels decreased to 50.4% of all traffic.
Quelle: Imperva 2024 Bad Bot Report
Zusammenfassend machen Bots inzwischen ca. 50% des Websiteverkehrs aus, 2/3 davon sind schädliche Bots. Wie von Imperva angegeben, ist in Deutschland inzwischen sogar 68% des Websiteverkehrs auf Bots zurückzuführen.
Lunio stellt einen ähnlichen Bericht zur Verfügung, der insbesondere auf den Einfluß von Bots auf Werbung bzw. Werbekosten eingeht. Hier ist ein Zitat aus deren Bericht von 2024:
Invalid traffic (IVT) refers to any website visits that don’t come from a real person with genuine interest. It can include bots (both good and bad), fake users, misattributed accidental clicks, malicious clicks from competing advertisers, and otherwise invalid visitors that have zero chance of converting to customers.It instantly wastes budget - because those “visitors” will never convert.
IVT also distorts analytics, leading to unwise budget allocation.
Quelle: Lunio Wasted Ad Spend Report 2024
Die gute Nachricht ist, dass Zeitschriften nicht zu einer der Hauptzielgruppen dieser Bots gehört.
Bei Metro Publisher ist es nach wie vor unsere höchste Priorität die Websites unserer Kunden zu schützen und die Belastung der Datenbanken durch solchen Verkehr zu überwachen, um solche schädliche Bots in Schach zu halten. Bestimmte schädliche Bots blockieren wir daher bereits standardmäßig über die robots.txt Datei auf allen Kundenseiten. Außerdem blockieren wir den Zugang zu unserer Siteweiten-Suchfunktion API.
Sollten Sie sich darüber informieren möchten, welche Bots wir blockieren oder Ihre robots.txt Datei selbst bearbeiten, besuchen Sie bitte das folgende Supportdokument: Wie sie "Pages" benutzen können, um ein Custom Robots.txt Datei zu erstellen
Bitte beachten Sie, dass KI Assistenten wie z. B. ChatGPT, die als allgemein nützlich gesehen werden, ebenso Datenverkehr auf Ihrer Website verursachen. KI Search Crawlers wie z. B. die von Amazon (Alexa) oder Apple (Siri) geben Links zur Quelle der Informationen an. Sie müssen natürlich nicht jegliche künstliche Agenten blockieren, aber es ist ein Thema, das berücksichtigt werden sollte, da Ihre urheberrechtlich geschüzten Inhalte genuzt und neu veröffentlicht werden. Information wird fabriziert, was bedeutet, dass Ihre Inhalte falsch zitiert werden könnten und Ihre Website trotzdem als Quelle des falschen Zitats angegeben wird.
Eine Aufstellung inklusive Beschreibung der verschiedenen "normalen" und künstlichen Agenten, die im Web zirkulieren, finden Sie hier.
Kommentare