ACHTUNG!: Dies ist ein Feature für fortgeschrittene Anwender. Wir empfehlen, Googles Webmaster Tools oder andere Informationsquellen zu konsultieren, bevor Sie Ihre Robots.txt-Datei bearbeiten. Fehler in der Bearbeitung können ihre Suchmaschinenoptimierung (SEO) negative beeinflussen. Metro Publisher übernimmt KEINE Verantwortung für die Konsequenzen einer bearbeiteten Robots.txt-Datei!
Eine sogenannte Robot.txt-Datei wird von Suchmaschinen benutzt, um Websites bzw. all deren Seiten zu indexieren. Sie kann in Zusammenhang mit Google's Webmaster Tools benutzt werden, um Veränderungen an Ihrer Website zu optimieren.
Zum Beispiel: Sie haben eine bereits existierende Website, die Sie als Metro Publisher Website neu einführen. Dann können Sie die Modifizierung in der Robots.txt Datei dazu verwenden, um Suchmaschinen über die Änderungen von der alten zur neuen Website zu informieren. Dieser Schritt sollte helfen, um die eventuellen negativen Effekte, die bei einem Website-Relaunch auftreten können, gering zu halten.
Bitte konsultieren Sie z. B. außerdem die entsprechenden Google's Webmaster Tools Dokumentation, um zu erfahren wie genau Sie eine Robot.txt-Datei benutzen und welchen Code Sie eingeben müssen.
Beispiel für Robots.txt-Datei:
Die Abbildung oben zeigt eine Standard Robot.txt Datei in Metro Publisher "Pages". Diese Codezeilen leiten Suchmaschinen zu Ihrer Website-Sitemap. Diese ist dafür verantwortlich, wie Ihre Website von Suchmaschinen indexiert wird. Wo sich Ihre Sitemap befindet, können sie hier nachlesen: Wie Sie Ihre XML Sitemap finden
Standard-Code:
User-agent: * Disallow: Sitemap: http://design.metropublisher.net/sitemap.xml Sitemap: http://design.metropublisher.net/sitemap_news.xml
Sollten Sie die Robot.txt Seite anpassen wollen, dann könne Sie dies über Metro Publisher "Pages" machen.
- Loggen Sie sich als Redakteur ein und klicken Sie auf "Pages" im Hauptnavegationsmenü.
- Klicken Sie auf "Hinzufügen".
- Auf der nächsten Seite wählen Sie dann "Text."
-
Fügen Sie den Titel ein.
HINWEIS: Diese Titel erscheint auf keiner Seite und in keinem Menü, Sie können also einen beliebigen Namen wählen. Dieser Titel dient nur dazu im Admin diese Pages-Seite zu idenfitizieren. - Nennen Sie die neue Pages Seite "robots.txt"
HINWEIS: Das ist der einzige Name, den Sie benutzen dürfen. Sollten Sie einen anderen Namen wählen, können Suchmaschinen die Datei nicht finden! - Fügen sie die Datei keinem Abschnitt oder Unterbschnitt zu!
- Fügen Sie den Code ein, den Sie brauchen.
- Vergessen Sie nicht zu Speichern.
Das wars schon! Es kann einige Minuten dauern, bis Ihre neue Page Seite wegen Caching erscheint.
KI Bots Blocken
Da es heutzutage relevant geworden ist, geben wir Ihnen hier den Code an, mit dem Sie z. B. OpenAI, Google's BARD und Facebook's KI blocken können:
Für ChatGPT:
User-agent: ChatGPT-User
Disallow: /
Für BARD:
User-agent: Google-Extended
Disallow: /
Für Facebook:
User-agent: FacebookBot
Disallow: /
Bei Metro Publisher ist es unsere höchste Priorität, Ihre Daten zu sichern und uns darum zu kümmern, dass Bots keinen übermäßigen Datenverkehr und Serverbelastung verursachen. Daher blockieren wir aktuell standardmäßig die folgenden aggressive Bots:
- Bytespider
- Baiduspider
- GPTBot
- SemrushBot
- dotbot
- AhrefsBot
- DataForSeoBot
- SeekportBot
- etc.
Weitere Bots werden bei Bedarf regelmäßig ebenso geblockt.
Eine ausführliche Liste bekannter, künstlicher Agenten finden sie hier auf der Dark Visitors Website.
Des weiteren blockieren wir Bots standardmäßig von unserer Sunchfuntkion-API.
Bitte lesen Sie sich auch unser Dokument zum Schutz gegen übermäßigen Bot-Websiteverkehr.
Kommentare