---
title: "Was ist robots.txt? Dateiformat, Regeln und die richtigen Einstellungen für einen E-Commerce-Shop: Ratgeber zur Steuerung von Suchmaschinen-Crawlern"
description: "Was ist robots.txt? Erfahren Sie, wo die Datei liegt, wie die Zeilen User-agent, Disallow und Allow funktionieren, was der Unterschied zu noindex ist, was im E-Commerce gesperrt werden sollte und welche Fehler häufig sind."
url: https://www.faprika.com/de/blog/was-ist-robots-txt
language: de
site: Faprika
---

# Was ist robots.txt? Dateiformat, Regeln und die richtigen Einstellungen für einen E-Commerce-Shop: Ratgeber zur Steuerung von Suchmaschinen-Crawlern

> Was ist robots.txt? Erfahren Sie, wo die Datei liegt, wie die Zeilen User-agent, Disallow und Allow funktionieren, was der Unterschied zu noindex ist, was im E-Commerce gesperrt werden sollte und welche Fehler häufig sind.

Das Schaufenster eines Geschäfts steht allen offen, aber ins Lager, hinter die Kasse oder ins Büro der Geschäftsleitung darf nicht jeder. Auch auf Ihrer Website gibt es eine solche Ordnung: Produkt- und Kategorieseiten sind für Besucher und Suchmaschinen zugänglich, während Warenkorb, Bestellschritte, Admin-Bereich und endlos viele Filter-URLs nicht jeder sehen muss. Den automatischen Besuchern der Suchmaschinen (Crawlern, also Bots) werden diese Grenzen in einer kleinen Textdatei mitgeteilt: der robots.txt.

In diesem Ratgeber beantworten wir die Frage **Was ist die robots.txt** einfach und verständlich: was die Datei ist, wo sie liegt, wie die Zeilen User-agent, Disallow, Allow und Sitemap geschrieben werden, worin der Unterschied zu Noindex besteht, was in einem E-Commerce-Shop blockiert und was niemals blockiert werden sollte, wie man KI-Crawler steuert sowie häufige Fehler und Testmethoden. Am Ende finden Sie die Robots-Steuerung mit Faprika und ein FAQ mit sechs Fragen.

Kerngedanke

„Die robots.txt ist eine Höflichkeitsregel, die Crawlern sagt, welche Türen sie betreten dürfen und welchen sie fernbleiben sollen. Sie versteckt keine Seite und entfernt sie nicht aus dem Index, sondern steuert nur das Crawling. Richtig geschrieben lässt sie die Suchmaschine ihre Zeit auf wertvolle Seiten verwenden; falsch geschrieben kann sie Ihren gesamten Shop mit einer einzigen Zeile unsichtbar machen.“

## Was ist die robots.txt?

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Adressen sie aufrufen dürfen und welche nicht. Dieses auch als „Robots Exclusion Protocol“ bekannte Verfahren ist seit den frühen Jahren des Internets eine gemeinsame Konvention.

Die Datei ist keine Anweisung, sondern eine Bitte. Die große Mehrheit der Suchmaschinen hält sich daran, doch die Datei selbst zwingt niemanden. Böswillige Bots lesen sie womöglich gar nicht; deshalb gilt die robots.txt nicht als Sicherheitsmaßnahme. Für einen Bereich, der geheim bleiben muss, braucht es Passwort, Autorisierung und Servereinstellungen; die robots.txt ist lediglich eine Vereinbarung mit ehrlichen Crawlern.

Die Datei ist ein einfacher Text mit der Endung .txt; spezielle Software ist nicht nötig. Sie lässt sich mit einem Texteditor schreiben, doch Name und Ort müssen exakt stimmen: Der Dateiname lautet robots.txt in Kleinbuchstaben, und sie liegt im Stammverzeichnis der Website. In ihrer einfachsten Form sieht sie so aus:

<code>User-agent: * Disallow: Sitemap: https://magazaadresiniz/sitemap.xml</code>

Diese zweizeilige Datei bedeutet: „Alle Crawler dürfen überall hin, und hier ist meine Sitemap.“ Eine leere Disallow-Zeile blockiert nichts.

## Was ist ein Crawler (Bot) und wie hängt er mit der robots.txt zusammen?

Ein Crawler, Bot oder Spider ist eine Software, die Webseiten automatisch besucht, deren Inhalt liest und über Links neue Seiten findet. Suchmaschinen entdecken mit dieser Software Ihre Website und nehmen sie in ihren Index auf.

Kommt ein Crawler auf eine Website, sieht er zuerst in die robots.txt im Stammverzeichnis. Gibt es dort eine Regel für ihn, wendet er sie an und beginnt dann mit dem Crawling. Fehlt die Datei (Antwort 404), nimmt er an, überall hin zu dürfen. Jeder Crawler hat einen eigenen Namen, den Sie in der Datei ansprechen können; dieser Name heißt „User-agent“.

Zeit und Ressourcen, die Crawler auf einer Website aufwenden, sind begrenzt. In der Branche spricht man vom Crawl-Budget. In einem großen E-Commerce-Shop können Filterkombinationen, Sortierparameter und interne Suchseiten Hunderttausende Adressen erzeugen; verschwenden Crawler Zeit darauf, werden Ihre neuen Produkte und wichtigen Kategorien möglicherweise spät entdeckt. Die robots.txt ist der erste und günstigste Weg, diese Ressource auf wertvolle Seiten zu lenken.

*Görsel: Was robots.txt ist: Kommt ein Crawler auf eine Website, liest er zuerst die Datei robots.txt und durchsucht die Seiten nach deren Regeln (Der Crawler liest zuerst die robots.txt und crawlt dann nach den Regeln)*

Die Grafik fasst den Ablauf zusammen: Der Crawler kommt auf die Website, ruft die robots.txt ab, liest die Regeln und crawlt die erlaubten Adressen; blockierte Adressen betritt er nicht. Dieselbe Reihenfolge als Text: erst die Datei, dann die Regel, dann das Crawling.

## Wo liegt die robots.txt und wie wird sie erstellt?

Die robots.txt muss im Stammverzeichnis jeder Domain (und Subdomain) unter der Adresse /robots.txt liegen. Eine Datei in einem anderen Ordner wird von Crawlern nicht gesucht.

Das hat praktische Folgen:

- **Ein Stamm, eine Datei.** Für die Hauptdomain Ihres Shops gilt die Adresse magazaadresiniz/robots.txt. Haben Sie eine Subdomain (zum Beispiel für den Blog), braucht sie eine eigene robots.txt; die Datei der Hauptdomain bindet die Subdomain nicht.
- **Protokoll und Domain-Variante sind wichtig.** http und https sowie Adressen mit und ohne www sind technisch getrennte Adressen. Wird auf eine Variante weitergeleitet, müssen die Regeln in der Datei dieser Variante stehen.
- **Der Dateiname wird kleingeschrieben.** Schreibweisen wie Robots.txt oder robots.TXT sind nicht zuverlässig.
- **Die Datei muss reiner Text sein.** Kein HTML, kein Bild, kein formatiertes Dokument; einfacher Text, vorzugsweise in UTF-8-Kodierung.
- **Die Datei muss mit dem Statuscode 200 geöffnet werden.** Liefert sie einen Fehler, weiß der Crawler nicht, was er tun soll; das macht das Crawling-Verhalten unvorhersehbar.

Es gibt zwei Wege, sie zu erstellen: die Datei von Hand schreiben und im Stammverzeichnis ablegen oder die Robots-Einstellung Ihrer E-Commerce-Plattform nutzen. Bei fertigen Plattformen wird die Datei meist im Admin-Bereich verwaltet; dann müssen Sie sie nicht manuell hochladen. In den folgenden Abschnitten bauen wir den Inhalt der Datei Schritt für Schritt auf.

## Was bedeuten die Zeilen der robots.txt?

Die robots.txt besteht aus vier Grundzeilen: User-agent nennt, für wen die Regel gilt, Disallow was blockiert wird, Allow die Ausnahme innerhalb einer Sperre und Sitemap die Adresse der Sitemap. Die Zeilen werden in Gruppen geschrieben, und jede Gruppe beginnt mit einer User-agent-Zeile.

*Görsel: Robots.txt-Zeilen: Was die Zeilen User-agent, Disallow, Allow und Sitemap bedeuten (Die vier Grundzeilen einer robots.txt-Datei)*

| Zeile | Was sagt sie aus? | Beispiel |
| --- | --- | --- |
| User-agent | Für welchen Crawler die Regel gilt; ein Sternchen (*) bedeutet alle | User-agent: * |
| Disallow | Ein Pfad, der nicht aufgerufen werden soll | Disallow: /sepet |
| Allow | Ein Pfad, der innerhalb eines gesperrten Bereichs erlaubt ist | Allow: /sepet/bilgi |
| Sitemap | Die vollständige Adresse der Sitemap | Sitemap: https://magazaadresiniz/sitemap.xml |

### 1. User-agent

User-agent legt fest, für wen die Regel gilt. Das Sternchen (*) umfasst alle Crawler. Möchten Sie eine eigene Regel für einen bestimmten Crawler, schreiben Sie dessen Namen; dieser Crawler beachtet sowohl seine eigene Gruppe als auch die Sternchen-Gruppe, wendet aber, wenn es eine eigene Gruppe für ihn gibt, meist nur diese an. Wenn Sie also eine eigene Gruppe für einen bestimmten Crawler anlegen, müssen Sie die allgemeinen Regeln unter Umständen auch in dieser Gruppe wiederholen.

### 2. Disallow

Disallow gibt den gesperrten Pfad an. Der Pfad beginnt mit einem Schrägstrich und umfasst alle Adressen, die damit beginnen. Schreiben Sie Disallow: /sepet, wird jede Adresse blockiert, die mit /sepet beginnt (zum Beispiel /sepet/odeme). Eine leere Zeile bedeutet „nichts blockieren“.

### 3. Allow

Allow dient dazu, innerhalb einer breiten Sperre eine kleine Ausnahme zu öffnen. Sie können zum Beispiel einen Ordner sperren und einen einzelnen Unterordner darin erlauben. Betreffen mehrere Regeln dieselbe Adresse, gewinnt in der Regel der spezifischere (längere) Pfad.

### 4. Sitemap

Die Sitemap-Zeile gibt die vollständige Adresse Ihrer Sitemap an. Sie kann an beliebiger Stelle der Datei stehen und gehört zu keiner User-agent-Gruppe. Beim Lesen der robots.txt erfährt der Crawler auch die Adresse Ihrer Sitemap. Wie man eine Sitemap erstellt, steht im Ratgeber [Was ist eine Sitemap](https://www.faprika.com/de/blog/was-ist-eine-sitemap).

### 5. Platzhalter und das Zeilenende-Zeichen

Das Sternchen (*) steht im Pfad für „beliebige Zeichenfolge“; das Dollarzeichen ($) besagt, dass die Adresse genau hier endet. Beides wird von den großen Crawlern unterstützt, doch die Unterstützung ist nicht bei jedem Crawler gleich; prüfen Sie kritische Regeln zuvor mit einem kleinen Test.

<code>User-agent: * Disallow: /*?sirala= Disallow: /*.pdf$</code>

Die erste Regel blockiert jede Adresse, die ?sirala= enthält; die zweite sperrt Adressen, die genau auf .pdf enden. Beachten Sie die Groß-/Kleinschreibung: Pfade sind in der Regel groß-/kleinschreibungssensitiv, Direktivennamen (User-agent, Disallow) dagegen nicht.

In die Datei können auch Kommentarzeilen geschrieben werden: Zeilen, die mit # beginnen, werden von Crawlern ignoriert. Kurze Notizen zu hinterlassen, damit Sie sich Monate später daran erinnern, warum Sie eine Regel eingefügt haben, ist eine gute Gewohnheit.

Lesetipp

Was ist eine Sitemap?

## Was ist der Unterschied zwischen robots.txt und Noindex?

Die robots.txt hindert einen Crawler daran, eine Adresse aufzurufen; Noindex verlangt, dass die Seite nicht in den Suchergebnissen erscheint. Eine durch die robots.txt gesperrte Seite kann dennoch mit ihrer Adresse im Index auftauchen, wenn sie Links von anderen Websites erhält, denn der Crawler betritt die Seite nicht und sieht daher weder den Inhalt noch die Noindex-Anweisung.

Das ist das häufigste Missverständnis: Die robots.txt entfernt eine Seite nicht aus dem Index. Soll eine Seite aus den Suchergebnissen verschwinden, muss der Crawler die Seite betreten und die Noindex-Anweisung lesen können; das heißt, Sie dürfen diese Seite nicht in der robots.txt blockieren.

*Görsel: Robots.txt und noindex im Vergleich: robots.txt sperrt das Crawling, noindex verhindert die Indexierung, canonical teilt die Hauptadresse mit (Die robots.txt steuert das Crawling, Noindex die Indexierung)*

| Funktion | Robots.txt | Noindex |
| --- | --- | --- |
| Wo wird es festgelegt? | In der robots.txt im Stammverzeichnis | Im Meta-Tag der Seite oder im Header der Serverantwort |
| Was steuert es? | Das Crawling (betritt der Crawler die Seite?) | Die Indexierung (erscheint die Seite in den Ergebnissen?) |
| Ist die Seite in den Ergebnissen sichtbar? | Bei Links von anderen Websites kann sie als bloße Adresse erscheinen | Nicht sichtbar, sofern der Crawler die Anweisung lesen kann |
| Betritt der Crawler die Seite? | Nein | Ja, und liest die Anweisung |
| Typische Anwendung | Crawl-Ressourcen schonen, endlose Adressräume schließen | Seiten, die nicht in den Ergebnissen erscheinen sollen |
| Lassen sie sich kombinieren? | Widerspricht Noindex auf derselben Seite | Blockieren Sie dieselbe Seite nicht zusätzlich mit der robots.txt |

Der Entscheidungsrahmen lautet: Sperren Sie mit der robots.txt Bereiche, die Crawl-Ressourcen verschwenden und nie in den Ergebnissen erscheinen müssen (etwa endlose Filterkombinationen). Verwenden Sie Noindex, wenn die Seite selbst nicht in den Ergebnissen auftauchen soll, der Crawler sie aber lesen können muss. Hat derselbe Inhalt mehrere Adressen, geben Sie die Hauptadresse mit dem Canonical-Tag an; Details zu diesem Unterschied finden Sie im Beitrag [Was ist ein Canonical-Tag](https://www.faprika.com/de/blog/was-ist-das-canonical-tag).

Tipp

Erst Noindex, dann die Sperre

Möchten Sie eine Seite entfernen, die im Index erscheint, fügen Sie ihr zuerst Noindex hinzu und warten Sie, bis der Crawler sie erneut liest und aus den Ergebnissen nimmt. Erst nachdem die Seite aus dem Index verschwunden ist, können Sie sie bei Bedarf in der robots.txt sperren. Wird die Reihenfolge umgekehrt, sieht der Crawler das Noindex nie.

## Was sollte die robots.txt bei einem E-Commerce-Shop blockieren?

Bei einem E-Commerce-Shop blockiert man mit der robots.txt in der Regel Warenkorb und Bestellschritte, Kundenkontoseiten, Ergebnisse der internen Suche, Adressen mit Filter- und Sortierparametern sowie Admin-Bereiche. Gemeinsam ist ihnen, dass diese Adressen in den Suchergebnissen keine Entsprechung haben und Crawl-Ressourcen verschwenden.

### 1. Warenkorb und Bestellschritte

Warenkorb- und Bestellseiten sind personenbezogen; sie zeigen jedem Besucher andere Inhalte, und in den Suchergebnissen haben sie keinen Sinn. Dass Crawler diese Adressen aufrufen, ist überflüssig. Der Schutz der Bestellseiten, etwa durch ein [SSL-Zertifikat](https://www.faprika.com/de/blog/was-ist-ein-ssl-zertifikat), ist ein eigenes Thema; die robots.txt schützt diese Seiten nicht, sie bittet Crawler lediglich, fernzubleiben.

### 2. Kundenkonto und Login-Seiten

Aus demselben Grund werden Login, Bestellübersicht, Adressbuch und Passwort-zurücksetzen-Seiten gesperrt. Diese Seiten enthalten keine suchbaren Inhalte; da sie zudem Informationen für angemeldete Nutzer enthalten, ist es sinnlos, dass Crawler sich damit befassen.

### 3. Ergebnisse der Shop-internen Suche

Jede Suchanfrage, die ein Kunde ins Suchfeld eingibt, erzeugt eine neue Adresse. Die Zahl dieser Adressen ist unbegrenzt, und sie haben keinen dauerhaften inhaltlichen Wert. Diesen Bereich mit der robots.txt zu sperren, verhindert, dass der Crawler in einem endlosen Adresspool umherirrt.

### 4. Filter- und Sortierparameter

Farb-, Größen-, Preisbereichs- und Sortierauswahlen hängen Parameter an die Adresse an. Die Kombination weniger Filter kann Hunderttausende Adressen ergeben. Da die meisten dieselben Produkte nur in anderer Reihenfolge zeigen, haben sie keinen eigenen Suchwert. Statt alle zu sperren, entscheiden Sie, welche Filterseiten wirklich gesuchte Einstiegsseiten sind; halten Sie eine gesuchte Filterseite (z. B. eine bestimmte Kombination aus Farbe und Kategorie) für das Crawling offen. Zur Nutzerseite des Filterdesigns lesen Sie den Ratgeber [Optimierung von Produktfilter und Suchleiste](https://www.faprika.com/de/blog/produktfilterung-und-optimierung-der-suchleiste).

### 5. Admin-Bereiche und temporäre Seiten

Admin-Panels, Test- und Vorschauseiten, Backups und Dateien für den internen Gebrauch sollten nicht in den Suchergebnissen erscheinen. Zur Erinnerung: Die robots.txt ist öffentlich; alle können die gesperrten Pfade sehen. Den Namen eines wirklich geheimen Bereichs in die robots.txt zu schreiben, heißt daher, ihn bekannt zu machen. Für Vertraulichkeit ist eine Zugriffskontrolle unerlässlich.

### 6. Endlose Kalender, Session- und Tracking-URLs

Adressen mit Session-ID oder angehängten Kampagnen-Tracking-Parametern erzeugen Kopien einer Seite. Diese verwaltet man meist besser mit Canonical statt mit der robots.txt; sperren Sie sie, kann der Crawler die Seite nicht betreten und die Hauptadresse nicht lesen.

| Feld | Mit der robots.txt blockieren? | Warum? |
| --- | --- | --- |
| Warenkorb und Bezahlvorgang | Ja | Personenbezogen, kein Suchwert |
| Kundenkonto und Login | Ja | Persönliche Inhalte, Crawling überflüssig |
| Ergebnisse der Website-Suche | Ja | Endlose Adressen, kein dauerhafter Wert |
| Beliebige Filter und Sortierungen | In der Regel ja | Dieselben Produkte, viele Adressen |
| Gesuchte besondere Filterseite | Nein | Kann eine echte Einstiegsseite sein |
| Verwaltungs- und Testbereiche | Ja, zusätzlich Zugriffskontrolle | Sollte nicht im Index sein |
| Adressen mit Tracking-Parametern | Meist nein, mit Canonical lösen | Der Crawler muss die Hauptadresse lesen können |

Lesetipp

So richten Sie die

E-Commerce-SEO-Einstellungen

ein

## Was sollte man mit der robots.txt niemals blockieren?

Produktseiten, Kategorieseiten, Blogbeiträge sowie die Stil- (CSS) und Skriptdateien (JavaScript), die das Aussehen der Seiten bestimmen, sollten nicht mit der robots.txt blockiert werden. Werden sie gesperrt, sieht die Suchmaschine die Seite entweder gar nicht oder fehlerhaft.

- **Produkt- und Kategorieseiten.** Das sind die umsatzbringenden Seiten Ihres Shops; eine Sperre bedeutet direkten Sichtbarkeitsverlust.
- **Blog- und Informationsseiten.** Sie sind eine wichtige Quelle für Suchtraffic.
- **CSS- und JavaScript-Dateien.** Suchmaschinen möchten die Seite so darstellen, wie Besucher sie sehen. Werden Stil- und Skriptdateien gesperrt, kann die Seite fehlerhaft oder leer wirken; auch die Bewertung der Mobilfreundlichkeit und der Seitenerfahrung leidet darunter.
- **Bilder.** Wer Produktbilder für das Crawling sperrt, verliert die Sichtbarkeit in der Bildersuche.
- **Sitemap.** Die Sitemap selbst und die darin enthaltenen Adressen dürfen nicht gesperrt sein.
- **Weitergeleitete alte Adressen.** Der Crawler muss die alte Adresse aufrufen können, um die 301-Weiterleitung zu sehen. Sperren Sie die alte Adresse, gibt die Weiterleitung ihren Wert nicht weiter; Einzelheiten finden Sie im Beitrag [Was ist eine 301-Weiterleitung](https://www.faprika.com/de/blog/301-weiterleitung).
- **Seiten mit strukturierten Daten.** Rich-Result-Auszeichnungen wie Produkt- und Bewertungsdaten werden nur gelesen, wenn die Seite gecrawlt werden kann; Details im Leitfaden [Was sind strukturierte Daten](https://www.faprika.com/de/blog/was-sind-strukturierte-daten).

Tipp

Stellen Sie sich diese Frage, bevor Sie etwas sperren

Lautet die Antwort auf die Frage „Gewinnt mein Shop, wenn diese Adresse in den Suchergebnissen erscheint?“ Ja, sperren Sie sie nicht. Lautet sie Nein und verbraucht die Adresse Crawl-Budget, sperren Sie sie. Sind Sie unsicher, prüfen Sie zuerst mildere Methoden wie noindex oder Canonical, statt zu sperren.

## Wie sieht eine Beispiel-Robots.txt für einen E-Commerce-Shop aus?

Die folgende Datei ist ein schlichtes Beispiel für einen mittelgroßen E-Commerce-Shop: Sie sperrt Warenkorb, Konto, Suche und Adressen mit Parametern und meldet die Sitemap. Die Pfade unterscheiden sich je nach Shop; passen Sie sie an die tatsächlichen Pfade Ihrer Seite an.

<code># Tüm tarayıcılar için genel kurallar User-agent: * Disallow: /sepet Disallow: /odeme Disallow: /hesabim Disallow: /giris Disallow: /arama Disallow: /*?sirala= Disallow: /*?oturum= Sitemap: https://magazaadresiniz/sitemap.xml</code>

Die Logik der Datei: Die erste Kommentarzeile nennt den Zweck der Datei; User-agent: * wählt alle Crawler aus; die folgenden Zeilen sperren persönliche Bereiche, die Shop-Suche sowie Adressen mit Sortier- und Sitzungsparametern; die letzte Zeile zeigt den Ort der Sitemap. CSS-, JavaScript-, Produkt- und Kategorieadressen werden von keiner Zeile gesperrt.

### Beispiel für eine Ausnahme mit Allow

Allow verwenden Sie, wenn Sie einen Ordner sperren, aber einen einzelnen Unterpfad darin erlauben möchten:

<code>User-agent: * Disallow: /hesabim Allow: /hesabim/yardim</code>

In diesem Beispiel ist der Kontobereich gesperrt; nur die öffentlich zugängliche Hilfeseite darf gecrawlt werden. Da solche Ausnahmen die Regeln komplizierter machen, setzen Sie sie nur ein, wenn es wirklich nötig ist.

### Der Preis eines Fehlers: ein Unterschied von einer Zeile

Die beiden Regeln sehen sich sehr ähnlich, ihre Folgen sind jedoch genau entgegengesetzt:

<code>Disallow: # hiçbir şeyi engellemez Disallow: / # tüm siteyi engeller</code>

Die erste hat keinen Schrägstrich, und die gesamte Seite darf gecrawlt werden. In der zweiten sperrt ein einziger Schrägstrich die gesamte Seite für Crawler. Dieser Unterschied ist Thema des nächsten Abschnitts.

## Welche häufigen Fehler gibt es in der Robots.txt?

Die meisten Robots.txt-Fehler entstehen durch kleine Schreibdetails, haben aber große Folgen. Da die Regeldatei Ihre gesamte Seite von einer einzigen Stelle aus beeinflusst, muss jede Änderung sorgfältig erfolgen. Die häufigsten Fehler sind diese.

- **Versehentlich die gesamte Seite sperren.** Die Zeile Disallow: / sperrt die ganze Seite. Diese Regel, die oft vor dem Livegang für die Testseite gesetzt wird, wird beim Umzug auf die Live-Seite vergessen, und der Shop verschwindet nach und nach aus den Suchergebnissen. Sie gehört unbedingt auf Ihre Checkliste vor und nach dem Livegang.
- **CSS- und JavaScript-Dateien sperren.** Diese früher verbreitete Gewohnheit führt heute dazu, dass die Seite fehlerhaft dargestellt wird und die Bewertung der Seitenerfahrung leidet.
- **Die Robots.txt für ein Werkzeug zum Entfernen aus dem Index halten.** Eine gesperrte Seite kann mit ihrer Adresse im Index bleiben. Um sie aus den Ergebnissen zu entfernen, verwendet man noindex.
- **Eine gesperrte Seite in der Sitemap belassen.** Eine Adresse, die in der Sitemap steht, per Robots.txt zu sperren, sagt dem Crawler zugleich „komm“ und „geh nicht hinein“. Widersprüchliche Signale verringern das Vertrauen in beide.
- **Die Datei an die falsche Stelle legen.** Eine Datei, die nicht im Stammverzeichnis liegt, unter anderem Namen gespeichert ist oder einen Fehler liefert, wird nicht gelesen; alle Regeln sind dann wirkungslos.
- **Geheime Pfade eintragen.** Die Datei ist öffentlich einsehbar; den Pfad zum Admin-Bereich einzutragen heißt, ihn bekannt zu machen.
- **Syntax- und Formatfehler.** Ein fehlender Doppelpunkt, ein falsch geschriebener Direktivenname oder ein Pfad ohne führenden Schrägstrich machen die Regel ungültig. Manche Crawler überspringen die fehlerhafte Zeile, andere ignorieren womöglich die ganze Gruppe.
- **Zu weit gefasste Platzhalter verwenden.** Eine Regel mit Sternchen kann unbemerkt auch Produkt- oder Kategorieadressen erfassen. Testen Sie jede Platzhalterregel anhand der Adressen, die sie betrifft.
- **Die Datei der Testseite auf die Live-Seite kopieren oder umgekehrt.** Wird die Live-Datei in die Testumgebung übernommen, kann das Crawling unnötig geöffnet werden; gelangt die Testdatei auf die Live-Seite, kann sie die Seite sperren.
- **Nach Änderungen nicht kontrollieren.** Nach der Aktualisierung kann die alte Version noch eine Zeit lang im Speicher der Suchmaschine bleiben; betrachten Sie die Arbeit erst als erledigt, wenn Sie geprüft haben, dass die Änderung gilt.

Tipp

Prüfen Sie die Robots.txt nach jedem Release

Nach einem Theme-Wechsel, einem Infrastruktur-Umzug oder einem neuen Release öffnen und prüfen Sie als Erstes die Robots.txt. Der schädlichste Fehler ist eine einzelne Zeile, die die Seite nach einem Release sperrt und wochenlang unbemerkt bleibt.

Lesempfehlung

Was ist eine 404-Seite?

## KI-Crawler per Robots.txt steuern: So geht's

KI-Crawler geben sich wie Suchmaschinen über einen User-Agent-Namen zu erkennen, und die meisten erklären, sich an Robots.txt-Regeln zu halten. So können Sie für jeden KI-Crawler einzeln entscheiden, ob er auf Ihre Seite zugreifen darf.

Es gibt hier zwei unterschiedliche Ziele, und die Entscheidung hängt von Ihrem Geschäftsmodell ab:

- **Wenn Sie sichtbar sein möchten.** Wenn KI-Assistenten Ihre Produkte, Ratgeber und Ihre Marke erwähnen sollen, müssen Sie ihre Crawler zulassen. Sperren Sie sie dann nicht; wichtiger ist, dass Ihre Inhalte verständlich, gut gegliedert und zitierfähig sind.
- **Wenn Sie die Nutzung Ihrer Inhalte einschränken möchten.** Soll ein bestimmter KI-Crawler Ihre Seite nicht betreten, schreiben Sie eine eigene Gruppe für dessen User-Agent-Namen.

<code># Belirli bir yapay zekâ tarayıcısını tüm siteden uzak tutma User-agent: ornek-yapay-zeka-botu Disallow: / # Diğer tarayıcılar için genel kurallar User-agent: * Disallow: /sepet Disallow: /odeme</code>

Der Name im Beispiel ist stellvertretend; die tatsächlichen Crawler-Namen entnehmen Sie der jeweils eigenen Dokumentation des KI-Dienstes. Da sich Namen und Verhalten der Crawler mit der Zeit ändern können, überprüfen Sie diese Regeln von Zeit zu Zeit. Bedenken Sie: Die Robots.txt ist eine Bitte, und nicht alle KI-Crawler halten sich daran; für wirklich schützenswerte Inhalte ist eine Zugriffskontrolle unerlässlich.

Tipp

Finden Sie ein Gleichgewicht zwischen Sperren und Sichtbarkeit

In den Antworten von KI-Assistenten vorzukommen, ist heute ein wichtiger Sichtbarkeitskanal. Überlegen Sie vor einer pauschalen Sperre, welche Ihrer Inhalte (Produktseiten, Ratgeber) von diesem Kanal profitieren könnten; sperren Sie nur die Bereiche, die Sie nicht bearbeiten lassen möchten.

## Robots.txt testen und überwachen

Zum Testen der Robots.txt öffnen Sie die Datei im Browser und sehen sich den Inhalt an, prüfen, dass wichtige Adressen nicht gesperrt sind, und beobachten die Robots-Berichte im Verwaltungstool der Suchmaschine. Der Test sollte vor dem Livegang der Datei und nach jeder Änderung wiederholt werden.

1. **Öffnen Sie die Datei.** Geben Sie magazaadresiniz/robots.txt in den Browser ein. Es sollte Klartext erscheinen, und die Seite darf keinen Fehler anzeigen.
2. **Lesen Sie die Regeln.** Stellen Sie sicher, dass keine Regel versehentlich die ganze Seite oder den Produkt- und Kategoriebereich sperrt.
3. **Testen Sie Beispieladressen.** Wählen Sie eine Produktseite, eine Kategorieseite, einen Blogbeitrag, eine Stildatei und eine Skriptdatei aus; prüfen Sie, dass keine davon gesperrt ist. Prüfen Sie auf dieselbe Weise, dass Warenkorb- und Suchadressen gesperrt sind.
4. **Prüfen Sie die Berichte im Verwaltungstool der Suchmaschine.** Diese Tools zeigen Status und letzten Abrufzeitpunkt der Robots-Datei sowie gesperrte Adressen. Erscheint die Warnung „Durch robots.txt blockiert“ für eine wichtige Seite, überprüfen Sie die Regel sofort.
5. **Vergleichen Sie mit der Sitemap.** Prüfen Sie, dass keine der Adressen in der Sitemap durch die Robots.txt gesperrt ist.
6. **Beobachten Sie nach Änderungen.** Regeländerungen wirken womöglich nicht sofort; verfolgen Sie einige Wochen lang die Crawling-Statistiken und den Indexstatus.

*Görsel: Robots.txt-Checkliste: Stammverzeichnis, Antwort 200, nicht die gesamte Website sperren, CSS und JS freigegeben, Warenkorb und Suche gesperrt, Sitemap-Zeile, noindex-Konsistenz und Prüfung nach der Veröffentlichung (Checkliste mit acht Punkten für die Robots.txt)*

Die acht Punkte der Grafik finden Sie unten auch als Liste, damit Sie sie bei einer detaillierten Prüfung zur Hand haben:

| # | Prüfpunkt | Was passiert, wenn es falsch ist? |
| --- | --- | --- |
| 1 | Datei liegt im Stammverzeichnis und heißt robots.txt | Crawler finden die Datei überhaupt nicht |
| 2 | Datei wird mit 200 als Klartext geöffnet | Das Crawling-Verhalten wird unvorhersehbar |
| 3 | Keine Zeile, die die gesamte Seite sperrt | Der Shop verschwindet aus den Suchergebnissen |
| 4 | CSS, JavaScript und Bilder sind zugänglich | Die Seite wirkt fehlerhaft oder leer |
| 5 | Warenkorb, Konto und Suche sind gesperrt | Crawl-Budget wird verschwendet |
| 6 | Die Sitemap-Zeile zeigt auf die richtige Adresse | Das Auffinden der Sitemap wird erschwert |
| 7 | Gesperrte Adressen stehen weder in der Sitemap noch unter noindex | Es entstehen widersprüchliche Signale |
| 8 | Nach jedem Release und jeder Änderung geprüft | Der Fehler bleibt womöglich wochenlang unbemerkt |

Nach Korrekturen kann es dauern, bis sich das Ergebnis zeigt: Der vorherige Zustand kann in den Ergebnissen bleiben, bis die Suchmaschine die Datei erneut gelesen und die Seiten neu bewertet hat. Abwarten und die Berichte beobachten gehört zu diesem Prozess.

Lesempfehlung

Warum ist die Website-Geschwindigkeit im

E-Commerce

so wichtig?

## Wie arbeiten Robots.txt und technisches SEO zusammen?

Die Robots.txt ist die Crawling-Ebene des technischen SEO; sinnvoll wird sie im Zusammenspiel mit Sitemap, Canonical, noindex und Weiterleitungen. Eine einzelne Regel bringt nichts, wenn sie den umgebenden Signalen widerspricht.

| Instrument | Beantwortete Frage | Beziehung zur Robots.txt |
| --- | --- | --- |
| Robots.txt | Soll diese Adresse betreten werden? | Steuert das Crawling |
| Sitemap | Welche Seiten sollen gecrawlt werden? | Adressen in der Sitemap dürfen nicht gesperrt sein |
| Canonical | Welche Adresse ist die Originaladresse dieses Inhalts? | Bei einer gesperrten Seite kann das Canonical nicht gelesen werden |
| Noindex | Soll diese Seite in den Ergebnissen erscheinen? | Der Crawler muss die Seite betreten können |
| 301-Weiterleitung | Wo befindet sich diese Adresse jetzt? | Die alte Adresse darf nicht gesperrt sein |

Die praktische Reihenfolge lautet: Entscheiden Sie zuerst, welche Seiten gecrawlt und indexiert werden sollen, und drücken Sie diese Entscheidung dann mit dem richtigen Werkzeug aus. Die Robots.txt dient meist für „endlose und wertlose Bereiche“; für die Entscheidung „Diese Seite soll nicht in den Ergebnissen erscheinen“ eignet sich noindex, für „Dieser Inhalt liegt dort, nicht hier“ eignen sich Weiterleitung und Canonical besser. Um diese Einstellungen für Ihren gesamten Shop gemeinsam einzurichten, finden Sie den Ratgeber [So gelingen E-Commerce-SEO-Einstellungen](https://www.faprika.com/de/blog/e-commerce-seo-einstellungen), und wie Sie Kategorieseiten stärken, erfahren Sie im Beitrag [SEO für Kategorieseiten](https://www.faprika.com/de/blog/kategorieseiten-seo). Wie Sie die rechtlichen und Unternehmensseiten Ihres Shops gestalten, erklärt der Beitrag [Rechtliche Seiten für E-Commerce-Shops](https://www.faprika.com/de/blog/rechtliche-seiten-im-e-commerce-shop).

## Robots- und Crawling-Steuerung mit Faprika

In der Faprika-E-Commerce-Infrastruktur gehören Suchmaschineneinstellungen wie Robots und Sitemap zur SEO-Verwaltung des Shops. Im Funktionsvergleich der Pakete zeigt die Zeile „Canonical / H-Tag-Verwaltung / Robots / Sitemap“ diesen Verwaltungsbereich; für Adressumzüge und die Verwaltung alter Adressen gibt es die Zeile „301 / 302 / 410-Panel / URL-Einträge verwalten“.

Funktionen wie „Automatische Massenaktualisierung von SEO-/Meta-Informationen“ für Titel- und Beschreibungsänderungen und „SEO-Berichte“ zur Beobachtung der Suchleistung des Shops sind ebenfalls im Paketvergleich aufgeführt. Welches Paket welche SEO-Verwaltungswerkzeuge enthält, kann je nach Paket variieren; den aktuellen Umfang finden Sie auf der Seite [E-Commerce-Pakete](https://www.faprika.com/de/preise). Um zu wissen, was Ihre Änderung an der Robots-Datei in Ihrem Shop bewirkt und welchen Umfang sie hat, ist die Rücksprache mit dem Faprika-Team der sicherste Weg: Gemeinsam klären Sie, welche Bereiche über das Panel verwaltet werden.

Wenn Sie die allgemeine SEO-Einrichtung mit dem Ratgeber [E-Commerce-SEO-Einstellungen](https://www.faprika.com/de/blog/e-commerce-seo-einstellungen), Adressumzüge mit dem Ratgeber [301-Weiterleitung](https://www.faprika.com/de/blog/301-weiterleitung) sowie Sitemap- und Einzeladress-Entscheidungen mit den Beiträgen [Sitemap](https://www.faprika.com/de/blog/was-ist-eine-sitemap) und [Canonical-Tag](https://www.faprika.com/de/blog/was-ist-das-canonical-tag) zusammen betrachten, sendet Ihr Shop den Suchmaschinen eine konsistente Botschaft.

## Häufig gestellte Fragen

**Was ist robots.txt?**

Robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Adressen sie aufrufen dürfen und welche nicht. Sie ist eine Bitte, kein Befehl; die meisten seriösen Crawler halten sich daran. Sie steuert das Crawling, entfernt Seiten aber nicht aus dem Index.

**Wo befindet sich die Datei robots.txt?**

Sie liegt im Stammverzeichnis jeder Domain unter der Adresse /robots.txt. Jede Subdomain braucht eine eigene Datei. Der Dateiname wird kleingeschrieben, die Datei muss reiner Text sein und mit dem Statuscode 200 geöffnet werden. Ihren Inhalt sehen Sie, wenn Sie magazaadresiniz/robots.txt in den Browser eingeben.

**Sind robots.txt und noindex dasselbe?**

Nein. Robots.txt hindert den Crawler daran, eine Adresse zu betreten; noindex verlangt, dass die Seite nicht in den Suchergebnissen erscheint. Eine per robots.txt gesperrte Seite kann mit ihrer Adresse trotzdem im Index auftauchen, wenn sie Links von anderen Websites erhält. Um eine Seite aus den Ergebnissen zu entfernen, muss der Crawler die Seite betreten und noindex lesen können; deshalb sollten Sie dieselbe Seite nicht zusätzlich per robots.txt sperren.

**Was sollte im E-Commerce per Robots.txt gesperrt werden?**

Üblicherweise gesperrt werden Warenkorb- und Bezahlschritte, Kundenkonto- und Anmeldeseiten, Suchergebnisse der Shop-Suche, Adressen mit beliebigen Filter- und Sortierparametern sowie Verwaltungs- und Testbereiche. Produkt-, Kategorie- und Blogseiten sowie CSS-, JavaScript- und Bilddateien sollten nicht gesperrt werden.

**Was bewirkt Disallow: / in robots.txt?**

Es sperrt die gesamte Website für Crawler. Meist wird es für eine Testseite vor dem Livegang verwendet; wird es versehentlich auf die Live-Website übernommen, verschwindet der Shop nach und nach aus den Suchergebnissen. Wer die Datei robots.txt nach jeder Veröffentlichung und Änderung prüft, vermeidet diesen Fehler.

**Kann ich KI-Crawler mit robots.txt sperren?**

Ja, die meisten KI-Crawler geben sich mit einem eigenen User-Agent-Namen zu erkennen und erklären, die Regeln der robots.txt zu beachten. Sie können für einen bestimmten Crawler eine eigene Gruppe schreiben und die gesamte Website oder Teile davon sperren. Robots.txt ist jedoch eine Bitte; dass sich alle daran halten, ist nicht garantiert. Wenn Sie in KI-Assistenten sichtbar sein möchten, überlegen Sie es sich gut, bevor Sie pauschal sperren.

Erklären Sie Suchmaschinen Ihren Shop richtig

Planen wir Robots-, Sitemap-, Canonical- und Weiterleitungseinstellungen gemeinsam passend zur Struktur Ihres Shops. Mit Faprika konzentriert sich Ihr Crawling auf wertvolle Seiten.

Demo anfordern

#### Das könnte Sie auch interessieren

- [**Was ist eine Sitemap?**](https://www.faprika.com/de/blog/was-ist-eine-sitemap)
- [**Was ist ein Canonical-Tag?**](https://www.faprika.com/de/blog/was-ist-das-canonical-tag)
- [**SEO-Einstellungen im E-Commerce: Wie funktionieren sie?**](https://www.faprika.com/de/blog/e-commerce-seo-einstellungen)
- [**Was ist eine 301-Weiterleitung?**](https://www.faprika.com/de/blog/301-weiterleitung)
