Der Meta Robots Tag ist ein HTML-Meta-Element, das Suchmaschinen auf Seitenebene anweist, wie sie mit einer bestimmten Seite umgehen sollen: ob sie indexiert, ihre Links verfolgt oder Snippets in den Suchergebnissen angezeigt werden duerfen.
Waehrend die robots.txt das Crawling auf Website-Ebene steuert, gibt der Meta Robots Tag granulare Anweisungen pro Seite. Er ist ein essenzielles Werkzeug im technischen SEO fuer die praezise Steuerung der Indexierung.
Grundlegende Direktiven
Index / Noindex
| Direktive | Wirkung |
|---|---|
index | Seite darf in den Suchindex aufgenommen werden (Standard) |
noindex | Seite wird nicht indexiert, erscheint nicht in Suchergebnissen |
Follow / Nofollow
| Direktive | Wirkung |
|---|---|
follow | Links auf der Seite werden verfolgt und fliessen in die Bewertung ein (Standard) |
nofollow | Links auf der Seite werden nicht verfolgt, kein PageRank-Weitergabe |
Kombination
Die haeufigsten Kombinationen in der Praxis:
index, follow: Standard -- keine Angabe noetignoindex, follow: Seite nicht indexieren, aber Links verfolgen (z. B. Tag-Seiten)noindex, nofollow: Seite komplett aus dem Index fernhalten (z. B. interne Suchergebnisse)
Erweiterte Direktiven
| Direktive | Wirkung | Anwendungsfall |
|---|---|---|
noarchive | Google speichert keine Cache-Version | Seiten mit zeitkritischem Content |
nosnippet | Kein Text-Snippet in den SERPs | Datenschutz-sensible Seiten |
max-snippet:[n] | Maximale Snippet-Laenge in Zeichen | Kontrolle ueber SERP-Darstellung |
max-image-preview:[size] | Bildvorschau-Groesse (none/standard/large) | Kontrolle ueber Bild-Snippets |
max-video-preview:[n] | Maximale Video-Vorschau in Sekunden | Video-SERP-Steuerung |
notranslate | Google bietet keine Uebersetzung an | Mehrsprachige Seiten |
Implementierung
HTML Meta Tag
<meta name="robots" content="noindex, follow">
X-Robots-Tag (HTTP Header)
Fuer Nicht-HTML-Dateien (PDFs, Bilder) kann der X-Robots-Tag als HTTP-Header gesetzt werden. Das ist die einzige Moeglichkeit, die Indexierung von Dateien zu steuern, die keinen HTML-Head haben.
Suchmaschinenspezifisch
Neben dem generischen robots-Tag koennen Sie Direktiven fuer einzelne Suchmaschinen setzen: googlebot, bingbot oder GPTBot. So koennen Sie die Indexierung pro Suchmaschine differenziert steuern.
Typische Anwendungsfaelle
Seiten, die noindex benoetigen
- Interne Suchergebnisse: Produzieren Thin Content und Duplicate Content
- Tag- und Filterseiten: Aehnlicher Content, verdruennen die Crawl-Ressourcen
- Dankeseiten: Kein Mehrwert fuer Suchende
- Staging- und Testseiten: Duerfen nicht indexiert werden
- Paginierungsseiten: Ab Seite 2 optional mit noindex
Seiten, die keinesfalls noindex haben sollten
- Alle kommerziell wichtigen Landingpages
- Blog-Artikel und Ratgeber-Inhalte
- Produktseiten und Kategorieseiten
- Die Startseite (haengt haeufer als gedacht)
Haeufige Fehler
Der gefaehrlichste Fehler: versehentliches noindex auf wichtigen Seiten. Nach einem Relaunch oder einer Migration bleiben noindex-Tags manchmal stehen und Seiten verschwinden aus dem Index. Pruefen Sie regelmaessig in der Google Search Console den Indexierungsstatus und suchen Sie gezielt nach Seiten mit noindex-Direktive, die indexiert sein sollten.
Ein weiterer Fehler: noindex in Kombination mit robots.txt-Blockierung. Wenn die robots.txt den Zugriff auf eine Seite verbietet, kann Google den noindex-Tag nicht lesen. Die Seite bleibt moeglicherweise im Index -- das Gegenteil der Absicht.