Der Robots Meta Tag ist ein HTML-Meta-Element, das Suchmaschinen-Crawlern seitenspezifische Anweisungen gibt. Er steuert, ob eine Seite indexiert wird, ob Links verfolgt werden und wie die Seite in den Suchergebnissen dargestellt wird.
Als Teil des technischen SEO ist der Robots Meta Tag das praeziseste Instrument zur Indexierungssteuerung. Waehrend die robots.txt das Crawling auf Verzeichnisebene regelt, gibt der Robots Meta Tag granulare Anweisungen pro einzelner Seite.
Syntax und Platzierung
Der Robots Meta Tag wird im <head> des HTML-Dokuments platziert:
<meta name="robots" content="index, follow">
Name-Attribut-Varianten
| Name | Gilt fuer | Einsatz |
|---|---|---|
robots | Alle Suchmaschinen-Crawler | Standardfall |
googlebot | Nur Google | Google-spezifische Regeln |
bingbot | Nur Bing | Bing-spezifische Regeln |
GPTBot | ChatGPT-Crawler | AI-Crawler-Steuerung |
ClaudeBot | Claude-Crawler | AI-Crawler-Steuerung |
Alle verfuegbaren Direktiven
Indexierung
index: Seite darf indexiert werden (Standard)[noindex](/lexikon/noindex): Seite wird nicht indexiert
Link-Verfolgung
follow: Links werden verfolgt, PageRank wird weitergegeben (Standard)nofollow: Links werden nicht verfolgt
Snippet-Steuerung
| Direktive | Wirkung |
|---|---|
nosnippet | Kein Text-Snippet in den SERPs |
max-snippet:[n] | Maximale Snippet-Laenge (Zeichen) |
max-image-preview:[size] | Bildvorschau: none, standard oder large |
max-video-preview:[n] | Video-Vorschau: Maximale Dauer in Sekunden |
Archivierung und Uebersetzung
noarchive: Keine Cache-Version speichernnotranslate: Keine Uebersetzung anbietennoimageindex: Bilder auf der Seite nicht in der Bildersuche indexieren
Zeitsteuerung
unavailable_after:[date]: Seite nach einem bestimmten Datum nicht mehr indexieren (nuetzlich fuer zeitlich begrenzte Angebote)
Robots Meta Tag vs. robots.txt
| Merkmal | Robots Meta Tag | robots.txt |
|---|---|---|
| Granularitaet | Pro Seite | Pro Verzeichnis/Pfad |
| Steuert | Indexierung, Snippets, Links | Crawling (Zugriff) |
| Platzierung | Im HTML-Head | Im Root-Verzeichnis |
| Fuer Nicht-HTML | Nicht moeglich (nur per X-Robots-Tag) | Moeglich |
| Lesen erfordert | Crawling der Seite | Zugriff auf robots.txt |
X-Robots-Tag als Ergaenzung
Fuer Dateien ohne HTML-Head (PDFs, Bilder, JSON) wird der X-Robots-Tag als HTTP-Header verwendet. Er bietet dieselben Direktiven wie der Meta Tag, wird aber serverseitig konfiguriert.
Best Practices
Standard nicht ueberschreiben
Setzen Sie den Robots Meta Tag nur, wenn Sie vom Standard (index, follow) abweichen wollen. Redundante Tags erhoehen die Fehleranfaelligkeit ohne Nutzen.
Konsistenz sicherstellen
Vermeiden Sie widerspruechliche Signale: Wenn die robots.txt das Crawling einer Seite blockiert, kann der Robots Meta Tag nicht gelesen werden. Setzen Sie nie robots.txt-Disallow und noindex auf dieselbe URL.
Snippet-Kontrolle nutzen
Die max-snippet-, max-image-preview- und max-video-preview-Direktiven geben Ihnen Kontrolle ueber die SERP-Darstellung, ohne die Indexierung zu beeinflussen. Nutzen Sie max-image-preview:large fuer Seiten mit attraktiven Bildern, um groessere Vorschaubilder in den SERP Features zu erhalten.
Regelmaessig in der Search Console pruefen
Die Google Search Console zeigt unter "Seiten" den Indexierungsstatus und moegliche Probleme mit Robots-Direktiven. Pruefen Sie regelmaessig, ob unbeabsichtigte noindex-Tags aktive Seiten aus dem Index fernhalten.