Kostenlos & ohne Anmeldung

Robots.txt Generator

Erstellen Sie Ihre robots.txt-Datei kostenlos online. Crawler-Regeln für Google, Bing und andere Bots konfigurieren – Download und Copy mit einem Klick.

Schnell-Vorlagen

Globale Einstellungen

Sitemap URL (optional)

Crawl-Delay (Sekunden, optional)

Regel 1

User-agent

Pfad-Regeln

robots.txt

User-agent: *
Allow: /

Wichtige Hinweise zur robots.txt

·Die robots.txt muss im Stammverzeichnis Ihrer Domain liegen: https://example.com/robots.txt
·Robots.txt ist eine Empfehlung – bösartige Bots ignorieren sie. Verwenden Sie serverseitige Sperren für sensible Bereiche.
·Eine leere robots.txt ist erlaubt und bedeutet: alles erlaubt.
·Groß-/Kleinschreibung bei Pfaden ist je nach Webserver unterschiedlich – verwenden Sie konsistente Pfadangaben.

Warum braucht jede Website eine robots.txt?

Crawl-Budget effizient nutzen

Suchmaschinen haben begrenzte Ressourcen zum Crawlen. Mit einer robots.txt lenken Sie Crawler auf die wichtigen Seiten und verhindern, dass technische URLs (Parameter, Duplikate) gecrawlt werden.

KI-Training blockieren

Bots wie GPTBot, CCBot oder ClaudeBot crawlen Websites zum Trainieren von KI-Modellen. Mit gezielten Disallow-Regeln können Sie verhindern, dass Ihre Inhalte für das Training genutzt werden.

Admin-Bereiche schützen

Pfade wie /admin/ oder /wp-admin/ sollten nicht indexiert werden. Die robots.txt verhindert, dass Suchmaschinen diese URLs in den Index aufnehmen.

Robots.txt vs. noindex

robots.txt verhindert das Crawlen, noindex verhindert die Indexierung. Wichtig: Eine gecrawlte, aber noindexierte Seite ist sicher. Eine nicht gecrawlte Seite kann trotzdem in den Index aufgenommen werden (z.B. über externe Links).