Kostenloses Tool
Robots.txt Generator
Steuere welche Suchmaschinen welche Bereiche deiner Website crawlen dürfen – ohne Syntax auswendig lernen.
Schnellstart
Schnell hinzufügen
Was bedeuten die Felder?
- User-agentWelcher Bot ist gemeint? * gilt für alle Suchmaschinen. Einzelne Bots: Googlebot, Bingbot
- DisallowVerhindert das Crawlen dieses Pfades. Leer lassen = alles erlauben.
- AllowErlaubt einen Pfad explizit – hat Vorrang vor Disallow. Nützlich für Ausnahmen (z.B. /wp-admin/admin-ajax.php).
- Crawl-delayPause in Sekunden zwischen den Seitenbesuchen des Bots. Entlastet den Server. Google ignoriert dieses Feld – dafür gibt es die Google Search Console.
- SitemapZeigt Google & Co. wo deine Sitemap liegt – beschleunigt das Indexieren neuer Seiten.
robots.txt
User-agent: * Disallow:
Wo gehört die Datei hin?
Die robots.txt muss im Wurzelverzeichnis deiner Website liegen – also erreichbar unter deine-domain.de/robots.txt.
Google prüft diese Datei bevor eine Seite gecrawlt wird. Änderungen dauern einige Stunden bis Tage bis Google sie übernimmt.
SEO & Webhosting
Wir kümmern uns um alles rund um deine Website.
Robots.txt, Sitemap, SSL, Performance – bei unserem Webhosting ist die technische Basis von Anfang an sauber aufgesetzt.
Webhosting ansehen →