Mit dem Formular auf dieser Seite können Sie schnell und einfach passende Inhalte für robots.txt und sitemap.xml generieren.
Beide Dateien sind für Suchmaschinen wichtig, um die Inhalte Ihrer Webseite möglichst vollständig und korrekt darstellen zu können. Gleichzeitig können Sie über diese Dateien angeben, welche Seiten, Seitenbereiche oder Inhaltselemente von Suchmaschinen besser nicht besucht bzw. indexiert werden sollen. Dies bietet sich beispielsweise für CSS und JavaScript-Elemente an, kann aber auch für bestimmte Bilder sinnvoll sein.
Es bietet schließlich weder der Suchmaschine noch Ihren potentiellen Seitenbesuchern einen Mehrwert, wenn ein kleines Icon oder eine CSS-Datei unter den Suchergebnissen auftauchen. Daher lassen sich solche Dateien bzw. Dateitypen über die robots.txt bzw. sitemap.xml ausschließen. Natürlich ist das für die Suchmaschinen kein absolutes Muss, sich daran zu halten. „Gute“ Suchmaschinen werden sich aber daran orientieren. Und die schlechten – naja… die schlechten werden sich so oder so nicht an Ihre Vorgaben halten. 😉
Die robots.txt gibt dabei an, welche Dateien, Dateitypen und/oder Verzeichnisse die Suchmaschinen berücksichtigen sollen – oder besser gesagt: Welche Inhalte Ihrer Webseite ausgeschlossen werden sollen.
Die sitemap.xml wiederum ist eine Auflistung aller Unterseiten Ihrer Webseite. Im Unterschied zur robots.txt werden hier quasi nur Links zu den betreffenden Seiten hinterlegt. In der robots.txt kann man dagegen z.B. auch so etwas wie bestimmte Bilddateien, Javascripts und CSS-Dateien und sogar ganze Unterordner ein- bzw. ausschließen.
Kurze Tipps zur Bedienung für unseren robots.txt und sitemap.xml Generator
Geben Sie zur Benutzung hier lediglich die gewünschte „Starturl“ Ihrer Webseite ein und klicken Sie auf „checken /:/>“. Als Beispiel: Für eproi.eu würde passende Starturl https://eproi.eu lauten. In der folgenden Übersicht können Sie alle Dateien einzeln oder über die Hilfsfunktionen unter der Dateiauflistung auch mehreres gleichzeitig auswählen. Anschließend laden Sie die Dateien einfach herunter und speichern diese auf Ihrem Server/Webspace direkt unter dem Hauptordner. Dies ist wichtig, damit Suchmaschinen wie google die Dateien finden und analysieren können.
Wenn es gleich ein bisschen „mehr“ sein darf…
Sie möchten zusätzlich auch gleich einen Einblick in die (interne) Verlinkungsstruktur Ihrer Webseite erhalten? Probieren Sie unsere SEO-Tools kostenfrei aus!
Weitere Analysemöglichkeiten und Verbesserungsvorschläge für Ihre gesamte Webseite erhalten Sie über einen Account bei eproi.eu. Die Registrierung ist einfach und kostenlos. Und falls Sie bereits einen Account haben: Hier geht’s zum Login für Mitglieder.