Technische SEO-Sachverständigung
Crawling und Indexierung sind unterschiedliche technische Vorgänge. robots.txt regelt angefragten Crawlerzugriff nach dem Robots Exclusion Protocol, während robots-Meta-Direktiven und X-Robots-Tag auf einer anderen Verarbeitungsebene wirken. Sitemaps liefern zusätzliche URL-Informationen, garantieren aber keine Indexierung.
Kurzantwort
Zu prüfen sind konkrete URL, User-Agent-Kontext, robots.txt-Regeln, HTTP-Erreichbarkeit sowie gegebenenfalls robots-Meta- und X-Robots-Direktiven.
Eine Sitemap oder technisch indexierbare Seite belegt nicht automatisch, dass eine Suchmaschine die URL gecrawlt, indexiert oder zu einem bestimmten Zeitpunkt im Suchindex geführt hat.
Vom Crawlerzugriff zur begrenzten Indexierbarkeitsaussage
1. robots.txt nach konkretem User-Agent und Pfad auswerten
Der Robots Exclusion Protocol arbeitet mit Gruppen und Pfadregeln.
Die konkrete Regelermittlung benötigt User-Agent und URL-Pfad
Eine pauschale Aussage, die Website sei „durch robots.txt gesperrt“, ist ohne Prüfung der passenden Gruppe und des konkreten Pfads zu ungenau.
robots.txt ist keine Zugriffskontrolle
Das Protokoll bittet regelkonforme Crawler um Beachtung seiner Regeln. Es ersetzt keine Authentifizierung oder sonstige Zugriffssicherung.
2. robots meta und X-Robots-Tag getrennt untersuchen
Indexierungsdirektiven können im HTML oder in HTTP-Headern vorliegen.
Meta-Direktiven setzen einen verarbeitbaren Dokumentkontext voraus
Ob eine Direktive technisch wirksam werden kann, hängt unter anderem davon ab, dass der betreffende Inhalt vom Crawler verarbeitet werden kann.
X-Robots-Tag kann für nicht-HTML-Ressourcen relevant sein
Headerbasierte Direktiven sind technisch von HTML-Metaelementen zu unterscheiden und separat zu dokumentieren.
3. HTTP-Erreichbarkeit als eigenständigen Befund dokumentieren
Crawlersteuerung ersetzt keine Prüfung der tatsächlichen Serverantwort.
Statuscode und Response-Inhalt müssen zusammen betrachtet werden
Eine URL kann technisch erreichbar sein und dennoch einen anderen Inhalt oder Status liefern als erwartet.
Zeitabhängige Fehler begrenzen rückwirkende Aussagen
Ein heutiger HTTP-200-Befund beweist nicht automatisch, dass derselbe Zustand im historischen Untersuchungszeitraum bestand.
4. Sitemaps als URL-Informationsquelle prüfen
Eine Sitemap kann technische Informationen über angebotene URLs enthalten.
Sitemap-Eintrag und Live-Zustand müssen nicht übereinstimmen
Eine URL kann in der Sitemap enthalten sein und gleichzeitig redirecten, fehlschlagen oder andere Indexierungssignale liefern.
Sitemap-Aufnahme garantiert keine Indexierung
Die Aufnahme ist ein technischer Hinweis auf URLs, aber kein Beweis für Crawl, Indexaufnahme oder Ranking.
| Mechanismus | Ebene | Technische Aussage |
|---|---|---|
| robots.txt | Crawlerzugriff | angefragte Zugriffsbeschränkung |
| robots meta | HTML-Dokument | Index-/Darstellungsdirektive |
| X-Robots-Tag | HTTP-Header | Index-/Darstellungsdirektive |
| Sitemap | URL-Discovery | bereitgestellte URL-Information |
| Serverlog | Beobachteter Request | protokollierter Zugriff im Logkontext |
5. Serverlogs und zeitliche Nachweise ergänzend verwenden
Bei historischen Fragestellungen können serverseitige Zugriffsdaten wichtige zusätzliche Befunde liefern.
Logbefunde benötigen belastbare Zuordnung
Zeitstempel, angefragte URL, User-Agent und gegebenenfalls weitere Requestmerkmale müssen zur behaupteten Crawlaktivität passen.
Warum „in der Sitemap“ und „indexiert“ nicht gleichbedeutend sind
Eine Sitemap kann einer Suchmaschine URLs bekannt machen und zusätzliche Informationen bereitstellen.
Ob eine URL tatsächlich gecrawlt, verarbeitet oder indexiert wird, ist eine davon getrennte Frage.
6. Indexierbarkeit und tatsächliche Indexierung trennen
Technische Prüfungen können Voraussetzungen und Hindernisse feststellen.
Fehlende technische Sperre ist kein Indexierungsbeweis
Wenn keine offensichtliche technische Blockade vorliegt, folgt daraus nicht automatisch, dass die Suchmaschine die URL tatsächlich indexiert hat.
Sind Crawling und Indexierbarkeit technisch sauber geprüft?
- Ist die konkrete URL bestimmt?
- Ist der relevante Crawler/User-Agent festgelegt?
- Ist robots.txt nach den zutreffenden Regeln ausgewertet?
- Sind robots meta und X-Robots-Tag getrennt geprüft?
- Ist der tatsächliche HTTP-Status dokumentiert?
- Ist der Sitemap-Zustand mit der Live-URL abgeglichen?
- Sind historische Log- oder Versionsdaten berücksichtigt?
- Ist Indexierbarkeit von tatsächlicher Indexierung getrennt?
Konstruiertes Beispiel
Eine URL steht in der XML-Sitemap und liefert HTTP 200, enthält jedoch ein noindex-Signal. Der Befund lautet nicht, dass sie „von Google ignoriert“ werde, sondern zunächst, welche technischen Signale die konkrete Response zum Prüfzeitpunkt tatsächlich enthält.
Das Beispiel erläutert ausschließlich die Methodik. Es beschreibt kein reales Mandat, keine Kundenreferenz und keine tatsächliche Rankingursache.
Quellen und fachliche Grundlage
- Normative technische Primärquelle RFC 9309 – Robots Exclusion Protocol . Standardisierte Regeln für robots.txt; der Standard stellt ausdrücklich klar, dass diese Regeln keine Zugriffsautorisierung sind. Geprüft am 20.10.2026.
- Technische Maintainerquelle Google Search – Robots meta tag and X-Robots-Tag . Google-Dokumentation zu robots-Meta-Direktiven und HTTP-basiertem X-Robots-Tag. Geprüft am 20.10.2026.
- Technische Maintainerquelle Google Search – Sitemaps overview . Dokumentation zur Verwendung von Sitemaps als technische Information über URLs einer Website. Geprüft am 20.10.2026.
- Technische Maintainerquelle Google Search – Technical Requirements . Technische Mindestanforderungen für die grundsätzliche Teilnahme von Seiten an Google Search. Geprüft am 20.10.2026.
- Technische Maintainerquelle Google Search – How Search Works . Dokumentation der von Google beschriebenen Phasen Crawling, Indexierung und Bereitstellung von Suchergebnissen. Geprüft am 20.10.2026.
- Eigene fachliche Einordnung Die Auswahl und Kombination der technischen Nachweise, Gegenhypothesen und Aussagegrenzen richtet sich nach der konkreten Untersuchungsfrage. Eigene fachliche Interpretation ersetzt keinen externen Primärnachweis.
Weiterführende Beiträge
Canonical, Redirects und Statuscodes prüfen
Protokolldaten technisch auswerten
Technische SEO sachverständig untersuchen
Wenn Crawling, Indexierbarkeit, URL-Signale, Rendering, Performance oder ein technischer Sichtbarkeitsverlust nachvollziehbar untersucht werden sollen, können Fragestellung, Prüfzeitraum und technische Evidenz zunächst unabhängig eingegrenzt werden.
Technische Analyse & Bewertung