Crawling und Indexierung
robots.txt, Noindex-Anweisungen, Sitemap, Crawl-Budget. Wichtige Seiten müssen erreichbar sein unwichtige sollten nicht den Index verstopfen. Die Search Console zeigt, was Google tatsächlich indexiert hat.
Technische Grundlagen
Technisches SEO: die Grundlage, ohne die keine KI-Sichtbarkeit entsteht
Technisches SEO sorgt dafür, dass Suchmaschinen und generative Systeme eine Website abrufen, verarbeiten und verstehen können. Es ist unspektakulär, und es entscheidet über alles, was danach kommt.
Definition
Was technisches SEO umfasst und warum es für KI-Systeme zählt
Technisches SEO umfasst alle Maßnahmen, die dafür sorgen, dass eine Website von Suchsystemen abgerufen, verarbeitet und korekt eingeordnet werden kann. Dazu gehören Crawlbarkeit, Indexierung, Statuscodes, Weiterleitungen, Canonicals, das Rendering von JavaScript, Ladezeit, mobile Nutzbarkeit, Sitemap und robots.txt. Es geht nicht um Inhalte sondern um die Bedingungen, unter denen Inhalte überhaupt gesehen werden.
Für generative Systeme ist das noch wichtiger als für die klassische Suche. Google speist AI Overviews und AI Mode aus dem normalen Index: Was nicht indexiert ist, kann nicht zitiert werden. Crawler von OpenAI, Perplexity und anderen Anbietern sind zudem einfacher gebuat als der Googlebot. Sie führen meist kein JavaScript aus, warten nicht auf nachgeladene Inhalte und folgen keinen komplizierten Weiterleitungsketten. Eine Website, die für diese Crawler nur ein leeres Gerüst liefert, existiert für sie nicht.
Das Gute daran: Technische Probleme sind meist eindeutig, messbar und mit überschaubarem Aufwand zu beheben. Sie wirken schnell oft innerhalb von Wochen. Deshalb stehen sie in jeder Priorisierung ganz oben, vor allen inhaltlichen Maßnahmen.
Ein Wort zur Einordnung: Technisches SEO ist kein Wettbewerb um Perfektion. Es gibt keinen Bonus für die schnellste Seite oder das sauberste Markup. Es gibt nur Blockaden, die Sichtbarkeit verhindern, und ihr Fehlen. Ziel ist, dass keine Blockade übrig bleibt, damit Inhalte und Unternehmenssignale wirken können.
Wer sich unsicher ist, kann einen einfachen Test machen: die wichtigste Leistungsseite mit deaktiviertem JavaScript aufrufen. Wenn der Text dann fehlt fehlt er auch für die meisten KI-Crawler.
Was blockiert Ihre Sichtbarkeit?
Der Check findet technische Blockaden, erklärt sie verständlich und sortiert sie nach Wirkung.
Check anfragenPrüfbereiche
Die technischen Grundlagen im Einzelnen
Statuscodes und Weiterleitungen
Jede wichtige Adresse antwortet mit 200. Verschobene Seiten leiten mit 301 auf ein einziges Ziel weiter, nicht über Ketten. Fehlerseiten liefern 404, nicht 200 mit Fehlertetx.
Canonicals und Duplikate
Eine Seite, eine Adresse. Varianten mit und ohne www, mit Parametern oder Groß- und Kleinschreibung werden per Weiterleitung oder Canonical zusammengeführt.
Rendering
Wichtige Inhalte stehen im ausgelieferten HTML, nicht erst nach JavaScript-Ausführung. Was ein einfacher Crawler ohne Script sieht ist der Maßstab.
Ladezeit und Web Vitals
Bilder in passender Grösse und passendem Format, keine blockierenden Skripte, schneller Server. Ziel ist ein solider Wert, nicht die Perfektion.
Struktur und Verlinkung
Sprechende Adressen, eine H1 je Seite, sinnvolle Überschriftenhierarchie, interne Links, die Zusammenhänge zeigen. Strukturierte Daten als Ergänzung, beschrieben unter Schema.org.
Vorgehen
Wie eine technische Prüfung abläuft
- Crawl
Die gesamte Website wird wie von einer Suchmaschine abgerufen. Ergebnis: alle Adressen, Statuscodes, Titel, Canonicals, Weiterleitungen.
- Abgleich
Der Crawl wird mit Search Console und Sitemap verglichen. Welche wichtigen Seiten fehlen im Index, welche unwichtigen sind drin?
- Rendering-Test
Wichtige Seiten werden mit und ohne JavaScript abgerufen. Was fehlt ohne Script ist für einfache Crawler unsichtbar.
- Maßnahmen
Befunde nach Wirkung und Aufwand sortiert, mit konkreter Anleitung für Ihre Agentur oder Umsetzung durch uns.
Irrtümer
Technische Mythen rund um KI-Sichtbarkeit
„Für KI-Crawler braucht man eine spezielle Serverkonfiguration.“
Nein. KI-Crawler sind gewöhnliche HTTP-Clients. Was für den Googlebot funktioniert und im HTML steht, funktioniert für sie auch.
„Eine llms.txt ist die neue robots.txt.“
Die robots.txt wird von allen relevanten Crawlern beachtet. Die llms.txt von keinem der großen Anbieter offiziell. Zuerst die robots.txt richtig konfigurieren.
„Perfekte Core Web Vitals sind Voraussetzung.“
Sie sind ein Signal unter vielen. Eine inhaltlich starke Seite mit mittleren Werten schlägt eine leere Seite mit perfekten.
„JavaScript-Frameworks sind grundsätzlich ein Problem.“
Nicht, wenn sie serverseitig rendern oder die Inhalte im ersten HTML ausliefern. Ein Problem sind nur Seiten, die ohne Script leer bleiben.
Praxis
Drei typische Fälle aus technischen Prüfungen
Ein Maschinenbauunternehmen hatte nach einem Relaunch alle Produktseiten unter neuen Adressen, die alten leiteten auf die Startseiten. Google wertet das wie eine Fehlerseite, und die über Jahre gewachsene Sichtbarkeit der Produktseiten war innerhalb von Wochen verschwunden. Die Korrektur bestand aus einer Tabelle mit alten und neuen Adressen und den passenden Weiterleitungen.
Eine Beratung lieferte ihre Leistungsseiten über ein JavaScript-Framework aus, das den Text erst im Browser aufbaute. Google indexierte die Seiten mit Verzögerung, die Crawler von OpenAI und Perplexity sahen nur den Seitentitel. Nach der Umstellung auf serverseitiges Rendering waren die Inhalte für alle Systeme lesbar.
Eine Praxis hatte drei Versionen ihrer Website online: mit www, ohne www und eine alte Testumgebung, alle indexiert, alle mit denselben Inhalten. Für Suchsysteme sah das wie Duplikate aus, für generative Systeme wie drei Quellen mit unklarer Zugehörigkeit. Weiterleitungen, ein Canonical je Seite und das Sperren der Testumgebung lösten das Probelm.
Solche Fälle sind der Grund, warum Technik in unserer Arbeit immer zuerst kommt, und warum Google sie auch für AI Overviews als Voraussetzung nennt. Wie es danach weitergeht, beschreiben die Seiten zu Content für KI-Suchsysteme und Generative Engine Optimization. Den vollständigen Blick auf das Ziel finden Sie unter KI-Sichtbarkeit für Unternehmen, den Einstieg über eine Bestandsaufnahme beim GEO-Audit. Für Unternehmen aus der Region ist die technische Prüfung Teil unserer Arbeit als SEO-Agentur für Bonn.
Checkliste
Zehn technische Punkte, die wir bei jeder Website zuerst prüfen
- Antwortet die Startseite und jede wichtige Unterseite mit Statuscode 200, und zwar unter genau einer Adresse?
- Leiten HTTP, www und alte Adressen mit einem einzigen 301 auf die kanonische Version weiter, ohne Kette?
- Blockiert die robots.txt keine Verzeichnisse, in denen wichtige Inhalte liegen, etwa nach einem Relaunch übrig gebliebene Regeln?
- Ist die Sitemap aktuell, enthält sie nur indexierbare Seiten und ist sie in der robots.txt verlinkt?
- Hat jede Seite genau eine H1, einen eigenen Titel und eine eigene Beschreibung?
- Steht der wesentliche Text im ausgelieferten HTML, nicht erst nach JavaScript-Ausführung?
- Zeigt jede Seite auf sich selbst als Canonical, und gibt es keine Seiten, die auf eine andere zeigen, obwohl sie eigenständig sind?
- Sind Bilder in Webformaten mit fester Breite und Höhe eingebunden, und wird das größte sichtbare Bild nicht verzögert geladen?
- Gibt es interne Links auf Fehlerseiten oder auf Weiterleitungen, die sich direkt ersetzen ließen?
- Stimmen die strukturierten Daten syntaktisch, und beschreiben sie nur, was sichtbar ist?
Diese zehn Punkte finden erfahrungsgemäß den Großteil der Blockaden. Was danach kommt, etwa Ladezeitoptimierung im Detail oder Crawl-Budget bei sehr großen Websites, ist Feinarbeit, die sich erst lohnt, wenn die Grundlagen stehen.
Häufige Fragen
Fragen zu technischem SEO
Was gehört zu technischem SEO?
Crawlbarkeit und Indexierung, Statuscodes und Weiterleitungen, Canonicals, Rendering von JavaScript, Seitenstruktur und interne Verlinkung, Ladezeit und Core Web Vitals, mobile Nutzbarkeit, Sicherheit per HTTPS sowie Sitemap und robots.txt. Inhalte und externe Signale gehören nicht dazu, hängen aber davon ab.
Wie wirkt sich JavaScript auf KI-Sichtbarkeit aus?
Google rendert JavaScript, aber mit Verzögerung und nicht immer vollständig. Andere Crawler, etwa von OpenAI oder Perplexity, führen JavaScript meist gar nicht aus. Inhalte, die erst per Script erscheinen, sind für diese Systeme unsichtbar. Wichtige Inhalte gehören ins HTML.
Sind Core Web Vitals für generative Systeme relevant?
Direkt kaum, indirekt ja. Eine langsame Seite wird seltener vollständig gecrawlt und schlechter bewertet. Für Google sind die Web Vitals ein Rankingsignal unter vielen. Ein akzeptabler Wert reicht, Perfektion ist nicht nötig.
Muss ich eine llms.txt anlegen?
Nein. Google nutzt die Datei nach eigener Aussage nicht, und kein anderer großer Anbieter hat sie offiziell übernommen. Sie schadet nicht, gehört aber nicht zu den Grundlagen. Sitemap und robots.txt sind die Dateien, die zählen.
Wie oft sollte die Technik geprüft werden?
Nach jedem Relaunch oder größeren Umbau sofort, sonst etwa vierteljährlich. Viele technische Probleme entstehen schleichend durch Plugins, Redirects und Content-Änderungen und fallen ohne Prüfung erst auf, wenn Sichtbarkeit verloren ist.
Nächster Schritt
Erst die Technik, dann alles andere.
Wir prüfen Crawling, Indexierung, Rendering und Ladezeit Ihrer Website und beheben, was Sichtbarkeit blockiert. Verständlich erklärt, mit Prioritäten.