geo-vorarlberg.at
Technische Zugänglichkeit für KI-Crawler
Das Problem
Die Kette von der Website zur KI-Antwort beginnt beim Crawling. Ein KI-Crawler ruft eine Seite ab; der Text wird anschließend in Abschnitte zerlegt und für den späteren Abruf abgelegt. KI-Crawler führen dabei in der Regel kein JavaScript aus. Liegt der eigentliche Inhalt erst nach dem Nachladen im Browser vor, sieht der Crawler eine weitgehend leere Seite. Für das Sprachmodell existiert dieser Inhalt dann nicht, und die Website des Betriebs kann in keiner Antwort als Quelle dienen.
Der Zugang scheitert nicht nur am fehlenden Inhalt, sondern häufig an der Technik: Eine robots.txt sperrt GPTBot oder PerplexityBot pauschal aus, ein Bot-Schutz liefert dem Crawler eine Sperrseite, eine Cookie-Wand verdeckt den Text, oder eine Weiterleitungskette endet in einem Fehlercode. Solche Einstellungen stammen oft aus einer Zeit, in der es KI-Crawler noch nicht gab, und wurden seither nicht mehr geprüft. Ein Betrieb in Vorarlberg, dessen Website so blockiert ist, bleibt mit seinen eigenen Inhalten für die Sprachmodelle unsichtbar, obwohl diese vorhanden wären.
Was wir konkret tun
- 1
Inhalt ohne JavaScript prüfen
Wir rufen Ihre zentralen Seiten so ab, wie es ein KI-Crawler tut, und vergleichen das ausgelieferte HTML mit dem, was ein Browser anzeigt. KI-Crawler führen in der Regel kein JavaScript aus. Fehlt der Text im HTML, halten wir fest, welche Bereiche betroffen sind und ob serverseitiges Rendering oder eine statische Auslieferung Abhilfe schafft.
- 2
robots.txt für KI-Crawler bereinigen
Wir lesen die robots.txt Ihrer Website und prüfen die Regeln für die bekannten KI-Crawler: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot und Google-Extended. Unbeabsichtigte Sperren, widersprüchliche Anweisungen und veraltete Einträge werden dokumentiert und nach Ihrer Freigabe bereinigt. Welche Crawler Sie zulassen wollen, entscheiden Sie.
- 3
Sitemap, Weiterleitungen und Canonicals prüfen
Die XML-Sitemap muss erreichbar sein und die tatsächlich gewünschten Seiten enthalten. Wir prüfen außerdem Weiterleitungen und Statuscodes, damit Crawler nicht in Ketten oder Fehlerseiten landen, sowie Canonical-Angaben und hreflang-Verweise, damit für jede Seite eindeutig ist, welche Fassung gilt.
- 4
Blockaden und Ladeverhalten identifizieren
Bot-Schutz, Cookie-Wände und Interstitials können einem Crawler eine andere Seite zeigen als einem Besucher. Wir stellen fest, ob solche Schichten den eigentlichen Inhalt verdecken oder den Abruf ganz verhindern, und prüfen das Ladeverhalten, damit Seiten innerhalb der Zeit ausgeliefert werden, die ein Crawler abwartet.
- 5
Testabrufe mit den Kennungen der KI-Crawler
Wir rufen Ihre Seiten mit den Kennungen der KI-Crawler ab und protokollieren, was jeweils zurückkommt: Statuscode, Weiterleitungsziel, ausgelieferter Inhalt. So zeigt sich, ob ein Bot-Schutz oder eine Serverregel einzelne Crawler anhand ihrer Kennung anders behandelt als normale Besucher. Die Abrufe werden vor und nach den Änderungen wiederholt.
- 6
Optional: llms.txt anlegen
Auf Wunsch legen wir eine llms.txt an, die Sprachmodellen eine kurze, strukturierte Übersicht über Ihre Website und Ihre zentralen Seiten bietet. Dazu gehört der Hinweis: Google gibt an, diese Datei nicht zu verwenden. Sie ist eine Ergänzung mit offenem Nutzen, kein Ersatz für lesbares HTML.
So gehen wir vor
- Schritt 1
Bestandsaufnahme und Testabrufe
Wir erfassen die Seiten, die für Ihren Betrieb zählen, und rufen sie ohne JavaScript sowie mit den Kennungen der KI-Crawler ab. Parallel lesen wir robots.txt, XML-Sitemap, Weiterleitungen, Statuscodes, Canonicals und hreflang. Ergebnis ist ein Befund je Prüfpunkt.
- Schritt 2
Prüfprotokoll und Änderungsliste
Aus den Befunden entstehen ein Prüfprotokoll mit den festgestellten Blockaden und eine Änderungsliste mit konkreten Anweisungen: welche Datei, welche Zeile, welche Einstellung. Die Liste ist so formuliert, dass Ihr Webbetreuer sie direkt umsetzen kann. Sie entscheiden, welche Punkte freigegeben werden.
- Schritt 3
Umsetzung nach Freigabe
Haben wir Zugang zu Ihrer Website, setzen wir die freigegebenen Änderungen selbst um: robots.txt bereinigen, Weiterleitungen korrigieren, Sitemap anpassen, auf Wunsch die llms.txt anlegen. Betreut ein Dritter Ihre Website, übergeben wir ihm Prüfprotokoll und Änderungsliste zur Umsetzung.
- Schritt 4
Kontrollabruf
Nach der Umsetzung wiederholen wir die Testabrufe mit den Kennungen der KI-Crawler und dokumentieren das Ergebnis im Prüfprotokoll. So ist nachvollziehbar, welche Blockaden beseitigt wurden und welche Punkte bewusst offen bleiben, etwa weil Sie einzelne Crawler weiterhin ausschließen möchten.
Was Sie erhalten
- Prüfprotokoll mit dem Befund je Prüfpunkt: HTML ohne JavaScript, robots.txt, XML-Sitemap, Weiterleitungen, Statuscodes, Canonicals, hreflang, Blockaden und Ladeverhalten
- Änderungsliste mit konkreten Anweisungen, verständlich für Sie und Ihren Webbetreuer
- Bereinigte robots.txt sowie korrigierte Weiterleitungen, Sitemap und Canonicals, sofern Zugang bestand und Sie die Änderungen freigegeben haben
- Dokumentierte Testabrufe mit den Kennungen der KI-Crawler vor und nach der Umsetzung
- Optional eine llms.txt auf Ihrer Domain, mit dem Hinweis auf ihre begrenzte Wirkung
Was Sie selbst prüfen können
- 1
Rufen Sie ihre-domain.at/robots.txt im Browser auf und suchen Sie nach den Namen GPTBot, PerplexityBot, ClaudeBot und Google-Extended. Steht unter einem dieser Namen „Disallow: /“, ist dieser Crawler von Ihrer gesamten Website ausgesperrt.
- 2
Öffnen Sie den Quelltext Ihrer Startseite mit Strg+U und suchen Sie einen Satz, der auf der Seite sichtbar ist. Finden Sie ihn im Quelltext nicht, liegt der Inhalt nicht im ausgelieferten HTML, sondern wird erst per JavaScript nachgeladen.
- 3
Öffnen Sie ihre-domain.at/sitemap.xml oder die in Ihrer robots.txt eingetragene Sitemap-Adresse. Erscheint eine Fehlerseite oder fehlen dort Ihre zentralen Seiten, findet ein Crawler diese nur über Links auf anderen Seiten.
- 4
Öffnen Sie Ihre Startseite in einem privaten Browserfenster. Blockiert eine Cookie-Wand oder ein Einblendfenster den Zugriff auf den Inhalt vollständig, bis Sie zustimmen, kann dieselbe Schicht auch einen Crawler aufhalten.
Vertiefung im Ratgeber: Ist Ihre Website für KI-Crawler lesbar?
Preis und Umfang
Dieser Baustein ist Bestandteil der GEO-Optimierung (Stufe 2, Gesamtpaket ab ca. 2.900 €, ca. 6–8 Wochen). Auf Wunsch setzen wir ihn auch einzeln um — Umfang und Preis stehen nach dem KI-Sichtbarkeits-Audit fest, weil erst die Messung zeigt, wie viel hier zu tun ist.
Fragen zu diesem Baustein
Meine Website wurde von einer Agentur gebaut und funktioniert im Browser einwandfrei. Warum sollte ein KI-Crawler sie nicht lesen können?
Weil ein Browser JavaScript ausführt und ein KI-Crawler in der Regel nicht. Baut die Website ihren Text erst im Browser zusammen, sieht der Crawler nur das Gerüst. Dazu kommen Einstellungen, die niemand mit Blick auf KI-Crawler gesetzt hat: eine robots.txt aus der Vorlage, ein Bot-Schutz des Hosters, eine Cookie-Wand. Im Browser fällt davon nichts als Fehler auf. Genau deshalb prüfen wir mit Testabrufen, wie die Seite beim Crawler ankommt.
Muss ich alle KI-Crawler zulassen, damit mein Betrieb in Vorarlberg in KI-Antworten genannt wird?
Nein, Sie entscheiden je Crawler. Wer in ChatGPT genannt werden möchte, sollte OAI-SearchBot und ChatGPT-User nicht sperren; für Perplexity gilt dasselbe für PerplexityBot. Google-Extended steuert nach Angaben von Google die Nutzung Ihrer Inhalte für Gemini, nicht die Google-Suche selbst. Wir zeigen Ihnen, welcher Eintrag welche Wirkung hat, und Sie legen fest, was zugelassen wird. Ein Betrieb in Vorarlberg, der regional genannt werden möchte, kann mit den Inhalten seiner Website nur von jenen Systemen berücksichtigt werden, deren Crawler er hereinlässt.
Was bringt eine llms.txt, wenn Google angibt, sie nicht zu verwenden?
Die llms.txt ist eine kurze Textdatei, die Sprachmodellen eine geordnete Übersicht über Ihre Website gibt. Google gibt an, sie nicht zu verwenden; ob und wie andere Anbieter sie auswerten, ist nicht abschließend geklärt. Deshalb legen wir sie nur optional an und behandeln sie als Ergänzung. Entscheidend bleiben lesbares HTML, eine saubere robots.txt und erreichbare Seiten, nicht diese Datei.
Herausfinden, wo Sie stehen
Im Erstgespräch klären wir, welche Fragen Ihre Kunden stellen und ob sich eine Messung für Sie lohnt. Etwa 30 Minuten, kostenlos. Rechnet sich GEO für Sie derzeit nicht, sagen wir das.
