geo-vorarlberg.at
Warum KI-Antworten schwanken und wie man Sichtbarkeit misst
Wer ChatGPT zweimal dieselbe Frage stellt, erhält oft zwei verschiedene Antworten. Für die Messung von Sichtbarkeit ist das eine Herausforderung, weil eine einzelne Abfrage damit nichts belegt. Dieser Artikel erklärt die Ursachen der Schwankung in verständlicher Form und leitet daraus ab, wie eine Messung aufgebaut sein muss, damit sie trotzdem etwas aussagt.
Warum antwortet ein Sprachmodell nicht immer gleich?
Ein Sprachmodell erzeugt seine Antwort Wort für Wort. Bei jedem Wort berechnet es, welche Fortsetzungen wahrscheinlich sind, und wählt eine davon aus. Diese Auswahl ist nicht immer die wahrscheinlichste Fortsetzung, sondern enthält einen Zufallsanteil. Das Verfahren heißt Sampling. Ohne diesen Zufallsanteil würden Antworten mechanisch und wiederholend wirken; mit ihm sind sie lesbarer, aber eben auch von Durchlauf zu Durchlauf verschieden.
Wie groß der Zufallsanteil ist, steuert ein Parameter, der Temperatur genannt wird. Eine niedrige Temperatur lässt das Modell fast immer die wahrscheinlichste Fortsetzung wählen, eine höhere lässt mehr Abweichung zu. Bei den Systemen, die Endkunden nutzen, ist dieser Wert fest eingestellt und nicht sichtbar. Für die Messung heißt das: Ein Teil der Schwankung ist eingebaut und lässt sich nicht abstellen, nur durch Wiederholung ausgleichen.
Wie beeinflusst Personalisierung die Antwort?
KI-Systeme, die mit einem Konto genutzt werden, berücksichtigen den bisherigen Gesprächsverlauf, gespeicherte Vorlieben und teilweise frühere Unterhaltungen. Wer regelmäßig nach dem eigenen Betrieb fragt oder dessen Website eingegeben hat, bekommt Antworten, in denen dieser Betrieb häufiger vorkommt. Das ist keine Sichtbarkeit, sondern ein Echo der eigenen Nutzung.
Auch innerhalb einer Unterhaltung wirkt jede Nachricht auf die folgenden. Eine allgemeine Frage nach einem Anbieter, gestellt nach einer Frage zum eigenen Betrieb, ist nicht mehr neutral. Für die Messung folgt daraus, dass jede Abfrage in einer neuen Unterhaltung erfolgen muss, ohne Verlauf und ohne Personalisierung. Wie das praktisch geht, beschreibt die Anleitung KI-Sichtbarkeit selbst prüfen.
Warum verändern Modellversionen die Ergebnisse?
Anbieter tauschen ihre Modelle regelmäßig aus, teils angekündigt, teils im Hintergrund. Ein neues Modell hat andere Trainingsdaten, andere Gewichtungen und oft ein anderes Verhalten beim Nennen von Quellen. Eine Sichtbarkeit, die mit einer Modellversion gemessen wurde, lässt sich mit einer späteren Messung nur vergleichen, wenn bekannt ist, ob dazwischen ein Wechsel stattgefunden hat.
Hinzu kommt, dass innerhalb eines Anbieters mehrere Modelle nebeneinander laufen, etwa ein schnelles und ein aufwendigeres, und dass Nutzer je nach Konto unterschiedliche erhalten. Eine Messung muss deshalb festhalten, welches Modell zu welchem Zeitpunkt aktiv war, sonst misst sie den Modellwechsel und schreibt ihn der eigenen Maßnahme zu.
Welche Rolle spielt der Web-Abruf?
Viele KI-Systeme greifen bei Fragen nach aktuellen oder lokalen Dingen auf das Web zu. Sie stellen eine Suchanfrage, rufen einige Seiten ab und bauen die Antwort auf deren Inhalt auf. Welche Seiten das sind, hängt von der Suchanfrage ab, die das System selbst formuliert, und die kann sich von Durchlauf zu Durchlauf unterscheiden. Damit unterscheiden sich auch die Quellen und die genannten Betriebe.
Der Web-Abruf ist zugleich der Teil, der sich unmittelbar beeinflussen lässt. Eine Website, die für KI-Crawler lesbar ist und deren Abschnitte eine Frage beantworten, wird in diesem Schritt häufiger herangezogen. Die fünf Schritte dahinter beschreibt der Artikel Wie KI-Systeme entscheiden, welche Quellen sie zitieren.
Wie misst man Sichtbarkeit trotz Schwankung?
Aus den vier Ursachen folgen vier Regeln für die Messung.
- Wiederholen statt einmal fragen: Jede Frage wird je System mehrfach gestellt, mindestens fünfmal. Das Ergebnis ist ein Anteil, etwa in wie vielen von zehn Durchläufen ein Betrieb genannt wurde, kein Ja oder Nein.
- Neue Sitzung je Abfrage: Ohne Verlauf, ohne Personalisierung, ohne Anmeldung mit einem Konto, das den Betrieb kennt.
- Datum und Modellversion festhalten: Jede Abfrage wird mit Zeitpunkt, System und angezeigtem Modell protokolliert, damit spätere Vergleiche einen Modellwechsel erkennen können.
- Fragen unverändert lassen: Dieselben Fragen in derselben Formulierung über alle Systeme und alle Erhebungen hinweg, weil schon kleine Umformulierungen andere Antworten auslösen.
Eine so aufgebaute Messung liefert keine exakte Zahl, aber eine belastbare Tendenz. Sie zeigt, ob ein Betrieb regelmäßig, gelegentlich oder nie vorkommt und wie sich das über Monate verändert. Wie wir das im Detail anlegen, steht in der Methodik.
Was muss ein Sichtbarkeitsbericht enthalten?
Ein Bericht, der auf Schwankungen Rücksicht nimmt, macht seine Methode nachprüfbar. Fehlt einer der folgenden Punkte, ist unklar, ob gemessen oder geschätzt wurde.
| Bestandteil | Warum er nötig ist |
|---|---|
| Erhebungszeitraum mit Datum | Ergebnisse gelten für einen Zeitpunkt, nicht dauerhaft |
| Geprüfte Systeme und Modellversionen | Vergleiche sind nur bei bekannter Version möglich |
| Liste der gestellten Fragen im Wortlaut | Ergebnisse hängen von der Formulierung ab |
| Zahl der Wiederholungen je Frage und System | Unter fünf ist keine Aussage über Regelmäßigkeit möglich |
| Sitzungsbedingungen | Neue Sitzung, Personalisierung aus, kein Konto mit Vorgeschichte |
| Ergebnis als Anteil je Frage | Zeigt Regelmäßigkeit statt Einzelfall |
| Genannte Mitbewerber und Quellen | Zeigt, welche Websites das System für den Markt heranzieht |
| Rohdaten der Abfragen | Ermöglicht die Nachprüfung jeder Zahl |
Ein Bericht ohne Wiederholungszahl, ohne Modellversion oder ohne Fragenliste ist nicht falsch, aber nicht überprüfbar. Fragen Sie danach, bevor Sie eine Zahl übernehmen. Das laufende GEO-Monitoring ist nach diesem Schema aufgebaut und wiederholt die Erhebung in festen Abständen.
Was das für Vorarlberger Betriebe heißt
Für einen Betrieb in Vorarlberg ist die Zahl der relevanten Fragen überschaubar, weil sie sich fast immer auf eine Leistung und einen Ort beziehen. Das macht eine saubere Messung möglich, ohne dass hunderte Fragen nötig wären. Entscheidend ist nicht die Menge, sondern die Wiederholung und die Dokumentation. Wer heute mit einer belastbaren Ausgangsmessung beginnt, kann in einigen Monaten sagen, ob sich etwas verändert hat und woran das liegt.
Ein KI-Sichtbarkeits-Audit erstellt diese Ausgangsmessung nach den beschriebenen Regeln und legt fest, woran spätere Veränderungen gemessen werden.
Häufige Fragen dazu
Ist eine einzelne Abfrage völlig wertlos?
Sie zeigt einen Einzelfall, mehr nicht. Wegen des Zufallsanteils im Sampling kann dieselbe Frage im nächsten Durchlauf andere Betriebe nennen. Eine einzelne Abfrage taugt als erster Eindruck, aber nicht als Messwert und nicht als Grundlage für Entscheidungen. Erst mehrere Wiederholungen in neuen Sitzungen zeigen, ob eine Nennung regelmäßig oder zufällig erfolgt.
Was ist die Temperatur eines Sprachmodells?
Ein Parameter, der steuert, wie stark der Zufallsanteil bei der Wortauswahl ausfällt. Eine niedrige Temperatur lässt das Modell fast immer die wahrscheinlichste Fortsetzung wählen, eine höhere erlaubt mehr Abweichung und damit mehr Vielfalt. Bei ChatGPT, Perplexity oder Gemini ist dieser Wert fest eingestellt und nicht sichtbar; die eingebaute Schwankung lässt sich nur durch Wiederholung ausgleichen.
Woran erkenne ich einen belastbaren Sichtbarkeitsbericht?
An der Nachprüfbarkeit. Ein belastbarer Bericht nennt den Erhebungszeitraum, die geprüften Systeme mit Modellversion, die Fragen im Wortlaut, die Zahl der Wiederholungen je Frage, die Sitzungsbedingungen und weist Ergebnisse als Anteil statt als Einzelfall aus. Fehlen Wiederholungszahl oder Modellversion, lässt sich nicht sagen, ob gemessen oder geschätzt wurde.
