geo-vorarlberg.at
Wie wir messen
Jede Zahl mit Abfragedatum, Anzahl der Wiederholungen und Modellversion. Sie können jede Angabe nachvollziehen und selbst nachprüfen. Dieses Verfahren steckt im KI-Sichtbarkeits-Audit und im Monitoring.
Wir messen, statt zu behaupten.
- Vier KI-Systeme: ChatGPT, Perplexity, Google AI Overviews, Gemini
- Mindestens fünf Wiederholungen je Frage und System — darunter weisen wir keine Quote aus
- Neue Sitzung je Abfrage, Personalisierung und Chatverlauf abgeschaltet, Standort Vorarlberg
- Verteilt über mehrere Tage, damit Tagesschwankungen nicht das Ergebnis bestimmen
Welche Fragen wir stellen
Ihre echten Kundenfragen, nicht unsere Wunschformulierungen.
Wir entwickeln mit Ihnen ein festes Set aus drei Fragetypen, regional formuliert, so wie Ihre Kunden tatsächlich fragen. Das Set wird vor der Messung festgelegt und danach nicht mehr verändert — nur so sind spätere Messungen mit der ersten vergleichbar.
| Fragetyp | Beispiel |
|---|---|
| Empfehlung | „Welchen Installateur in Rankweil kannst du empfehlen?“ |
| Vergleich | „Welche Hotels im Montafon eignen sich für Familien mit kleinen Kindern?“ |
| Problem | „Ich brauche kurzfristig einen Steuerberater in Dornbirn für die Gründung einer GmbH.“ |
Wie wir abfragen
- 1
Neue Sitzung
Jede Abfrage beginnt in einer frischen Sitzung ohne Anmeldung, ohne Verlauf, ohne aktivierte Personalisierung. Als Standort ist Vorarlberg gesetzt.
- 2
Wiederholung
Jede Frage läuft je System mindestens fünfmal, verteilt über mehrere Tage und Tageszeiten. Eine einzelne Abfrage ist eine Momentaufnahme, kein Messwert.
- 3
Protokoll
Zu jeder Antwort erfassen wir Datum, Uhrzeit, System, Modellversion soweit ausgewiesen, den Wortlaut der Frage, den vollständigen Antworttext und die angezeigten Quellen.
- 4
Einordnung
Je Antwort halten wir fest: Wurde Ihr Betrieb genannt, an welcher Stelle, in welchem Tonfall — empfohlen, neutral erwähnt oder eingeschränkt — und über welche Quelle die Nennung belegt wird.
Was die Kennzahlen bedeuten
| Kennzahl | Berechnung |
|---|---|
| Nennungsquote | Antworten, in denen Ihr Betrieb genannt wird, geteilt durch alle Abfragen — je System und gesamt |
| Anteil im Wettbewerb | Ihre Nennungen im Verhältnis zu allen Nennungen der mit Ihnen definierten Mitbewerber |
| Tonfall | Verteilung Ihrer Nennungen auf empfohlen, neutral erwähnt, eingeschränkt genannt |
| Quellenherkunft | Welche Websites die Systeme als Beleg anzeigen, gezählt über alle Antworten |
| Entwicklung | Veränderung dieser Werte zwischen zwei Messungen mit identischem Prompt-Set |
Bei kleinen Zahlen weisen wir Zählwerte aus statt Prozentangaben: „in 2 von 15 Antworten“ sagt mehr als „13,3 Prozent“ und täuscht keine Genauigkeit vor, die die Messung nicht hergibt.
Was die Messung nicht kann
- Sie ist eine Momentaufnahme. Modelle und Quellenauswahl ändern sich; ein Wert vom Frühjahr gilt im Herbst nicht mehr. Deshalb gibt es das Monitoring.
- Sie zeigt Zusammenhänge, keine Ursachen. Warum ein Betrieb genannt wird, lässt sich aus der Quellenherkunft plausibel ableiten, aber nicht beweisen.
- Sie misst Nennungen, nicht Umsatz. Ob aus einer Nennung ein Kunde wird, liegt außerhalb der Messung.
- Google AI Overviews erscheinen nicht bei jeder Suche. Wo keine Übersicht ausgespielt wird, zählt die Abfrage als „nicht ausgespielt“, nicht als „nicht genannt“.
- Wir messen die Systeme über ihre offiziellen Zugänge. Welchen Zugang wir je System verwenden, steht in jedem Bericht — Endkunden-Apps können abweichen.
Fragen zur Methodik
Warum mindestens fünf Wiederholungen je Frage?
Sprachmodelle erzeugen ihre Antwort bei jeder Abfrage neu; dieselbe Frage kann unterschiedliche Betriebe nennen. Erst über mehrere Wiederholungen wird sichtbar, ob eine Nennung stabil ist oder Zufall war. Fünf ist die Untergrenze, ab der wir eine Quote überhaupt ausweisen.
Warum in einer neuen Sitzung ohne Anmeldung?
Ein eingeloggtes Konto mit Gesprächsverlauf kann die Antworten beeinflussen. Gemessen werden soll, was ein beliebiger Kunde sieht, nicht was das System aus früheren Fragen gelernt hat. Deshalb jede Abfrage in einer frischen Sitzung, Personalisierung abgeschaltet, Standort Vorarlberg.
Können wir Ihre Zahlen selbst nachprüfen?
Ja. Zu jeder Zahl gehören Abfragedatum, Wortlaut der Frage, Anzahl der Wiederholungen und Modellversion. Mit diesen Angaben lässt sich die Abfrage wiederholen. Da sich Modelle laufend ändern, kann das Ergebnis später abweichen — dokumentiert ist der Stand zum Messzeitpunkt.
Messen Sie auch in anderen Sprachen?
Wenn es für Ihren Markt relevant ist, ja. Ein Gast aus den Niederlanden fragt ein KI-System meist in seiner Sprache, und die Antwort speist sich zum Teil aus anderen Quellen als bei einer deutschen Frage. Welche Sprachen in die Messung kommen, legen wir im Erstgespräch fest.
Einen Teil davon können Sie selbst nachvollziehen: der Ratgeber KI-Sichtbarkeit selbst prüfen beschreibt den Selbsttest, Warum KI-Antworten schwanken erklärt, warum Wiederholungen nötig sind.
Herausfinden, wo Sie stehen
Im Erstgespräch klären wir, welche Fragen Ihre Kunden stellen und ob sich eine Messung für Sie lohnt. Etwa 30 Minuten, kostenlos. Rechnet sich GEO für Sie derzeit nicht, sagen wir das.
