Metodologia
Jak mierzymy
Trzy rzeczy decydują o tym, czy liczba z raportu da się porównać z liczbą sprzed miesiąca: zamrożony panel pytań, trzy próby na pytanie i ten sam sposób zbierania danych na każdym silniku.
Panel promptów
Budujemy z Tobą panel 30–60 pytań, które realnie zadaje Twój klient: kategorialnych („najlepszy dostawca X w Polsce"), problemowych (jak klient opisuje swój ból, zanim zna nazwę rozwiązania), porównawczych, segmentowych, cenowych i reputacyjnych. Panel zatwierdzasz przed pomiarem i od tej chwili jest zamrożony — zapisujemy jego skrót kryptograficzny, żeby w kolejnym miesiącu dało się udowodnić, że pytania są te same. Zmiana panelu w trakcie obsługi to zmiana jednostki miary, więc robimy ją tylko jawnie i z nową linią bazową.
Trzy próby na każdy prompt
Odpowiedzi modeli są niedeterministyczne: ten sam prompt zadany dwa razy daje różne odpowiedzi. Dlatego każde pytanie zadajemy trzy razy na każdym silniku i liczymy wystąpienia na wszystkich próbach, a nie na jednej. Jedno zapytanie to anegdota; trzy próby × trzy silniki to liczba, którą można porównać miesiąc do miesiąca. Każde wywołanie zapisujemy wraz z pełną odpowiedzią, listą cytowanych źródeł, czasem i kosztem — surowe dane dostajesz w załączniku do raportu i możesz je sprawdzić niezależnie od nas.
Trzy silniki przez oficjalne API
Mierzymy na OpenAI API (modele GPT, z wyszukiwaniem w sieci, gdy model je uruchomi), Perplexity Sonar API i Gemini API z groundingiem, zawsze na podstawie regulaminów dostawców i za opłatą. Nie scrapujemy stron wyników wyszukiwania, nie symulujemy przeglądarki, nie obchodzimy zabezpieczeń technicznych i nie łamiemy CAPTCHA. Dla każdej odpowiedzi zapisujemy też, czy silnik w ogóle szukał w sieci — bez tego metryka cytowań jest nieporównywalna między silnikami.
Trzy metryki i to, czego nie znaczą
| Metryka | Definicja | Czego nie znaczy |
|---|---|---|
| Share of Prompts | udział promptów, w których marka wystąpiła w odpowiedzi | nie jest „pozycją"; marka może wystąpić i być opisana krytycznie — dlatego raportujemy też kontekst |
| Citation Share | udział promptów, w których model zacytował Twoją domenę, liczony tylko wśród promptów, w których szukał w sieci | nie jest porównywalny między silnikami, które szukają z różną częstotliwością; przy zbyt małym mianowniku podajemy ułamek, nie procent |
| Kontekst jakościowy | jak marka jest opisana: do czego polecana, dla kogo niepolecana, jakie zastrzeżenia się powtarzają | nie jest analizą sentymentu z automatu — każde zaznaczone zdanie przegląda człowiek, bo nasz detektor ma zmierzoną trafność ok. 26% |
Granice tego pomiaru
AI Overviews i Google AI Mode nie są mierzone, bo nie mają oficjalnego API, a pomiar wymagałby obchodzenia zabezpieczeń Google.
Nie robimy tego i nie zrobimy na życzenie klienta. Wolimy mniejszy zakres i prawdziwe dane.
- Nie mierzymy niczego w interfejsach webowych asystentów. Wyłącznie oficjalne, płatne API.
- Nie wysyłamy do dostawców API promptów zawierających nazwiska osób trzecich — także w benchmarku konkurencji. W branżach działających pod nazwiskami nazywamy to w raporcie luką.
- Citation Share bywa liczony na małym mianowniku. Wtedy podajemy ułamek, a nie procent, który wyglądałby mocniej, niż jest.
Jak te granice wyglądają na realnych danych, policzyliśmy na własnym pomiarze: Czego nie mierzymy i dlaczego.
Chcesz to zobaczyć na swojej kategorii?Napisz, w czym działasz i z kim się porównujesz.