Metodologia

Jak mierzymy

Trzy rzeczy decydują o tym, czy liczba z raportu da się porównać z liczbą sprzed miesiąca: zamrożony panel pytań, trzy próby na pytanie i ten sam sposób zbierania danych na każdym silniku.

Panel promptów

Budujemy z Tobą panel 30–60 pytań, które realnie zadaje Twój klient: kategorialnych („najlepszy dostawca X w Polsce"), problemowych (jak klient opisuje swój ból, zanim zna nazwę rozwiązania), porównawczych, segmentowych, cenowych i reputacyjnych. Panel zatwierdzasz przed pomiarem i od tej chwili jest zamrożony — zapisujemy jego skrót kryptograficzny, żeby w kolejnym miesiącu dało się udowodnić, że pytania są te same. Zmiana panelu w trakcie obsługi to zmiana jednostki miary, więc robimy ją tylko jawnie i z nową linią bazową.

Trzy próby na każdy prompt

Odpowiedzi modeli są niedeterministyczne: ten sam prompt zadany dwa razy daje różne odpowiedzi. Dlatego każde pytanie zadajemy trzy razy na każdym silniku i liczymy wystąpienia na wszystkich próbach, a nie na jednej. Jedno zapytanie to anegdota; trzy próby × trzy silniki to liczba, którą można porównać miesiąc do miesiąca. Każde wywołanie zapisujemy wraz z pełną odpowiedzią, listą cytowanych źródeł, czasem i kosztem — surowe dane dostajesz w załączniku do raportu i możesz je sprawdzić niezależnie od nas.

Trzy silniki przez oficjalne API

Mierzymy na OpenAI API (modele GPT, z wyszukiwaniem w sieci, gdy model je uruchomi), Perplexity Sonar API i Gemini API z groundingiem, zawsze na podstawie regulaminów dostawców i za opłatą. Nie scrapujemy stron wyników wyszukiwania, nie symulujemy przeglądarki, nie obchodzimy zabezpieczeń technicznych i nie łamiemy CAPTCHA. Dla każdej odpowiedzi zapisujemy też, czy silnik w ogóle szukał w sieci — bez tego metryka cytowań jest nieporównywalna między silnikami.

Trzy metryki i to, czego nie znaczą

Każda metryka jest liczona na całym panelu i osobno dla każdego silnika.
MetrykaDefinicjaCzego nie znaczy
Share of Prompts udział promptów, w których marka wystąpiła w odpowiedzi nie jest „pozycją"; marka może wystąpić i być opisana krytycznie — dlatego raportujemy też kontekst
Citation Share udział promptów, w których model zacytował Twoją domenę, liczony tylko wśród promptów, w których szukał w sieci nie jest porównywalny między silnikami, które szukają z różną częstotliwością; przy zbyt małym mianowniku podajemy ułamek, nie procent
Kontekst jakościowy jak marka jest opisana: do czego polecana, dla kogo niepolecana, jakie zastrzeżenia się powtarzają nie jest analizą sentymentu z automatu — każde zaznaczone zdanie przegląda człowiek, bo nasz detektor ma zmierzoną trafność ok. 26%

Granice tego pomiaru

AI Overviews i Google AI Mode nie są mierzone, bo nie mają oficjalnego API, a pomiar wymagałby obchodzenia zabezpieczeń Google.

Nie robimy tego i nie zrobimy na życzenie klienta. Wolimy mniejszy zakres i prawdziwe dane.

  • Nie mierzymy niczego w interfejsach webowych asystentów. Wyłącznie oficjalne, płatne API.
  • Nie wysyłamy do dostawców API promptów zawierających nazwiska osób trzecich — także w benchmarku konkurencji. W branżach działających pod nazwiskami nazywamy to w raporcie luką.
  • Citation Share bywa liczony na małym mianowniku. Wtedy podajemy ułamek, a nie procent, który wyglądałby mocniej, niż jest.

Jak te granice wyglądają na realnych danych, policzyliśmy na własnym pomiarze: Czego nie mierzymy i dlaczego.

Chcesz to zobaczyć na swojej kategorii?Napisz, w czym działasz i z kim się porównujesz.

Napisz do nas