metodologia · listopad 2026

Czego nie mierzymy i dlaczego — pięć granic tego pomiaru

Każdą z tych granic policzyliśmy na własnym pomiarze: 40 promptów × 3 próby × 3 silniki = 360 wywołań, 10 listopada 2026, oficjalne API, 18,95 PLN z rachunków dostawców. Publikujemy je, bo klient, który dowiaduje się o ograniczeniu po zakupie, ma prawo czuć się oszukany — a my musielibyśmy mu to ograniczenie wtedy tłumaczyć zamiast pokazać.

1. AI Overviews i Google AI Mode — nie mierzymy, bo nie da się tego zrobić legalnie

AI Overviews i Google AI Mode nie są mierzone, bo nie mają oficjalnego API, a pomiar wymagałby obchodzenia zabezpieczeń Google.

To nie jest kwestia ceny ani trudności technicznej. Powierzchnie, o których mówimy, są dostępne wyłącznie w interfejsie wyszukiwarki. Zebranie z nich danych w sposób powtarzalny oznacza automatyczne pobieranie strony wyników — a to narusza regulamin usługi i wymaga obejścia zabezpieczeń technicznych, w tym mechanizmów antybotowych. Nie robimy tego i nie zrobimy tego na życzenie klienta; wyłączamy to także z przedmiotu umowy, żeby nie było sporu później.

Co z tego wynika dla Ciebie: jeśli dostawca pomiaru pokazuje Ci dane o AI Overviews, warto zapytać, skąd je ma. Odpowiedź jest zwykle jedna z dwóch — albo pobiera je w sposób, który łamie regulamin, albo szacuje je z innego źródła i nazywa pomiarem. My w zamian mówimy wprost, że mierzymy trzy powierzchnie z oficjalnym API i tylko o nich wypowiadamy się w liczbach.

2. Ten sam prompt daje różne odpowiedzi — 25,5% wystąpień jest niestabilnych

Każde z 40 pytań zadaliśmy trzy razy na każdym silniku. Dla par „marka + prompt + silnik", w których marka pojawiła się choć raz (703 pary), rozkład wyszedł tak:

Stabilność wystąpienia marki w trzech próbach tego samego promptu.
W ilu próbach z trzechParUdział
3 na 339856,6%
2 na 312617,9%
1 na 317925,5%

Czego więc nie mierzymy: jednego zapytania. Co czwarte wystąpienie marki widoczne przy jednym pytaniu znika przy powtórzeniu tego samego pytania. Dlatego w naszym pomiarze każdy prompt ma trzy próby, a wynik liczymy na wszystkich — i dlatego nie przyjmujemy zlecenia „sprawdźcie szybko jeden prompt". Jedno zapytanie to anegdota, nie pomiar, i tak je nazywamy także wtedy, gdy sami je wykonujemy w ramach wstępnego sygnału przed rozmową.

3. Silnik z groundingiem szukał w sieci w 21,7% wywołań

Czy silnik w ogóle sięgnął do sieci. 120 wywołań na silnik.
SilnikSzukał w sieciPromptów z wyszukiwaniem (z 40)Mediana źródeł
Silnik 1100%408
Silnik 276,7%324
Silnik 3, grounding włączony21,7%100

Silnik 3 miał grounding włączony przez cały pomiar i skorzystał z niego w co piątym wywołaniu. W pozostałych odpowiadał z wiedzy modelu — bez wejścia na jakąkolwiek stronę i bez podania źródeł.

Czego więc nie obiecujemy: że poprawa treści na Twojej stronie przełoży się na wynik na każdym silniku. Na silniku, który w czterech piątych przypadków nie szuka w sieci, decyduje to, co model „wie" o marce z danych treningowych — czyli to, co inni napisali o niej wcześniej i co zdążyło wejść do modelu. Na taką zmianę nie ma drogi w ciągu miesiąca. Jest nią obecność w treściach osób trzecich, która w naszym pomiarze kategorii odpowiadała za blisko jedną trzecią wszystkich cytowań.

4. Udziału cytowań nie podajemy w procentach, kiedy mianownik jest za mały

Citation Share liczymy jako udział promptów, w których model zacytował domenę marki — ale tylko wśród promptów, w których model w ogóle szukał w sieci. Przy silniku z punktu 3 mianownik wyszedł 10 promptów. To znaczy, że jeden prompt przesuwa metrykę o 10 punktów procentowych.

Przyjęliśmy twardy próg: poniżej 20 promptów w mianowniku nie podajemy procentu, tylko ułamek (na przykład „7 z 10"), z adnotacją, że wartość jest poniżej progu. Policzyliśmy też, co by było potrzebne, żeby ten próg osiągnąć na takim silniku przy tempie wyszukiwania 21,7%: panel musiałby mieć około 90 promptów. Nasz zakres kończy panel na 60, więc przy 60 promptach oczekiwany mianownik to około 15 — nadal poniżej progu.

Czego więc nie zrobimy: nie obniżymy progu, żeby wykres wyglądał lepiej. Próg ma 20, bo przy mniejszym mianowniku pojedyncza odpowiedź modelu rusza sprzedawaną metrykę o więcej niż 5 punktów — a wtedy raport miesiąc do miesiąca pokazywałby „wzrost", którego nie ma.

Przy okazji jedna rzecz, którą poprawiliśmy u siebie, zanim zaczęliśmy to sprzedawać. Pierwotnie do mianownika wchodziły tylko prompty, dla których model zwrócił choć jedno źródło — z liczenia wypadały więc prompty, w których szukał i nie zacytował nikogo. To zawyżało metrykę: na jednym z silników dawało 8/25 = 32,0% zamiast poprawnego 8/32 = 25,0%. „Model szukał i nas nie zacytował" to nasz brak, a nie brak okazji, więc musi być w mianowniku. Poprawka obniżyła nagłówkową metrykę naszego własnego raportu o 7 punktów i tak zostało.

5. Oceny kontekstu nie robi automat — nasz detektor ma trafność 26%

Oprócz tego, czy marka wystąpiła, raportujemy jak jest opisana: do czego polecana, dla kogo niepolecana, jakie zastrzeżenia się powtarzają. Zdania potencjalnie niekorzystne wstępnie zaznacza oprogramowanie, ale decyzję podejmuje człowiek — i tu są liczby, które to uzasadniają.

Na 360 odpowiedziach detektor zaznaczył 31 fragmentów. Po przeglądzie potwierdziło się 8, czyli 25,8%. Trzy czwarte zaznaczeń było fałszywe, w sposób, którego żaden słownik nie wyłapie: słowo „problem" wewnątrz zwrotu „bez problemu przygotują ofertę" znaczy dokładnie odwrotnie niż sygnał, a fraza „nie polecam" pojawiła się raz jako podpowiedź modelu, jakie frazy monitorować w alertach.

Ważniejsze jest to, czego ta liczba nie mówi. 25,8% to trafność zaznaczeń, nie czułość detektora — nie wiemy, ile prawdziwych sygnałów przeoczył. Jeden znaleźliśmy przypadkiem: realnym ograniczeniem marki było w jednej odpowiedzi zdanie w formie „sam X nie wystarczy — potrzebne będzie też Y", którego lista słów kluczowych nie zna w ogóle. Czego więc nie obiecujemy: kompletnej listy wszystkiego, co model mówi o Twojej marce niekorzystnie. Obiecujemy przegląd wykonany przez człowieka i jawne nazwanie tego, czego metoda nie widzi.

Czego jeszcze nie wiemy

Dlaczego to publikujemy

Mierzymy coś, czego klient nie może łatwo sprawdzić samodzielnie — a to jest dokładnie ta sytuacja, w której najłatwiej sprzedać liczbę bez pokrycia. Jedyny sprawdzalny dowód, jaki możemy dać przed podpisaniem umowy, to pokazanie, gdzie nasz własny pomiar się kończy, i oddanie surowych danych do ręki. Każdy klient dostaje pełny plik z odpowiedziami, źródłami i kosztami — może przeliczyć nasze metryki od zera i nie musi nam wierzyć na słowo.

Napisz, co chcesz zmierzyć · Zobacz pomiar całej kategorii · Zakres i ceny

← Wszystkie materiały