Czego nie mierzymy i dlaczego — pięć granic tego pomiaru
Każdą z tych granic policzyliśmy na własnym pomiarze: 40 promptów × 3 próby × 3 silniki = 360 wywołań, 10 listopada 2026, oficjalne API, 18,95 PLN z rachunków dostawców. Publikujemy je, bo klient, który dowiaduje się o ograniczeniu po zakupie, ma prawo czuć się oszukany — a my musielibyśmy mu to ograniczenie wtedy tłumaczyć zamiast pokazać.
1. AI Overviews i Google AI Mode — nie mierzymy, bo nie da się tego zrobić legalnie
AI Overviews i Google AI Mode nie są mierzone, bo nie mają oficjalnego API, a pomiar wymagałby obchodzenia zabezpieczeń Google.
To nie jest kwestia ceny ani trudności technicznej. Powierzchnie, o których mówimy, są dostępne wyłącznie w interfejsie wyszukiwarki. Zebranie z nich danych w sposób powtarzalny oznacza automatyczne pobieranie strony wyników — a to narusza regulamin usługi i wymaga obejścia zabezpieczeń technicznych, w tym mechanizmów antybotowych. Nie robimy tego i nie zrobimy tego na życzenie klienta; wyłączamy to także z przedmiotu umowy, żeby nie było sporu później.
Co z tego wynika dla Ciebie: jeśli dostawca pomiaru pokazuje Ci dane o AI Overviews, warto zapytać, skąd je ma. Odpowiedź jest zwykle jedna z dwóch — albo pobiera je w sposób, który łamie regulamin, albo szacuje je z innego źródła i nazywa pomiarem. My w zamian mówimy wprost, że mierzymy trzy powierzchnie z oficjalnym API i tylko o nich wypowiadamy się w liczbach.
2. Ten sam prompt daje różne odpowiedzi — 25,5% wystąpień jest niestabilnych
Każde z 40 pytań zadaliśmy trzy razy na każdym silniku. Dla par „marka + prompt + silnik", w których marka pojawiła się choć raz (703 pary), rozkład wyszedł tak:
| W ilu próbach z trzech | Par | Udział |
|---|---|---|
| 3 na 3 | 398 | 56,6% |
| 2 na 3 | 126 | 17,9% |
| 1 na 3 | 179 | 25,5% |
Czego więc nie mierzymy: jednego zapytania. Co czwarte wystąpienie marki widoczne przy jednym pytaniu znika przy powtórzeniu tego samego pytania. Dlatego w naszym pomiarze każdy prompt ma trzy próby, a wynik liczymy na wszystkich — i dlatego nie przyjmujemy zlecenia „sprawdźcie szybko jeden prompt". Jedno zapytanie to anegdota, nie pomiar, i tak je nazywamy także wtedy, gdy sami je wykonujemy w ramach wstępnego sygnału przed rozmową.
3. Silnik z groundingiem szukał w sieci w 21,7% wywołań
| Silnik | Szukał w sieci | Promptów z wyszukiwaniem (z 40) | Mediana źródeł |
|---|---|---|---|
| Silnik 1 | 100% | 40 | 8 |
| Silnik 2 | 76,7% | 32 | 4 |
| Silnik 3, grounding włączony | 21,7% | 10 | 0 |
Silnik 3 miał grounding włączony przez cały pomiar i skorzystał z niego w co piątym wywołaniu. W pozostałych odpowiadał z wiedzy modelu — bez wejścia na jakąkolwiek stronę i bez podania źródeł.
Czego więc nie obiecujemy: że poprawa treści na Twojej stronie przełoży się na wynik na każdym silniku. Na silniku, który w czterech piątych przypadków nie szuka w sieci, decyduje to, co model „wie" o marce z danych treningowych — czyli to, co inni napisali o niej wcześniej i co zdążyło wejść do modelu. Na taką zmianę nie ma drogi w ciągu miesiąca. Jest nią obecność w treściach osób trzecich, która w naszym pomiarze kategorii odpowiadała za blisko jedną trzecią wszystkich cytowań.
4. Udziału cytowań nie podajemy w procentach, kiedy mianownik jest za mały
Citation Share liczymy jako udział promptów, w których model zacytował domenę marki — ale tylko wśród promptów, w których model w ogóle szukał w sieci. Przy silniku z punktu 3 mianownik wyszedł 10 promptów. To znaczy, że jeden prompt przesuwa metrykę o 10 punktów procentowych.
Przyjęliśmy twardy próg: poniżej 20 promptów w mianowniku nie podajemy procentu, tylko ułamek (na przykład „7 z 10"), z adnotacją, że wartość jest poniżej progu. Policzyliśmy też, co by było potrzebne, żeby ten próg osiągnąć na takim silniku przy tempie wyszukiwania 21,7%: panel musiałby mieć około 90 promptów. Nasz zakres kończy panel na 60, więc przy 60 promptach oczekiwany mianownik to około 15 — nadal poniżej progu.
Czego więc nie zrobimy: nie obniżymy progu, żeby wykres wyglądał lepiej. Próg ma 20, bo przy mniejszym mianowniku pojedyncza odpowiedź modelu rusza sprzedawaną metrykę o więcej niż 5 punktów — a wtedy raport miesiąc do miesiąca pokazywałby „wzrost", którego nie ma.
Przy okazji jedna rzecz, którą poprawiliśmy u siebie, zanim zaczęliśmy to sprzedawać. Pierwotnie do mianownika wchodziły tylko prompty, dla których model zwrócił choć jedno źródło — z liczenia wypadały więc prompty, w których szukał i nie zacytował nikogo. To zawyżało metrykę: na jednym z silników dawało 8/25 = 32,0% zamiast poprawnego 8/32 = 25,0%. „Model szukał i nas nie zacytował" to nasz brak, a nie brak okazji, więc musi być w mianowniku. Poprawka obniżyła nagłówkową metrykę naszego własnego raportu o 7 punktów i tak zostało.
5. Oceny kontekstu nie robi automat — nasz detektor ma trafność 26%
Oprócz tego, czy marka wystąpiła, raportujemy jak jest opisana: do czego polecana, dla kogo niepolecana, jakie zastrzeżenia się powtarzają. Zdania potencjalnie niekorzystne wstępnie zaznacza oprogramowanie, ale decyzję podejmuje człowiek — i tu są liczby, które to uzasadniają.
Na 360 odpowiedziach detektor zaznaczył 31 fragmentów. Po przeglądzie potwierdziło się 8, czyli 25,8%. Trzy czwarte zaznaczeń było fałszywe, w sposób, którego żaden słownik nie wyłapie: słowo „problem" wewnątrz zwrotu „bez problemu przygotują ofertę" znaczy dokładnie odwrotnie niż sygnał, a fraza „nie polecam" pojawiła się raz jako podpowiedź modelu, jakie frazy monitorować w alertach.
Ważniejsze jest to, czego ta liczba nie mówi. 25,8% to trafność zaznaczeń, nie czułość detektora — nie wiemy, ile prawdziwych sygnałów przeoczył. Jeden znaleźliśmy przypadkiem: realnym ograniczeniem marki było w jednej odpowiedzi zdanie w formie „sam X nie wystarczy — potrzebne będzie też Y", którego lista słów kluczowych nie zna w ogóle. Czego więc nie obiecujemy: kompletnej listy wszystkiego, co model mówi o Twojej marce niekorzystnie. Obiecujemy przegląd wykonany przez człowieka i jawne nazwanie tego, czego metoda nie widzi.
Czego jeszcze nie wiemy
- Jak szybko te liczby się starzeją. Dostawcy zmieniają modele bez uprzedzenia i bez publicznego dziennika zmian. Nasz pomiar to zdjęcie z konkretnego dnia; o trendzie będziemy mówić po kilku cyklach, nie po pierwszym.
- Ile zapytań z Twojej kategorii trafia realnie do asystentów AI. Nikt tego publicznie nie udostępnia. Mierzymy strukturę odpowiedzi, nie wolumen pytań — i dlatego nie przeliczamy widoczności na „utracone leady".
- Ile z tego przełoży się na przychód. Nie wiemy i nie będziemy udawać, że wiemy. Zobowiązujemy się umownie do pomiaru, artefaktów i raportu w terminie; poziomu żadnej metryki ani wyniku sprzedażowego nie gwarantujemy.
- Czy w branżach działających pod nazwiskami benchmark jest kompletny. Nie jest — nie wysyłamy do dostawców API zapytań zawierających nazwiska osób trzecich, więc w kancelariach, gabinetach i doradztwie część konkurencji wypada z porównania. Nazywamy tę lukę w raporcie, zamiast ją przemilczeć.
Dlaczego to publikujemy
Mierzymy coś, czego klient nie może łatwo sprawdzić samodzielnie — a to jest dokładnie ta sytuacja, w której najłatwiej sprzedać liczbę bez pokrycia. Jedyny sprawdzalny dowód, jaki możemy dać przed podpisaniem umowy, to pokazanie, gdzie nasz własny pomiar się kończy, i oddanie surowych danych do ręki. Każdy klient dostaje pełny plik z odpowiedziami, źródłami i kosztami — może przeliczyć nasze metryki od zera i nie musi nam wierzyć na słowo.
Napisz, co chcesz zmierzyć · Zobacz pomiar całej kategorii · Zakres i ceny