W obliczu mnożenia się narzędzi do pomiaru widoczności w generatywnych wyszukiwarkach, autor analizy opublikowanej w Search Engine Journal wzywa firmy, aby nie powierzały swojej strategii oprogramowaniu. Jego zdaniem, niedojrzały jeszcze rynek naraża zespoły na niestabilne narzędzia, słabo porównywalne między sobą i czasem trudne do opuszczenia.
Dla poparcia swojej tezy autor wskazuje, że zidentyfikował 194 narzędzia uruchomione w ciągu ostatnich dwóch-trzech lat, korzystając z Product Hunt, G2 i LinkedIn. Według niego nieco ponad 60% z nich to amatorskie eksperymenty, projekty poboczne lub dzieła pojedynczych założycieli. Szacuje on śmiertelność tej kategorii na poziomie 55-60%, nie licząc narzędzi, których nie udało mu się zidentyfikować. Jego zdaniem każdego miesiąca usługi zamykają swoje API, pozwalają wygasnąć swoim domenom lub przekierowują się na niezwiązane aplikacje.
Koszt jest, według autora, głównym czynnikiem kruchości. Zadawanie zapytań do klasycznej wyszukiwarki i analizowanie jej kodu HTML kosztuje ułamek ceny serii złożonych zapytań, w wielu wymianach, na modelach AI z aktywną nawigacją internetową. Wymienia też wysiłki Google w walce z tego typu zbieraniem danych, które zmuszają wydawców tych narzędzi do ciągłych reinwestycji. Dla narzędzia w modelu self-service wycenionego na 100 dolarów miesięcznie, marże byłyby, jego zdaniem, nieistniejące. Zmiana cen inferencji, limitów zapytań lub interfejsu dostawcy modeli wystarczy, by przeważyć los tych projektów.
Pomiary, które się nie pokrywają
Zmiana narzędzia nie jest, według autora, równoznaczna z zastąpieniem jednego instrumentu innym, równoważnym. Wieloletnie kontrakty utrudniają odejście, a eksport danych nie zawsze wystarcza, ponieważ nie istnieje wspólny standard. Przytacza w tym kontekście dokument IAB, który zauważa brak powszechnie akceptowanej normy do pomiaru odpowiedzi konwersacyjnych AI.
Różnice dotyczą kilku punktów. Jedna platforma może zadawać zapytania bezpośrednio do modelu, podczas gdy inna korzysta z nawigacji internetowej porównywalnej do tej używanej przez zalogowanego internautę. Niektóre narzędzia ograniczają się do sprawdzenia, czy marka jest wymieniona, inne oceniają jej miejsce i ton. Krótka, prosta wzmianka może liczyć się jako sukces w jednym i obniżać wynik w drugim. Wreszcie, jedna platforma może przedstawiać stałą klasyfikację, podczas gdy inna mierzy częstotliwość zmian w wielu testach. Według autora, jedna może ogłosić obecność na czele w 80% odpowiedzi, podczas gdy inna nigdy nie wspomni o marce, ponieważ odpowiedzi AI zmieniają się w sposób losowy.
Tworzenie własnych danych
Zdaniem autora, firma musi posiadać wewnętrznie swoją listę zapytań, zestawy promptów i zebrane odpowiedzi. Zaleca przechowywanie tych elementów poza jakąkolwiek zewnętrzną subskrypcją i faworyzowanie platform, które umożliwiają eksport tekstów odpowiedzi, znaczników czasu, źródłowych URL-i i zapytań, za pomocą webhooka, BigQuery lub standardowego CSV. W ten sposób, jeśli dostawca zmieni swoją metodę obliczeń, surowy historia pozostanie użyteczny.
Autor przypomina w końcu, że widoczność jest, jego zdaniem, wynikiem, a nie dźwignią. Modele językowe generujące odpowiedzi miałyby, według niego, wymieniać marki posiadające solidne definicje bytów, jednoznaczne architektury i schematy oraz aktywną obecność cyfrową, a nie te, które kupiły oprogramowanie. Przewiduje, że konsolidacja sektora przyspieszy i większość narzędzi zniknie.
