Powiedzenie ‘dziękuję’ asystentowi AI kosztuje niewiele, ale każda wiadomość powoduje ponowne przesłanie całej rozmowy, a koszt energetyczny rośnie wraz z jej długością. Według analizy opublikowanej jako felieton, to zatem długość wymiany, bardziej niż uprzejmość, obciąża rachunek, a autor proponuje metodę, aby ją ograniczyć.
Punktem wyjścia jest wyliczenie rozpowszechnione na LinkedIn, które szacowało koszt ‘dziękuję’ kierowanych do ChatGPT i Claude’a, zakładając 120 milionów użytkowników i 8 podziękowań dziennie, czyli około 350 miliardów ‘dziękuję’ rocznie. Z kalkulatorem użytym przez autora, pojedyncze ‘dziękuję’ skierowane do modelu wielkości Claude Sonnet 5.5 reprezentuje około 23 GWh rocznie, wobec mniej niż 1 GWh dla małego modelu. Wybór modelu waży zatem około trzydzieści razy bardziej niż uprzejmość.
Prawdziwy czynnik, według autora, tkwi w sposobie działania tych narzędzi. Model językowy nie ma pamięci od jednej wiadomości do drugiej: aplikacja za każdym razem przesyła mu całość lub część rozmowy, czyli wiadomości, odpowiedzi, instrukcje i załączone dokumenty. ‘Dziękuję’ wysłane pod koniec długiej wymiany towarzyszy zatem tysiącom tokenów, czyli jednostek tekstu przetwarzanych przez model. W rozpatrywanym scenariuszu, z 5000 tokenów przesyłanych ponownie, szacowana energia jest mnożona przez dziesięć, a wartość według cennika API wzrasta z około 100 milionów do 3,6 miliarda dolarów rocznie.
Koszt rosnący szybciej niż rozmowa
Każda nowa wymiana odtwarza wszystkie poprzednie: przy setnej wiadomości model ponownie przetwarza pozostałe dziewięćdziesiąt dziewięć. Dla projektu z 60 wymianami, z wiadomościami po 200 tokenów, odpowiedziami po 300 tokenów i 1500 tokenów instrukcji i plików, model musi przetworzyć blisko milion tokenów łącznie.
Dostawcy dysponują mechanizmem cache, który pozwala na odczyt już przetworzonej historii po niższym koszcie. W Anthropic odczyt z cache jest rozliczany od 10 do 40 razy taniej niż token wejściowy, w zależności od modelu: 20 razy dla Sonnet 5.5 i Opus 5.5, 40 razy dla Fable 5.1, 10 razy dla Haiku 5.5. Cache zatem zmniejsza rachunek, ale nie rozwiązuje kwestii długości.
Dłuższe i mniej niezawodne
Rozmowa, która się wydłuża, również słabiej odpowiada. Już w 2023 roku badacze ze Stanford pod kierunkiem Nelsona Liu wykazali, że modele słabo wykorzystują informacje umieszczone w środku długiego kontekstu. W lipcu 2025 firma Chroma przetestowała 18 modeli, w tym o3, Claude 4 i Gemini 2.5, na prostych i kontrolowanych zadaniach: ich niezawodność maleje w miarę wydłużania się wejścia. Tryb rozumowania poprawia wyniki, ale nie niweluje różnicy między wersją krótką a długą.
Benchmark NoLiMa, zaprezentowany na konferencji ICML 2025 przez Adobe Research i uniwersytet LMU w Monachium, idzie w tym samym kierunku. Na podzbiorze 10 najtrudniejszych pytań, model rozumowania o1 od OpenAI odpowiada poprawnie w 92% przypadków przy kontekście 4000 tokenów, 78% przy 8000 tokenów i 31% przy 32 000 tokenów. Publikacja przed drukiem z 2026 roku, zatytułowana ‘Reasoning Shift’, wskazuje ponadto, że historia rozmowy skraca czas rozumowania modeli i ich zdolność do weryfikacji własnej pracy.
Metoda rozmowy matki
Autor proponuje zorganizowanie pracy przed rozpoczęciem. Rozmowa ‘matka’ ustala cel, dzieli projekt na zadania i nie produkuje rezultatów końcowych. Każde zadanie powierzane jest rozmowie ‘córce’, otwieranej przez brief precyzujący cel, oczekiwany format, źródła i ograniczenia, a następnie zamykanej po zakończeniu. Dokumenty referencyjne pozostają w folderze i są przywoływane tylko wtedy, gdy córka ich potrzebuje. Każda córka przekazuje matce jedynie krótkie sprawozdanie, przejrzane przez użytkownika, a model jest wybierany przy otwarciu każdej rozmowy, zgodnie z zadaniem.
Według przedstawionych obliczeń, projekt z 60 wymianami staje się sześcioma córkami po dziesięć wymian, sterowanymi przez jedną matkę. W porównaniu z pojedynczą rozmową prowadzoną na głównym modelu, metoda miałaby być o 7 do 16% bardziej oszczędna energetycznie i o 22 do 28% tańsza. Jeśli matka sporządza odpowiedzi dwukrotnie dłuższe, zysk energetyczny spada do 20–39%. Autor zaznacza, że liczby te pozostają teoretyczne, zwłaszcza wskaźnik unikniętych poprawek, oraz że metoda EcoLogits, użyta do szacowania modeli OpenAI, Google czy Mistrala, liczy tylko wyprodukowane tokeny. Jego zdaniem dostawcy powinni publikować energię zużytą na token odczytany, zapisany i odczytany z cache, ponieważ bez tych danych szacunki opierają się na przybliżeniach.
