3 czerwca 2026 r. Cloudflare Radar odnotował, że 57,5% wszystkich żądań o strony HTML w jego sieci pochodzi od automatów, a od ludzi - tylko 42,5%. Coraz większą część tych automatów stanowią roboty firm AI: w maju 2026 r. crawlery trenujące modele odpowiadały za 20,3% zweryfikowanego ruchu botów, a boty wyszukiwarek AI za kolejne 6,5%. Dla właściciela małej strony to nie jest statystyka z gazety - to realne obciążenie serwera, które nie przynosi ani jednego klienta, dopóki nim nie pokierujesz.
Kto dokładnie czyta Twoją stronę
| Robot | Kto | Po co | Udział w ruchu botów AI (maj 2026) |
|---|---|---|---|
| Googlebot | indeks wyszukiwarki, także AI Overviews | 27,26% | |
| GPTBot | OpenAI | trening modeli | 11,48% |
| ClaudeBot | Anthropic | trening modeli | 9,73% |
| OAI-SearchBot, ChatGPT-User | OpenAI | wyszukiwanie i odpowiedzi na żywo | w części „AI search” |
| PerplexityBot | Perplexity | wyszukiwarka AI | w części „AI search” |
| Bytespider, CCBot, Amazonbot | ByteDance, Common Crawl, Amazon | trening, zbiory danych | kilka procent łącznie |
Kolejność zmienia się z miesiąca na miesiąc, bo zależy od tego, kto akurat trenuje nowy model: w kwietniu prowadził ClaudeBot, w maju GPTBot, w czerwcu ClaudeBot skoczył do 19,8%, a w lipcu miał 16,28% wobec 9,74% GPTBota. Wniosek praktyczny: nie da się „zablokować tego jednego złego bota” i mieć spokój.
Skąd wiadomo, że to dotyczy Ciebie
Trzy objawy, które widać bez żadnych narzędzi:
- Statystyki odwiedzin rozjeżdżają się z Google Analytics. Panel hostingu pokazuje 30 tys. wejść, Analytics 4 tys. Reszta to automaty, które nie wykonują JavaScriptu.
- Strona zwalnia w losowych porach, zwykle w nocy, kiedy nikt z klientów nie zagląda. Boty AI chodzą hurtem, po kilkaset stron na minutę. Jak to odróżnić od innych przyczyn, opisaliśmy w tekście strona wolno się ładuje.
- Ostrzeżenia o limicie CPU lub procesów z panelu hostingu, mimo że nic nie zmieniałeś. Na sklepie z tysiącami wariantów produktów bot potrafi wygenerować więcej zapytań do bazy niż wszyscy klienci tygodnia.
Dowód znajdziesz w logu serwera (panel → logi → access log): kolumna „User-Agent” z nazwami z tabeli powyżej. Jeżeli hosting nie daje dostępu do logów, to samo w sobie jest problemem.
Co wpuścić, a co zatrzymać
To nie jest decyzja „blokować wszystko”. Boty wyszukiwarek AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot) cytują strony i odsyłają do nich czytelników - to nowe źródło ruchu, które w niektórych branżach dogania Google. Boty treningowe (GPTBot, ClaudeBot, CCBot, Bytespider) zabierają treść i nie oddają nic. Sensowna polityka dla małej firmy:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Disallow: /koszyk/
Disallow: /moje-konto/Google-Extended wyłącza użycie treści do trenowania Gemini, nie ruszając zwykłego Googlebota. Plik robots.txt to prośba, nie zapora - duzi gracze go respektują, Bytespider słynie z tego, że nie zawsze.
Twarda ochrona: co daje hosting, a co Cloudflare
- Cloudflare, plan darmowy. Przełącznik „Block AI bots” w sekcji Security → Bots zatrzymuje roboty AI na brzegu sieci, zanim dotkną Twojego serwera. Do tego ustawienie „Bot Fight Mode”. To najtańszy sposób, jeśli DNS domeny możesz przenieść.
- LiteSpeed i limity na serwerze. Hosting z LiteSpeed potrafi ograniczyć liczbę żądań na sekundę z jednego adresu i serwować botom stronę z cache zamiast generować ją na nowo - wtedy bot kosztuje ułamek tego, co normalnie. Dlatego TTFB z cache jest dziś ważniejsze niż liczba rdzeni.
- Blokada po User-Agent w .htaccess dla botów, które ignorują robots.txt. Działa, dopóki bot nie podszywa się pod przeglądarkę - wtedy zostaje limit żądań i Cloudflare.
- Porządek w plikach. Boty indeksują wszystko, do czego prowadzi link, także stare kopie i katalogi testowe. Mniej śmieci to mniej żądań i mniejsze zużycie limitu inodów.
Jeśli po zablokowaniu botów AI serwer nadal się dławi, prawdopodobnie to nie boty, tylko atak - różnice i pierwsze kroki opisaliśmy w tekście o DDoS na polskie urzędy.
Sprawdź, ile naprawdę „waży” Twoja strona dla robota
Bot nie ładuje obrazków ani skryptów - pobiera HTML. Jeżeli sam HTML generuje się sekundę, bo każde wejście odpytuje bazę, 500 żądań bota to 500 sekund pracy PHP. Z cache to samo zajmuje kilkanaście sekund. Zmierz to testem szybkości strony - liczy się czas do pierwszego bajtu, nie ładny wynik w Lighthouse.
Źródło: Cloudflare Radar - Traffic, Cloudflare Blog - A deeper look at AI crawlers, dokumentacja robots.txt OpenAI, Anthropic i Google.