- Bloccare i bot AI conviene davvero, o rischio di perdere visibilità?
- Quanti tipi di bot AI esistono e cosa fanno davvero sul mio sito?
- Quanto è cresciuto il traffico dei bot AI sul mio sito nell'ultimo anno?
- Cosa sta cambiando tra bot di training e bot di retrieval: i dati reali
- Il robots.txt basta ancora per gestire i bot AI?
- Tre scenari concreti: cosa cambia per un e-commerce, uno studio professionale e un'azienda manifatturiera?
- Come si costruisce una politica bot che funziona davvero?
- Perché se ne parla adesso: il mercato sta accelerando davvero?
- Quali errori si fanno più spesso nella gestione dei bot AI?
- Come capisco se la mia strategia bot AI sta funzionando?
- Allora, ne vale la pena costruire una politica bot AI per la tua azienda?
- Come la vediamo in SHM
- Domande frequenti
- Bloccare tutti i bot AI indiscriminatamente riduce il traffico: i publisher che lo hanno fatto hanno perso il 23% delle visite mensili.
- Esistono almeno tre tipi di bot AI con scopi diversi: training, retrieval e agenti autonomi. Trattarli allo stesso modo è un errore costoso.
- Il robots.txt da solo non basta: circa il 30% dei crawler AI lo ignora. Servono CDN, firewall e una politica coordinata tra SEO, IT e legale.
- La quota di crawling per retrieval e azioni utente è cresciuta quasi quattro volte in un anno: il fenomeno accelera e aspettare costa.
Chi ha bloccato i crawler AI via robots.txt ha perso in media il 23% delle visite mensili. Eppure il 86% dei siti più visitati non ha ancora scritto una sola regola per i bot AI.
Bloccare i bot AI conviene davvero, o rischio di perdere visibilità?
Dipende da quale bot blocchi e perché. Bloccare tutto senza distinzioni ha già fatto perdere traffico a chi lo ha fatto: i dati parlano chiaro.
La prima domanda che si pone un marketing manager è semplice: blocco o non blocco? La risposta, purtroppo, non è altrettanto semplice. Bloccare un bot che addestra un modello AI è una cosa. Bloccare un bot che recupera contenuti per rispondere alle domande degli utenti su ChatGPT o Google AI Overviews è tutt’altra storia: nel secondo caso, sparisci dalle risposte AI che i tuoi potenziali clienti stanno già leggendo.
Uno studio citato da Search Engine Land — condotto da Rutgers Business School e The Wharton School — ha misurato cosa succede ai publisher che bloccano i crawler AI via robots.txt: un calo del 23,1% nelle visite mensili totali e del 13,9% nel traffico umano. Non è un rischio teorico: è già successo.
| La tua situazione | Conviene bloccare? | Perché |
|---|---|---|
| Vuoi proteggere contenuti originali dal training AI | Sì | Blocca solo i bot di training (es. CCBot, Common Crawl) |
| Vuoi apparire nelle risposte AI (ChatGPT, Perplexity, AI Overviews) | No, per ora | Bloccare i bot di retrieval ti esclude dalle risposte AI |
| Hai problemi di carico server per il crawling eccessivo | Sì | Limita la frequenza (crawl-delay) invece di bloccare tutto |
| Non hai ancora analizzato quali bot ti visitano | No, per ora | Prima mappa, poi decidi: bloccare alla cieca è rischioso |
| Hai contenuti riservati o a pagamento | Sì | Blocca selettivamente le sezioni protette, non il sito intero |
Quanti tipi di bot AI esistono e cosa fanno davvero sul mio sito?
Esistono almeno tre categorie con scopi molto diversi: bot di training, bot di retrieval e agenti autonomi. Confonderli è l’errore più comune.
Quando si parla di «bot AI» si mette nello stesso calderone strumenti che fanno cose completamente diverse. Capire la differenza è il primo passo per prendere decisioni sensate.
| Tipo di bot | Cosa fa | Esempi noti | Impatto se bloccato |
|---|---|---|---|
| Bot di training | Scarica contenuti per addestrare modelli AI | GPTBot (OpenAI), CCBot (Common Crawl) | Nessun effetto sulla visibilità attuale |
| Bot di retrieval | Recupera contenuti per rispondere a domande in tempo reale | ChatGPT-User, PerplexityBot, Google-Extended | Sparisci dalle risposte AI agli utenti |
| Agenti autonomi | Naviga il sito come un utente per completare task (confronti, acquisti) | Operatori AI, browser headless | Perdi visibilità in scenari di acquisto automatizzato |
| Crawler SEO tradizionali | Indicizza le pagine per i risultati di ricerca classici | Googlebot, Bingbot | Calo nel posizionamento organico classico |
Gli agenti autonomi — bot che navigano il sito come farebbe un utente reale — sono il caso più insidioso. Possono attivare il tracciamento analytics, sembrare visitatori umani e diventare sempre più difficili da identificare. Se un agente sta confrontando i tuoi prodotti con quelli della concorrenza per conto di un potenziale cliente, bloccarlo significa non esistere in quella valutazione.
Per approfondire come i motori AI usano i contenuti per rispondere agli utenti, leggi anche come adattare la strategia quando i clienti non visitano più il sito.
Quanto è cresciuto il traffico dei bot AI sul mio sito nell’ultimo anno?
Moltissimo. GPTBot ha aumentato le sue richieste del 305% in un anno, e i bot che simulano il comportamento umano sono cresciuti di 15 volte nel 2025.
I numeri di Cloudflare fotografano una crescita che molti siti non hanno ancora registrato nei propri log. GPTBot — il crawler di OpenAI — è passato dal 9° al 3° posto tra tutti i bot monitorati in un solo anno. Il crawling AI complessivo (escluso Googlebot) ha raggiunto il 4,2% di tutte le richieste HTML sulla rete Cloudflare, quasi quanto Googlebot da solo (4,5%).
Il dato più preoccupante riguarda i bot che ignorano le regole: secondo Search Engine Land, nel Q4 2025 circa il 30% dei crawler AI non ha rispettato le direttive robots.txt — partendo da un già preoccupante 3,3% di un anno prima. Questo significa che anche un robots.txt perfetto non è sufficiente da solo.
Cosa sta cambiando tra bot di training e bot di retrieval: i dati reali
Il crawling per retrieval e azioni utente è quasi quadruplicato in un anno. La distinzione tra training e retrieval non è più teorica: è misurabile e in rapida evoluzione.
I dati di TechnologyChecker.io mostrano come stia cambiando la composizione del traffico AI. Il crawling per training rimane la fetta più grande, ma il crawling per ricerca e azioni utente — quello che determina se appari nelle risposte AI — è cresciuto dal 3,14% all’11,92% in meno di un anno.
Tradotto in pratica: la quota di traffico AI che decide se il tuo sito appare nelle risposte di ChatGPT o di Google AI Overviews è quasi quadruplicata. Chi ha bloccato tutto senza distinzioni ha perso proprio questa visibilità. Chi invece ha lasciato tutto aperto senza controllo ha esposto i propri contenuti al training senza alcun ritorno.
Per capire come misurare la tua visibilità attuale sui motori AI, puoi partire da come fare benchmarking della visibilità AI rispetto ai competitor.
Il robots.txt basta ancora per gestire i bot AI?
No. Il robots.txt è volontario: i bot lo rispettano solo se vogliono. L’enforcement reale avviene a livello di CDN, firewall e servizi di mitigazione.
Il file robots.txt — il documento di testo che dice ai crawler cosa possono o non possono visitare — è uno strumento utile ma non sufficiente. È un accordo basato sulla buona fede: i bot rispettosi lo seguono, gli altri no. Nel Q4 2025, il 30% dei crawler AI lo ha ignorato. Nel Q2 2026, l’8,56% delle richieste AI ha ricevuto una risposta 403 (accesso negato), più del doppio rispetto al 3,63% dell’anno precedente: segno che sempre più siti stanno aggiungendo blocchi a livello server, non solo nel robots.txt.
| Strumento | Come funziona | Limiti principali | Chi lo gestisce |
|---|---|---|---|
| robots.txt | Direttive testuali per i crawler | Volontario, ignorato dal 30% dei bot AI | Team SEO |
| CDN (rete di distribuzione contenuti) | Filtra il traffico prima che arrivi al server | Richiede configurazione tecnica, può confliggere con robots.txt | Team IT / DevOps |
| WAF (firewall applicativo web) | Blocca richieste sospette in tempo reale | Può bloccare bot legittimi se mal configurato | Team IT / Sicurezza |
| Servizi di bot mitigation | Identificano e gestiscono bot avanzati e agenti | Costo aggiuntivo, richiede monitoraggio continuo | Team IT / Sicurezza |
| Politica bot aziendale | Regole condivise tra SEO, IT, legale e commerciale | Richiede coordinamento interfunzionale | Management + tutti i team |
Il problema reale è che spesso il team SEO scrive le regole nel robots.txt, ma il team IT configura il CDN o il firewall in modo diverso — e i due sistemi si contraddicono senza che nessuno se ne accorga. Serve una politica unica, condivisa e verificata regolarmente.
Tre scenari concreti: cosa cambia per un e-commerce, uno studio professionale e un’azienda manifatturiera?
Le conseguenze cambiano molto a seconda del tipo di sito e del pubblico. Ecco tre esempi illustrativi per capire cosa è in gioco.
Esempi illustrativi: i numeri servono a mostrare il ragionamento, non sono dati di clienti reali.
| Tipo di azienda | Rischio se blocca tutto | Rischio se non blocca niente | Strategia consigliata |
|---|---|---|---|
| E-commerce (es. abbigliamento) | Sparisce dai confronti prodotto su ChatGPT e Perplexity; perde vendite da utenti AI-assisted | Contenuti e prezzi usati per addestrare modelli concorrenti | Consenti retrieval bot, blocca training bot, monitora agenti |
| Studio professionale (es. consulenza legale) | Non viene citato nelle risposte AI a domande legali frequenti | Contenuti specialistici usati senza attribuzione per training | Blocca training, consenti retrieval con markup strutturato |
| Azienda manifatturiera (es. componentistica) | Schede tecniche non recuperabili dagli agenti AI dei buyer B2B | Dati tecnici proprietari esposti al training di modelli terzi | Sezioni pubbliche aperte al retrieval, aree riservate bloccate |
Per un’azienda manifatturiera con catalogo tecnico complesso, la posta in gioco è doppia: da un lato i buyer B2B usano sempre più agenti AI per confrontare fornitori; dall’altro, i dati tecnici proprietari sono esattamente il tipo di contenuto che i modelli AI vogliono per il training. La distinzione tra le due finalità non è un dettaglio tecnico: è una scelta di business.
Come si costruisce una politica bot che funziona davvero?
Si parte dalla mappatura dei bot che visitano il sito, si distingue la finalità di ciascuno e si costruisce un sistema di regole coordinato tra tutti i team coinvolti.
- 1 · Team SEO + ITMappa i bot che visitano il sitoAnalizza i log del server degli ultimi 30-90 giorni. Identifica ogni user-agent AI presente, la frequenza e le pagine visitate.
- 2 · Team SEOClassifica ogni bot per finalitàDistingui training, retrieval e agenti autonomi. Usa la lista aggiornata degli user-agent AI come riferimento (es. quella di Search Engine Journal).
- 3 · Team SEO + Legale + CommercialeDefinisci cosa vuoi proteggere e cosa vuoi esporreContenuti originali ad alto valore? Proteggi dal training. Pagine prodotto e guide? Apri al retrieval. Aree riservate? Blocca tutto.
- 4 · Team IT / DevOpsImplementa le regole a livello CDN e WAFNon affidarti solo al robots.txt. Configura il firewall applicativo per far rispettare le regole anche ai bot che ignorano il robots.txt.
- 5 · Tutti i teamAllinea robots.txt, CDN e WAFVerifica che le regole nei tre sistemi siano coerenti. Una contraddizione tra robots.txt e CDN può bloccare bot che volevi lasciare passare.
- 6 · Team SEO + ITMonitora e aggiorna ogni trimestreNuovi bot appaiono ogni mese. Rivedi la politica almeno ogni tre mesi e dopo ogni aggiornamento significativo dei principali motori AI.
Perché se ne parla adesso: il mercato sta accelerando davvero?
Sì. Il crawling AI per retrieval è quasi quadruplicato in meno di un anno, e la quota di siti che bloccano attivamente i bot AI è più che raddoppiata. Il momento per decidere è adesso.
Fino a un anno fa, il crawling AI era dominato quasi interamente dal training. Oggi il retrieval — quello che conta per la visibilità nelle risposte AI — sta crescendo a una velocità che nessun altro segmento del traffico web ha mai mostrato. Allo stesso tempo, sempre più siti stanno reagendo con blocchi a livello server: nel Q2 2026, l’8,56% delle richieste AI ha ricevuto una risposta 403, contro il 3,63% del Q2 2025, secondo TechnologyChecker.io.
Chi aspetta che il mercato si stabilizzi rischia di perdere posizioni che saranno difficili da recuperare. La visibilità nelle risposte AI si costruisce nel tempo, esattamente come il posizionamento organico classico. Per capire come tracciare la tua visibilità attuale su ChatGPT e Perplexity, puoi leggere come tracciare le ricerche branded e unbranded sui motori AI.
Il tema fa parte di un panorama più ampio che nel cluster SEO e visibilità per AI stiamo documentando con aggiornamenti regolari.
Quali errori si fanno più spesso nella gestione dei bot AI?
Il più comune è trattare tutti i bot AI come un’unica categoria. Il secondo è affidarsi solo al robots.txt senza verificare cosa succede a livello server.
Lavorando con siti di diverse dimensioni, emergono sempre gli stessi errori. Eccoli in ordine di frequenza.
| Errore | Perché è un problema | Come correggerlo |
|---|---|---|
| Bloccare tutti i bot AI con una sola regola | Si perdono i bot di retrieval che portano visibilità nelle risposte AI | Distingui training da retrieval nel robots.txt e nel WAF |
| Affidarsi solo al robots.txt | Il 30% dei bot AI lo ignora; CDN e WAF possono contraddirlo | Allinea robots.txt, CDN e WAF con regole coerenti |
| Non analizzare i log del server | Non sai quali bot visitano il sito e con quale frequenza | Analizza i log ogni mese, almeno per i bot AI principali |
| Non coinvolgere il team IT e legale | Le decisioni SEO vengono sovrascritte da configurazioni tecniche o da obblighi contrattuali | Crea una politica bot condivisa tra tutti i team |
| Non aggiornare le regole | Nuovi bot appaiono ogni mese; le regole vecchie non li coprono | Revisione trimestrale della lista bot e delle regole |
Un caso che vediamo spesso: il team SEO aggiunge una regola nel robots.txt per bloccare un bot di training, ma il CDN ha una configurazione che bypassa quella regola e lascia passare il bot lo stesso. Nessuno dei due team sa cosa sta succedendo davvero. Il risultato è una politica che esiste sulla carta ma non viene applicata.
Come capisco se la mia strategia bot AI sta funzionando?
Monitora tre segnali: la quota di traffico AI nei log, la tua presenza nelle risposte AI e il comportamento del traffico organico dopo ogni modifica alle regole.
| Indicatore | Cosa misura | Frequenza | Strumento |
|---|---|---|---|
| Traffico bot AI nei log del server | Quali bot visitano il sito, con quale frequenza e quali pagine | Mensile | Log analyzer, Cloudflare Analytics |
| Presenza nelle risposte AI | Se e quanto il tuo sito viene citato da ChatGPT, Perplexity, AI Overviews | Mensile | Tool di monitoraggio AEO (es. Profound, Bluefish) |
| Traffico organico dopo modifiche | Se le nuove regole bot hanno impatto positivo o negativo sul traffico | Dopo ogni modifica | Google Search Console, Analytics |
| Risposta 403 ai bot AI | Quante richieste AI vengono bloccate a livello server | Trimestrale | CDN dashboard, WAF logs |
| Coerenza robots.txt / CDN / WAF | Se le regole nei tre sistemi sono allineate | Trimestrale | Audit tecnico manuale o automatizzato |
Per misurare la presenza nelle risposte AI esistono strumenti dedicati. Abbiamo confrontato le opzioni principali in Profound vs Bluefish: quale tool scegliere per la visibilità AI. Capire il tuo score attuale è il punto di partenza per valutare se le modifiche alle regole bot stanno aiutando o penalizzando la tua visibilità.
Allora, ne vale la pena costruire una politica bot AI per la tua azienda?
Vale la pena seil tuo sito genera traffico organico significativo, vuoi apparire nelle risposte AI o hai contenuti originali da proteggere. In questi casi, una politica bot strutturata è già urgente.
Una via di mezzosei una PMI con sito istituzionale e traffico limitato. Parti dall’analisi dei log e da una revisione del robots.txt: non serve subito un WAF enterprise, ma ignorare il tema non è più un’opzione.
Non ancora seil tuo sito è una vetrina statica senza aggiornamenti frequenti e senza obiettivi di traffico organico. In questo caso, il rischio è basso — ma tienilo d’occhio perché il mercato cambia velocemente.
Come la vediamo in SHM
Per noi, la gestione dei bot AI è uno dei casi in cui la tecnologia va capita prima di essere usata — o bloccata. Crediamo che l’AI vada integrata con intelligenza, non subita o rifiutata per paura. Bloccare tutto senza analizzare è la risposta più semplice, ma quasi sempre quella sbagliata.
Abbiamo lavorato su siti con cataloghi tecnici complessi e traffico internazionale, dove la distinzione tra bot di training e bot di retrieval aveva un impatto diretto sulla visibilità nei mercati esteri. In quei contesti, la prima cosa che abbiamo fatto è stata analizzare i log del server per capire chi stava davvero visitando il sito — e con quale scopo. Solo dopo abbiamo scritto le regole.
Se vuoi capire come il tuo sito si posiziona oggi nelle risposte AI e come ottimizzare l’esposizione ai crawler giusti, il punto di partenza è una strategia SEO per AI che tenga conto di training, retrieval e agenti. Se invece vuoi automatizzare il monitoraggio e la risposta ai bot, possiamo valutare insieme una soluzione di integrazione strategica AI per il tuo stack tecnologico. Per chi vuole partire dall’analisi dei dati di traffico, il servizio di elaborazione dati e business intelligence è il primo passo concreto.
Domande frequenti
Dipende dal tuo obiettivo. GPTBot viene usato sia per il training dei modelli che per il retrieval nelle risposte di ChatGPT. Se lo blocchi completamente, potresti sparire dalle risposte di ChatGPT agli utenti. La scelta migliore è analizzare prima i log del server per capire come GPTBot visita il tuo sito, poi decidere se bloccare solo il training o lasciare aperto il retrieval.
No. Il robots.txt è un accordo volontario: i bot rispettosi lo seguono, ma nel Q4 2025 circa il 30% dei crawler AI lo ha ignorato. Per una protezione reale servono anche CDN e firewall applicativo (WAF) configurati in modo coerente con le regole del robots.txt.
Il modo più affidabile è analizzare i log del server, che registrano ogni richiesta con il relativo user-agent. Molti CDN come Cloudflare offrono dashboard che mostrano il traffico bot in tempo reale. Una revisione mensile dei log è sufficiente per la maggior parte dei siti.
Gli agenti autonomi sono bot che navigano il sito come farebbe un utente reale: cliccano, compilano form, confrontano prodotti. A differenza dei crawler tradizionali, possono attivare il tracciamento analytics e sono difficili da distinguere dai visitatori umani. Bloccarli può significare non apparire nelle valutazioni automatizzate che i potenziali clienti delegano all’AI.
Almeno quattro: il team SEO (che conosce le implicazioni sulla visibilità), il team IT o DevOps (che gestisce CDN e WAF), il team legale (che valuta i rischi di copyright e contratti) e il team commerciale (che capisce quali contenuti hanno valore strategico). Una politica decisa solo dal team SEO o solo dall’IT raramente funziona.
Almeno ogni trimestre, e dopo ogni aggiornamento significativo dei principali motori AI. Nuovi bot appaiono ogni mese e le finalità di quelli esistenti cambiano. Una politica scritta sei mesi fa potrebbe già non coprire bot che oggi visitano il tuo sito ogni giorno.
La domanda non è «blocco o non blocco?» — è «so davvero chi sta visitando il mio sito e perché?»
Articoli correlati
Scopri altri articoli che approfondiscono temi simili, selezionati per offrirti una visione più completa e stimolante. Ogni contenuto è scelto con cura per arricchire la tua esperienza.