Cloudflare ha lanciato Bot Preference Sync, uno strumento che genera e aggiorna automaticamente il file robots.txt del tuo sito in base a regole che imposti per categoria di crawler AI — non bot per bot. Puoi decidere, per esempio, di consentire i crawler di OpenAI e bloccare quelli di ByteDance con un’unica scelta di categoria, senza scrivere una riga di codice.
Per chi gestisce un sito aziendale, un e-commerce o un blog di settore, questo cambia qualcosa di concreto: la visibilità nei risultati delle AI (ChatGPT, Perplexity, Google AI Overviews) dipende anche da quali crawler riesci a far passare. Fino a oggi, tenere aggiornata quella lista era un lavoro manuale e spesso trascurato. Da oggi, Cloudflare può farlo al posto tuo.
Se il tuo sito usa già Cloudflare come CDN o firewall, vale la pena esplorare questa funzione questa settimana. Se non lo usi, l’articolo spiega comunque la logica per capire come aggiornare il robots.txt a mano con criterio.
Il problema che nessuno vuole affrontare: il robots.txt è fermo al 2019
Il file robots.txt è una lista di istruzioni che dice ai bot — motori di ricerca, crawler AI, spider vari — cosa possono leggere del tuo sito e cosa no. Esiste da decenni, funziona bene, ma richiede aggiornamenti manuali ogni volta che arriva un nuovo crawler sul mercato.
Nel 2026 i crawler AI si moltiplicano ogni trimestre. GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Bytespider (ByteDance), CCBot (Common Crawl) — e altri in arrivo. Ogni crawler ha un nome diverso nel robots.txt. Chi tiene aggiornata quella lista? Quasi nessuno.
Il risultato tipico: robots.txt configurato anni fa, crawler AI che entrano o escono a caso, e nessuna strategia reale su chi può indicizzare i tuoi contenuti per le risposte AI. Se stai cercando di capire come funziona la visibilità AI come metrica per le PMI, il robots.txt è uno dei primi posti dove si perde terreno senza accorgersene.
Cosa fa Bot Preference Sync di Cloudflare
Cloudflare ha presentato Bot Preference Sync: uno strumento che genera e aggiorna automaticamente il robots.txt del tuo dominio, basandosi su regole che imposti per categoria di crawler, non per singolo bot.
La logica è questa: invece di scrivere una riga per GPTBot, una per ClaudeBot, una per PerplexityBot e così via, scegli una posizione per categoria — «crawler AI per training», «crawler AI per risposta in tempo reale», «crawler di motori di ricerca tradizionali» — e Cloudflare traduce quella scelta in regole specifiche, aggiornate quando arrivano nuovi bot nel suo database.
Come segnalato da Search Engine Journal, il punto centrale è che nessuna singola impostazione descrive in modo completo quello che un’azienda vuole fare: consentire GPTBot e bloccare Bytespider sono due scelte diverse, con motivazioni diverse, e uno strumento per categoria le rende gestibili senza competenze tecniche avanzate.
Tre passi per usarlo — o per farlo a mano se non usi Cloudflare
Se il tuo sito è già su Cloudflare:
- Accedi alla dashboard Cloudflare del dominio.
- Cerca la sezione Bot Management (disponibile nei piani Pro e superiori) e verifica se Bot Preference Sync è già attivo o in rollout per il tuo account.
- Imposta le preferenze per categoria: decidi quali crawler AI vuoi consentire e quali bloccare, in base all’uso che fanno dei tuoi contenuti.
Se non usi Cloudflare:
- Apri il tuo robots.txt (di solito su tuodominio.com/robots.txt).
- Aggiungi manualmente le direttive per i crawler AI principali: GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot. Ogni crawler ha un nome specifico da usare nella riga
User-agent. - Decidi per ognuno se vuoi
Allow: /oDisallow: /, in base alla tua strategia di visibilità AI.
La differenza tra i due approcci è la manutenzione: con Cloudflare, la lista si aggiorna da sola. A mano, devi tenerla d’occhio ogni volta che arriva un nuovo crawler rilevante.
Chi ha davvero bisogno di questa funzione — e chi può aspettare
Serve subito a chi:
- pubblica contenuti originali (guide, cataloghi, articoli di settore) che vuole vedere citati nelle risposte AI;
- ha già lavorato su un workflow di validazione contenuti per AI Search e vuole che i crawler giusti li raggiungano;
- gestisce un e-commerce o un sito con dati sensibili su cui non vuole training da parte di certi modelli.
Può aspettare chi:
- ha un sito vetrina con pochi aggiornamenti e nessuna strategia di contenuto attiva;
- non usa ancora Cloudflare e non ha risorse per la migrazione in questo momento.
Attenzione: bloccare tutti i crawler AI per paura non è una strategia. Significa uscire dai risultati di ChatGPT, Perplexity e Google AI Overviews. Se la visibilità nelle risposte AI è già un obiettivo nel tuo piano marketing, bloccare i crawler che la alimentano è un autogol.
L’errore tipico e cosa non fa questo strumento
L’errore più comune è trattare il robots.txt come un interruttore on/off: o blocchi tutto o lasci passare tutto. La logica per categoria di Cloudflare spinge a ragionare in modo più granulare — e questo è il valore reale della funzione.
Quello che Bot Preference Sync non fa:
- Non garantisce che i crawler rispettino le istruzioni. Il robots.txt è un protocollo volontario: i bot legittimi lo seguono, quelli malevoli no.
- Non sostituisce una strategia di contenuto. Aprire la porta ai crawler AI non significa essere citati: i tuoi contenuti devono essere autorevoli, strutturati e rilevanti. Su questo, vale la pena leggere come funziona la visibilità locale nell’AI Search per le PMI italiane.
- Non risolve il problema delle informazioni contrastanti sul brand che circolano già nei dataset AI.
Il robots.txt è un pezzo di una strategia più ampia di SEO e visibilità AI. Tenerlo aggiornato è necessario, ma non sufficiente.
Articoli correlati
Scopri altri articoli che approfondiscono temi simili, selezionati per offrirti una visione più completa e stimolante. Ogni contenuto è scelto con cura per arricchire la tua esperienza.
