Sitemap e RSS per i crawler AI: cosa fare subito per farsi trovare

John Mueller di Google ha visto nei propri log di server i crawler AI accedere alla sua sitemap e al suo feed RSS. Se non hai ancora ottimizzato questi file, stai perdendo visibilità su Perplexity, ChatGPT e Gemini ogni giorno.

Conviene davvero ottimizzare sitemap e RSS per i crawler AI?

Sì, e il motivo è semplice: i crawler AI non hanno un portale dove puoi inviare la tua sitemap, quindi trovano i tuoi contenuti solo se il file ha un nome standard o se esiste un feed RSS raggiungibile. Farlo costa poco e apre un canale di visibilità su tutti i principali sistemi di intelligenza artificiale.

I crawler AI — cioè i robot automatici che raccolgono contenuti per addestrare o alimentare sistemi come ChatGPT, Perplexity e Gemini — funzionano in modo diverso da Googlebot. Google ti offre la Search Console (il pannello di controllo per i webmaster) dove puoi inviare la tua sitemap. I crawler AI, invece, non hanno nulla di simile.

Questo significa che, se vuoi che i tuoi contenuti vengano trovati e potenzialmente citati da questi sistemi, devi rendere la sitemap e il feed RSS facili da scoprire autonomamente. È esattamente quello che ha confermato John Mueller di Google nel podcast Search Off the Record del 1° ottobre 2025.

Cosa ha detto esattamente Mueller e cosa significa per te?

Mueller ha confermato di aver visto nei propri log di server i crawler AI accedere sia alla sua sitemap che al suo feed RSS. Ha indicato due strade pratiche: usare il nome file standard sitemap.xml oppure attivare un feed RSS.

Il punto chiave è questo: i crawler AI cercano i contenuti in modo autonomo, senza aspettare che tu li inviti. Guardano il file robots.txt (il documento che dice ai robot cosa possono o non possono fare sul tuo sito), cercano file con nomi standard come sitemap.xml, e seguono i link ai feed RSS che trovano nell’intestazione HTML delle pagine.

Mueller ha anche chiarito cosa succede se vuoi tenere la sitemap privata: puoi darle un nome insolito e non inserirla in robots.txt, inviandola solo a Google. Il rovescio della medaglia è che nessun altro sistema — inclusi i crawler AI — la troverà mai.

Sul tema dei log di server: sono i file che registrano ogni accesso al tuo sito. Analizzarli ti dice quali bot ti visitano, quando e con quale frequenza. È uno strumento gratuito e spesso ignorato, ma prezioso per capire chi sta già leggendo i tuoi contenuti.

Quanto traffico portano già i crawler AI al tuo sito?

Più di quanto pensi. GPTBot di OpenAI è cresciuto del 305% in un anno e oggi raggiunge quasi il 29% dei siti sulla rete Cloudflare. Il traffico AI è già presente nei tuoi log, anche se non lo stai misurando.

I dati pubblicati da Cloudflare nel luglio 2025 mostrano una crescita esplosiva del traffico dei crawler AI. Tra maggio 2024 e maggio 2025, il traffico totale dei crawler AI e di ricerca è cresciuto del 18%, ma GPTBot da solo ha registrato un aumento del 305%.

Questo significa che i robot di OpenAI visitano oggi molti più siti di un anno fa. Se il tuo sito non è configurato per facilitare questa scoperta, stai cedendo terreno a chi lo ha già fatto.

Guardando la composizione del traffico, i bot AI (escluso Googlebot) hanno rappresentato in media il 4,2% di tutte le richieste HTML sulla rete Cloudflare nel 2025. Googlebot da solo ha generato il 4,5% — più di tutti gli altri crawler AI messi insieme. Ma la distanza si sta riducendo rapidamente, secondo il Cloudflare Radar Year in Review 2025.

Chi sono i principali crawler AI che visitano i siti oggi?

GPTBot di OpenAI guida la classifica con il 30% del traffico AI, seguito da ClaudeBot di Anthropic al 21% e Meta-ExternalAgent al 19%. La mappa è cambiata radicalmente in un anno.

Un anno fa dominava Bytespider (il crawler di ByteDance, la società di TikTok) con il 42% del traffico AI. Nel maggio 2025 è sceso al 7,2%, mentre GPTBot ha preso il comando. Questo cambiamento rapido conferma che il panorama dei crawler AI è ancora in evoluzione e vale la pena monitorarlo nei log di server.

La quasi totalità di questo traffico — circa l’80% — è dedicata al training dei modelli, cioè alla raccolta di dati per addestrare i sistemi AI. Solo il 18% circa serve all’indicizzazione per la ricerca. Questo spiega perché essere presenti nei dati di training può influenzare le risposte che questi sistemi daranno in futuro sui temi del tuo settore.

Per approfondire come questa dinamica influenza la SEO classica, leggi anche cosa fare per la SEO quando Google AI Mode riduce i clic.

Cosa cambia in pratica: chi fa cosa nel tuo team?

L’ottimizzazione di sitemap e RSS è un intervento tecnico rapido, ma richiede coordinamento tra chi gestisce il sito e chi produce i contenuti. Ecco come si divide il lavoro.

Tre scenari concreti: come cambia la situazione per un’azienda italiana?

L’impatto dipende dal tipo di sito e dalla frequenza di pubblicazione. Ecco tre casi illustrativi per capire cosa aspettarsi.

Esempi illustrativi: i nomi e i numeri servono a mostrare il ragionamento, non sono dati di clienti reali.

llms.txt è davvero un’alternativa alla sitemap?

No, almeno per ora. Mueller è stato chiaro: nessun sistema AI usa attualmente llms.txt come sostituto della sitemap. È un file Markdown (un formato di testo semplice) che manca della struttura rigida necessaria per essere processato come una sitemap.

Il file llms.txt è una proposta nata nel 2024 per dare ai sistemi AI una versione semplificata dei contenuti di un sito. L’idea è interessante, ma Mueller ha detto esplicitamente: «La speranza è più grande della realtà. Attualmente niente di tutto questo accade».

In agosto 2025 aveva già osservato che gli unici crawler che dichiaravano di accettare file Markdown erano strumenti SEO, non i veri sistemi AI. Google stessa, nel suo documento di ottimizzazione per l’AI generativa, ha elencato llms.txt tra le tattiche che i siti non devono necessariamente implementare.

Il consiglio pratico: puoi aggiungere llms.txt al tuo sito senza problemi, ma non sostituisce sitemap.xml e RSS. Trattalo come un esperimento opzionale, non come una priorità.

Perché se ne parla adesso e non tra un anno?

Perché il traffico dei crawler AI è già significativo e in rapida crescita, e chi ottimizza oggi ha un vantaggio su chi aspetta. Il mercato si sta anche polarizzando: alcuni publisher bloccano i crawler, altri li accolgono.

Nel luglio 2025, Cloudflare ha attivato il blocco predefinito di tutti i principali crawler AI per ogni nuovo dominio registrato sulla sua rete, che copre circa il 22,4% del web pubblico globale, secondo Search Engine Land. Questo significa che una parte crescente del web sta diventando invisibile ai crawler AI.

Per chi invece vuole essere trovato, il momento è adesso: meno concorrenza nei dati di training significa più probabilità di essere citato. Anche la gestione dei feed prodotti e del Business Profile segue la stessa logica: chi struttura i dati correttamente oggi raccoglie i frutti domani.

Il calo della copertura di GPTBot non significa che il crawler sia meno attivo: significa che più siti lo bloccano. Chi non lo blocca e ha una sitemap ben configurata diventa proporzionalmente più visibile. Il tema si intreccia con quello della velocità di indicizzazione e delle pagine che spariscono: la qualità dei contenuti resta il fattore determinante anche per i crawler AI.

Sul fronte RSS, i dati di BuiltWith (luglio 2025) mostrano che il 35% dei 10.000 siti più trafficati al mondo usa RSS. In Italia risultano attivi oltre 811.000 siti con feed RSS: la tecnologia è matura e diffusa, non è una novità da adottare con cautela.

Come si imposta tutto: i passi concreti per partire oggi

Bastano tre interventi tecnici, tutti realizzabili in meno di un’ora su qualsiasi CMS moderno. Ecco la sequenza giusta.

1. Verifica il nome della tua sitemap. Accedi al pannello del tuo CMS (WordPress, Shopify, ecc.) e controlla come si chiama il file sitemap. Se non è sitemap.xml, valuta se rinominarlo o aggiungere un alias.
2. Aggiungi la riga Sitemap in robots.txt. Apri il file robots.txt del tuo sito (di solito accessibile su tuosito.it/robots.txt) e aggiungi in fondo: Sitemap: https://tuosito.it/sitemap.xml. Questa riga è letta da tutti i crawler che supportano il protocollo sitemaps, indipendentemente dalle altre regole.
3. Attiva e verifica il feed RSS. Su WordPress è attivo per default all’indirizzo tuosito.it/feed. Controlla che sia linkato nell’head HTML con un tag link rel=”alternate” type=”application/rss+xml”. Se non c’è, aggiungilo o chiedi al tuo sviluppatore.
4. Analizza i log di server. Chiedi al tuo hosting di accedere ai file di log (access log). Cerca le stringhe GPTBot, ClaudeBot, anthropic-ai, meta-externalagent per capire chi ti visita già e con quale frequenza.
5. Decidi se bloccare o accogliere. Se vuoi impedire l’accesso ai crawler AI, aggiungi in robots.txt le righe User-agent: GPTBot e Disallow: / per ogni bot che vuoi escludere. Se vuoi accoglierli, non fare nulla di aggiuntivo: la sitemap standard e il feed RSS bastano.
6. Monitora nel tempo. Ripeti l’analisi dei log ogni trimestre. Il panorama dei crawler AI cambia rapidamente, come dimostrano i dati Cloudflare.

Quali sono gli errori più frequenti da non fare?

La maggior parte degli errori nasce dall’inazione o dall’affidarsi a soluzioni non ancora operative. Ecco i più comuni.

Un errore sottovalutato riguarda la qualità: Mueller ha ricordato che Google non usa una sitemap se non è convinta che il sito abbia contenuti nuovi e importanti da indicizzare. Lo stesso principio si applica ai crawler AI. Avere una sitemap perfetta su un sito con contenuti datati non produce risultati. Il tema si collega direttamente a quanto discusso nell’articolo su come Google gestisce il fact-check sui contenuti AI: la qualità e l’affidabilità dei contenuti sono sempre il punto di partenza.

Come capire se la configurazione sta funzionando?

I segnali principali arrivano dai log di server e, nel tempo, dalle citazioni nei sistemi AI. Ecco gli indicatori da monitorare.

Sul tema delle citazioni AI, vale la pena leggere anche cosa sta cambiando nel rapporto tra Google e i siti che forniscono risposte AI: il quadro economico attorno alla visibilità AI è in evoluzione rapida e potrebbe influenzare le tue scelte strategiche.

Per una panoramica completa su tutti gli aspetti della SEO e visibilità per AI, il nostro cluster di approfondimenti raccoglie tutti gli aggiornamenti rilevanti per le aziende italiane.

Allora, vale la pena ottimizzare sitemap e RSS per i crawler AI?

Vale la pena sehai contenuti aggiornati regolarmente, vuoi essere citato da sistemi AI come Perplexity o Gemini, e non hai ancora verificato nome e configurazione della tua sitemap. L’intervento è rapido e il potenziale di visibilità è concreto.

Una via di mezzohai un sito vetrina con pochi aggiornamenti. Vale comunque la pena configurare sitemap.xml standard e robots.txt, ma l’impatto sarà limitato finché non aumenti la frequenza di pubblicazione.

Non ancora seil tuo modello di business dipende da contenuti esclusivi che non vuoi cedere al training dei modelli AI. In quel caso, configura robots.txt per bloccare i crawler AI specifici e monitora che il blocco funzioni.

Come la vediamo in SHM

Per noi la notizia di Mueller non è una curiosità tecnica: è la conferma che la visibilità sui sistemi AI si costruisce con le stesse fondamenta della SEO classica — struttura, qualità dei contenuti, dati accessibili. Non c’è una formula magica né un file speciale da aggiungere: c’è un lavoro metodico di audit e configurazione che molte aziende italiane non hanno ancora fatto.

Crediamo che l’AI vada integrata per sollevare le aziende dalla routine, non per aggiungere complessità. Ottimizzare sitemap e RSS è uno di quei passi che si fanno una volta e producono risultati nel tempo, senza richiedere un presidio continuo.

Nei progetti di SEO per AI che seguiamo, l’audit dei file di discovery (sitemap, robots.txt, feed RSS) è sempre il primo passo: è lì che si trovano le opportunità più rapide. Lo affianchiamo all’integrazione strategica dell’AI nei processi di contenuto, per garantire che ciò che i crawler trovano sia anche degno di essere citato. Per chi vuole capire come funziona il proprio sito agli occhi dei crawler, il punto di partenza è sempre un’analisi dei dati — log di server inclusi.

Domande frequenti

La sitemap non è un file tecnico: è il biglietto da visita che presenti ai sistemi AI ogni volta che pubblicano una risposta nel tuo settore.