Le pagine che Google non vede: guida all'indicizzazione rapida con Semalt

C'è una categoria di problemi SEO che non si risolve con il contenuto e che quasi nessun report mette in evidenza: le pagine che non vengono mai scoperte. Non sono penalizzate, non sono di bassa qualità, semplicemente non sono mai state visitate da un crawler. Restano lì, pubblicate e invisibili.

Nei progetti milanesi il fenomeno colpisce soprattutto tre tipi di sito: cataloghi che aggiungono referenze ogni settimana, testate e blog aziendali con pubblicazione frequente, e siti con architettura moderna dove buona parte della navigazione è costruita in JavaScript. In tutti e tre i casi il divario tra pubblicazione e scoperta può superare le tre settimane, e in certe nicchie tre settimane sono l'intera finestra utile.

Come si accorge, un'azienda, di avere questo problema

I sintomi sono riconoscibili e vengono quasi sempre scambiati per altro.

Il primo: il numero di pagine che ricevono impressioni è molto inferiore al numero di pagine pubblicate. Un catalogo di 3.000 referenze in cui solo 900 URL hanno ricevuto almeno un'impressione in novanta giorni ha, quasi certamente, un problema a monte.

Il secondo: i contenuti nuovi impiegano settimane a comparire, mentre le pagine vecchie continuano a posizionarsi normalmente. È il segnale che il sito viene visitato, ma le pagine nuove non vengono raggiunte - tipicamente perché la sitemap si rigenera raramente o perché mancano collegamenti interni verso il nuovo.

Il terzo: le pagine raggiungibili solo tramite filtri, ricerca interna o caricamento progressivo non compaiono mai. Se un URL esiste solo dopo che l'utente ha cliccato un filtro, per un crawler quell'URL potrebbe non esistere affatto.

Che cosa fa concretamente il modulo di indicizzazione

Il funzionamento è volutamente semplice: si inviano URL - uno alla volta, in blocco o tramite file sitemap - e la piattaforma si occupa di portare i crawler su quegli indirizzi. Il registro mostra poi le visite verificate: quale bot, quale URL, quale codice di risposta, a che ora.

La terza riga è quella che sorprende di più chi non ci ha mai pensato: un articolo che ti menziona ma che nessun crawler ha mai visitato non trasmette alcun segnale. Verificarlo è l'unico modo per sapere se una campagna di visibilità ha prodotto qualcosa oltre alla fattura.

Il test di controllo in due settimane

Prima di cambiare qualunque cosa nell'infrastruttura, conviene misurare l'entità reale del problema con un esperimento semplice.

1. Si scelgono dieci pagine pubblicate negli ultimi trenta giorni, il più possibile simili tra loro per tipo e importanza.
2. Cinque si inviano tramite il modulo; cinque si lasciano al ritmo naturale del sito.
3. Si aspettano due settimane senza toccare nulla.
4. Si confrontano visite verificate dei bot e comparsa delle impressioni nei dati di Search Console.

Se il gruppo inviato è nettamente avanti, il collo di bottiglia è la scoperta e si interviene sull'infrastruttura. Se invece entrambi i gruppi arrancano allo stesso modo e i bot hanno comunque risposto 200, il problema non è la scoperta: è la qualità percepita delle pagine, che è un capitolo di lavoro completamente diverso.

Attenzione a non confondere i due piani

Vedere un codice 200 nel registro significa che il bot è arrivato e ha ricevuto la pagina. Se dopo tre settimane quella pagina continua a non ricevere impressioni, insistere con nuovi invii non serve a niente: la palla è passata al contenuto, alla struttura interna e all'autorità del sito.

Le cause strutturali più comuni, e come si sistemano

La sitemap non è realmente aggiornata

Molti sistemi rigenerano la sitemap con cadenza fissa, oppure includono solo una parte del catalogo per ragioni di prestazioni. Il controllo è banale: si apre la sitemap e si cerca l'ultima pagina pubblicata. Se non c'è, il resto del ragionamento è inutile.

Il contenuto nuovo non è collegato da nessuna parte

Una pagina raggiungibile solo dalla sitemap ha vita difficile. Serve almeno un collegamento da una pagina che i crawler visitano spesso: la home, la categoria principale, l'indice del blog. Nei cataloghi è la causa numero uno delle pagine orfane.

La navigazione è costruita in JavaScript

Se filtri e paginazione producono URL solo dopo un'interazione, quegli URL vanno resi raggiungibili anche staticamente. Non è una questione estetica: è la differenza tra un catalogo di 3.000 pagine e un catalogo di 300.

Si pubblica troppo, e tutto insieme

Caricare duemila pagine in un giorno raramente produce un buon esito. Una pubblicazione distribuita su settimane, con collegamenti interni curati, viene assorbita molto meglio.

Un flusso di lavoro settimanale che funziona

Per una redazione o un reparto e-commerce che pubblica con regolarità, il processo più efficace è anche il più noioso, e sta in quindici minuti a settimana.

Il venerdì si raccolgono gli URL pubblicati nei cinque giorni precedenti e si inviano in blocco. Il lunedì successivo si apre il registro e si verifica quali hanno ricevuto una visita. Quelli che non l'hanno ricevuta si controllano a mano: esiste un collegamento interno? sono nella sitemap? rispondono correttamente a una richiesta diretta? Nove volte su dieci la risposta è nella seconda domanda.

Alla fine del mese si conta quante pagine pubblicate hanno ricevuto impressioni entro quattordici giorni. È una metrica che nessuno usa e che dovrebbe stare in ogni report editoriale, perché misura la salute della macchina di pubblicazione, non la bravura di chi scrive.

Migrazioni e restyling: il momento più delicato

Il caso in cui l'indicizzazione fa la differenza tra una migrazione riuscita e un trimestre perso è il cambio di sito. Nuova piattaforma, nuova struttura di URL, nuovo tema grafico: tutte operazioni legittime, tutte capaci di far sparire metà del traffico organico se gestite male.

La sequenza che consigliamo è sempre la stessa. Prima della migrazione si esporta l'elenco completo degli URL che ricevono impressioni: quella lista, non la sitemap, è il patrimonio da proteggere. Si prepara poi la mappa dei reindirizzamenti uno a uno per le pagine con traffico, evitando la scorciatoia del reindirizzamento di massa verso la home o verso una categoria generica.

Il giorno del passaggio si invia la nuova sitemap completa e si osserva il registro delle visite. Nelle prime settantadue ore l'informazione utile non è il posizionamento - che sarà instabile comunque - ma quali sezioni del nuovo sito i crawler stanno effettivamente raggiungendo. Se un'intera area non riceve visite, il problema si vede subito e si corregge in un giorno, invece di scoprirlo tre settimane dopo dal calo del fatturato.

Nelle due settimane successive si confronta l'elenco degli URL che ricevevano impressioni prima con quelli che le ricevono ora. Le assenze sono la lista delle cose da riparare, in ordine di traffico perduto. È un metodo poco elegante e molto efficace.

Come spiegare il problema al reparto tecnico

Chi si occupa di marketing spesso fatica a far passare questi interventi, perché suonano astratti. Quello che funziona è portare tre elementi concreti invece di concetti.

Il primo: il numero di pagine pubblicate a fronte del numero di pagine che ricevono impressioni. È una frase sola e non ammette repliche.

Il secondo: il registro delle visite dei bot con l'evidenza di quali URL non sono mai stati raggiunti. Un elenco di indirizzi con accanto "nessuna visita verificata" è molto più convincente di una richiesta generica di "migliorare la SEO tecnica".

Il terzo: la richiesta specifica, tecnica e limitata. Non "sistemare l'architettura", ma "aggiungere un collegamento statico alle pagine di attributo dalla pagina categoria" oppure "far rigenerare la sitemap a ogni pubblicazione invece che una volta a settimana". Richieste di questo tipo entrano in uno sprint; le richieste generiche restano nel backlog.

Lista di controllo rapida

• L'ultima pagina pubblicata compare nella sitemap?
• Esiste almeno un collegamento interno statico verso ogni pagina che deve posizionarsi?
• Le pagine generate dai filtri sono raggiungibili senza JavaScript, dove serve che lo siano?
• Quante delle pagine pubblicate nell'ultimo mese hanno ricevuto una visita verificata?
• Dopo una campagna di link, quante pagine che ti citano sono state effettivamente scoperte?
• Dopo l'ultima migrazione, quali URL con traffico precedente non ricevono più impressioni?

Sei domande, un quarto d'ora. Nella maggior parte dei siti che analizziamo, almeno due risposte sono negative - e quasi sempre valgono più di qualunque intervento di ottimizzazione dei testi programmato per il trimestre.

Il caso specifico degli eventi e delle stagioni

Milano vive di calendari: fiere, settimane dedicate, presentazioni, saldi. Le pagine legate a un evento hanno una finestra di utilità strettissima, e pubblicarle tre giorni prima significa quasi certamente pubblicarle troppo tardi.

La regola pratica che applichiamo: la pagina evento si pubblica almeno sei settimane prima, con i dati già disponibili, e si aggiorna man mano. In questo modo ha il tempo di essere scoperta, valutata e posizionata prima che la domanda esploda. L'invio a indicizzazione al momento della pubblicazione riduce la parte più incerta del processo, ma non sostituisce l'anticipo.

Quanto conta la frequenza di pubblicazione

Un dubbio ricorrente riguarda il legame tra frequenza di pubblicazione e velocità di scoperta. L'osservazione che facciamo sui progetti seguiti è che i siti con un ritmo regolare - anche modesto, due o tre pagine a settimana - vengono visitati con maggiore costanza rispetto a quelli che pubblicano venti pagine in un giorno e poi restano fermi due mesi.

La conseguenza pratica è che, a parità di risorse, conviene distribuire la produzione invece di concentrarla. Vale per i cataloghi come per i blog aziendali: la regolarità costruisce un'abitudine di visita che poi si traduce in scoperta più rapida quando esce qualcosa di importante, come una nuova collezione o una pagina legata a un evento con scadenza fissa.

Il costo nascosto delle pagine invisibili

C'è un aspetto economico che raramente entra nelle discussioni tecniche. Ogni pagina prodotto o articolo pubblicato ha un costo: fotografia, scheda, testo, revisione. Nei cataloghi medi che analizziamo, il costo pieno di una scheda prodotto ben fatta si colloca tra i venti e i sessanta euro.

Se quattrocento pagine di un catalogo non sono mai state raggiunte da un crawler, il conto è presto fatto: si tratta di alcune migliaia di euro di lavoro già pagato che non produce alcun ritorno organico. Presentato in questa forma - non come problema tecnico ma come investimento immobilizzato - l'argomento ottiene l'attenzione della direzione molto più rapidamente di qualunque grafico sulle posizioni.

È anche il modo più onesto di stabilire una priorità: prima si mette in circolo ciò che è già stato prodotto, poi si finanzia la produzione di nuovo materiale.

Domande frequenti