Quando ci si occupa di SEO, il crawl budget è un aspetto tecnico da non sottovalutare. Vediamo cos'è e
come ottimizzarlo per migliorare il rendimento del tuo sito web
Se stai cercando di
indicizzare un sito web nuovo o
migliorare il tuo posizionamento su Google,
probabilmente ti sarai reso conto - dopo una serie di tentativi non andati esattamente come speravi - che
l'
indicizzazione delle nuove pagine non è così automatica e
non avviene in tempo reale. Questo
succede perché
Google ha a disposizione risorse limitate e
deve impiegarle per scansionare
continuamente il web e
proporre agli utenti contenuti sempre aggiornati, utili e pertinenti.
In questo articolo approfondiamo il significato del termine
crawl budget e cerchiamo di fare luce su
questo importante argomento, in modo da imparare
come interagire in modo efficiente con il motore di ricerca e
impiegare al meglio le risorse a disposizione del crawler. Se sei pronto,
iniziamo subito.
Come funziona il crawler di Google
Per offrire una serie di contenuti che rispondano alle domande degli utenti,
Google deve essere sempre
aggiornato rispetto a ciò che è presente nella rete. Per ottenere questo ambizioso risultato, il motore di
ricerca fa utilizzo di un
crawler, definito
Googlebot, che
si occupa di percorrere continuamente i link
presenti sul web, scansionare le pagine nuove e
visualizzare gli aggiornamenti delle pagine già scansionate.
Bisogna però fare attenzione:
non tutte le pagine che vengono scansionate da Google sono automaticamente indicizzate;
non vengono, perciò, automaticamente visualizzate in
SERP, ovvero nella pagina dei risultati di Google.
L'
indicizzazione della pagina, infatti,
dipende da molti fattori, non tutti conosciuti. È interesse di
Google, infatti, tenere il massimo riserbo sui criteri di indicizzazione delle sue pagine, in modo da
proteggersi da attività di spam e mantenere i risultati di ricerca quanto più imparziali e, perciò, pertinenti
e utili per l'utente. Quello che possiamo dirti, però, è che
tra le pagine che vengono indicizzate ci sono
quelle più uniche e originali, quelle che, agli occhi di Google,
hanno una maggiore utilità per l'utente
e che
provengono da siti con una buona autority.
Se ti stai chiedendo se c'è un
metodo sicuro per far indicizzare le proprie pagine da Google, ci
dispiace dirti che purtroppo
questo non è possibile: l'algoritmo fa un po' quello che vuole lui, e anche in
questo risiede l'efficienza del servizio Google. Possiamo, però,
indicare al crawler quali pagine
vogliamo siano scansionate e
ottimizzare le nostre pagine perché siano posizionate in SERP,
portando avanti una serie di azioni che sul lungo periodo non possono che generare risultati positivi per il
tuo business.
Possiamo dirti anche che, una volta che la pagina è stata
scansionata da Google, ci sono buone
probabilità che venga
indicizzata. Raggiungere questo risultato è sempre positivo: significa che, in base
alla pertinenza, alla completezza, all'originalità della pagina, anche tenendo in considerazione la
concorrenza e l'autority del sito,
la pagina viene giudicata come utile da Google, e viene perciò
assegnata a una determinata posizione in SERP.
Vediamo adesso
cos'è il crawl budget e
in che modo incide sulla possibilità che le tue pagine possano essere indicizzate da Google.
Cos'è il crawl budget
Come abbiamo detto,
il tempo che Google può investire nella scansione del tuo sito non è illimitato.
Le
risorse che sono
impiegate per la scansione di un sito web sono definite
crawl budget, e variano in
base a diversi fattori, tra cui l'autority e il tasso di aggiornamento del tuo sito web.
Secondo una
definizione più precisa, fornita proprio da Google, il
crawl budget è
"il numero di URL
che Googlebot può e vuole sottoporre a scansione". Ne consegue, perciò, che il crawler di Google non
ha interesse a sottoporre a scansione tutto quello che viene caricato in rete ogni giorno, ma solo i
contenuti che portano valore agli utenti e
aggiungono qualcosa alla SERP.
Dovrei preoccuparmi del crawl budget?
Se sei un
sito web di grandi dimensioni, e hai perciò
qualche migliaio di pagine, soprattutto
autogenerate
(come nel caso di
configuratori ed
e-commerce), i limiti di
crawl rate (velocità delle scansioni
da parte degli spider di Google) e
crawl demand (frequenza con cui vengono effettuate le scansioni)
possono rappresentare
un vero problema per te. In quel caso, è opportuno
selezionare le pagine
significative del proprio sito web e
indicare a Googlebot quali pagine vogliamo siano indicizzate
(vedremo i metodi per farlo più avanti nell'articolo).
Allo stesso modo, però, anche i
siti più piccol dovrebbero preoccuparsi di ottimizzare il proprio
crawl budget,
in quanto far sottoporre alla scansione di Google
pagine poco pertinenti può
togliere spazio alla
scansione delle pagine più interessanti del tuo sito web. Addirittura, se queste pagine sono dannose per
l'esperienza dell'utente, ed hanno un
click-trough rate scarso, possono portare a un
abbassamento dell'autority
del tuo sito internet, facendo calare le tue performance SEO.
Come verificare quanto crawl budget abbiamo a disposizione
Attraverso il rapporto "
Statistiche di scansione",
disponibile in
Search Console alla voce
Impostazioni,
è possibile conoscere
quante sono le richieste di scansione del sito in un intervallo di tempo definito.
Più è alto il valore delle richieste di scansione, meglio è. Significa che si è registrato un buon numero di
scansioni del tuo sito e questo è sempre un buon segnale. Dei picchi nelle richieste di scansione
significano che c'è un aumento di interesse del crawler di Google nei confronti delle tue pagine, che
vengono scansionate con maggiore frequenza.
Se vuoi approfondire, in questa sezione puoi trovare anche i dati delle richieste di scansione suddivisi in
base alla
risposta restituita dal server, oppure per
tipo di file scaricato, per
finalità della scansione
(aggiornamento pagina già scansionata, rilevamento nuova pagina) e
tipo di Googlebot impiegato
(smartphone, desktop, etc.).
All'interno dell'interfaccia delle Statistiche di scansione, inoltre, puoi vedere la
quantità di risorse
scaricate dal crawler e il
tempo medio di risposta delle tue pagine. È buona cosa tenere costantemente
monitorati anche questi valori, in quanto influiscono sulle tue possibilità di indicizzazione.
Come ottimizzare il proprio crawl budget
Ti sarà chiaro, a questo punto, che
il crawl budget è una risorsa da non sprecare. L'obiettivo che devi
avere in mente, infatti, è quello di
impedire la scansione delle pagine che non producono valore, che
non sono intese per essere posizionate per determinate keyword, e
far emergere quelle che hanno
qualità per l'utente e che
possono produrre interazioni significative per il tuo business.
Per ottimizzare il tuo crawl budget puoi utilizzare questi metodi:
-
Utilizzare la sitemap.xml per comunicare a Google in maniera univoca quali pagine vuoi che
siano scansionate;
-
Utilizzare il file robots.txt per indicare a Google quali pagine escludere dalla scansione. Google
ha confermato che le pagine non consentite nel file robots non influiscono sul budget di
scansione;
-
Fare in modo che le pagine abbiano caricamenti veloci (HTML ottimizzato e file compressi) e
che non restituiscano errori 404 o errori del server;
-
Inserire link interni, facendo in modo che il crawler non arrivi mai a vicoli ciechi ma sia portato a
scansionare ulteriormente (ovviamente dobbiamo pensare in primis agli utenti: gli URL devono
avere senso relativamente al contenuto della pagina e offrire valore aggiuntivo);
-
Fare un corretto utilizzo dei rel canonical per evitare pagine duplicate.
Bisogna poi considerare che un sito web in salute, se viene aggiornato con frequenza, di solito vede
aumentare il proprio
crawl budget, o comunque non subisce penalizzazioni da questo punto di vista. A
questo proposito, è bene ricordarsi dell'importanza di una
strategia di backlink, della creazione di
contenuti sempre utili e pertinenti, ma anche dell'ottimizzazione dell'esperienza di utilizzo e
dell'
interfaccia mobile friendly, che incidono altamente sulle prestazioni SEO del sito web, soprattutto
dopo l'aggiornamento
Google Page Experience.
Le
pagine più popolari, secondo
quanto riferito proprio da Google
relativamente al budget di scansione,
vengono scansionate con maggiore frequenza.
Considerazioni finali
L'
ottimizzazione del crawl budget è un
aspetto tecnico che, a meno di siti con un numero molto elevato
di link,
non dovrebbe incidere sul ranking del proprio sito web. Tuttavia, la sua ottimizzazione
permette agli utenti di
arrivare ai contenuti più significativi del sito e realizzare, perciò,
un numero maggiore di conversioni.
In considerazione di ciò, è importante mantenere la struttura del proprio sito
web quanto più pulita e far indicizzare solo le pagine che hanno significato per l'utente e per noi.
Ora che hai imparato
cos'è il crawl budget e come ottimizzarlo, perché non approfondisci altri argomenti
legati alla
SEO? Nel nostro
blog
trovi molti spunti interessanti pensati apposta per attività che vogliono affermarsi e crescere con il digital.
Se vuoi
ottenere ancora di più, noi
siamo a tua disposizione per individuare e mettere in atto una
strategia di web marketing efficace e ottenere
risultati concreti per il tuo business.
Contattaci
