Come ottimizzare il Crawl Budget del sito web

1. Velocità di risposta del server

Se noi ottimizziamo le prestazioni del server, puntando su tempi di risposta eccellenti, significa che, pur dedicandoci lo stesso tempo, Google riuscirà ad eseguire una scansione molto più veloce e quindi più pagine sottoposte a scansione.

Per questo puntiamo a:

– Server di qualità

– Ottimizzazione del codice

– Ottimizzazioni SEO del sito lato velocità : https://www.bewesrl.com/seo/velocizzare-un-sito-web.html (gZip, cache, immagini ottimizzate ecc.)

2. Struttura del sito:

Puntiamo ad un’alberatura facilmente scansionabile, che permetta di capire in modo semplice anche la priorità e l’importanza delle pagine.

Evitiamo gli annidamenti inutili, non nascondiamo le pagine foglia (si trovano alla fine delle strutture ad albero e contengono effettivamente i dati reali dove vengono archiviati i record e le informazioni effettive che gli utenti inseriscono nel database), ma diamo a tutte le pagine la giusta visibilità.

Evitiamo le pagine orfane, puntiamo ad una buona rete di link interni che permetta di avere per ogni pagina più link interni in entrata.

Non facciamo crescere troppo la profondità delle pagine, limitiamoci a raggiungere il contenuto con i “famosi 3 click”.

3. Ottimizziamo il robots.txt

Fissiamo le regole per far risparmiare Crawl Budget, evitando di fargli perdere tempo su pagine inutili (duplicati, pagine parametriche non utili, pagine create dal CMS ecc.).

Per l’ ottimizzazione del robots.txt utilizziamo la testa, nulla di automatico, ma dettiamo le regole sulla base di un’analisi approfondita dell’alberatura.

4. Link interni:

Facciamo in modo che all’interno dei nostri contenuti siano sempre presenti i link interni di approfondimento, verso altre pagine del sito, immagini, risorse e soprattutto verso le nostre pagine obiettivo.

Creiamo una “ragnatela” di link che possa portare realmente valore a quella determinata pagina linkata. Anche qui non consiglierei nulla di automatico.

5. Correggiamo i link rotti:

Gli errori 404 non creano penalizzazioni, come si diceva un tempo, ma in realtà vanno a sprecare Crawl Budget. Se eseguiamo un aggiornamento massivo di URL, cambiando proprio il percorso, non solo dovremo impostare i vari redirect 301, ma anche aggiornare il link nel codice sorgente. Sempre meglio avere una risposta in status code 200. Attraverso un controllo con SEMrush, Screaming Frog, Visual SEO Studio o qualsiasi altro crawler simulato, possiamo verificare tutti gli status code 4xx e correggere!

6. Verifichiamo costantemente il LOG del server:

Avere un monitoraggio costante del LOG del server, ci aiuta a risolvere problemi SEO che magari a primo impatto possono non risultare così evidenti. Avere un controllo degli status code restituiti da ogni percorso, capire quali BOT stanno entrando sul nostro sito ecc. ecc., ci aiuta ad avere una visione d’insieme molto più dettagliata. Non fatevi spaventare da tutte quelle righe: con un buon lettore di LOG riuscirete a filtrare le informazioni utili.

7. Usiamo il TAG Link Rel Canonical:

Come sappiamo, serve per dichiarare la versione ufficiale delle pagine e quindi il loro percorso. Utilissimo quando abbiamo più pagine con contenuto pressoché identico. Questo non aiuta però a risparmiare Crawl Budget, perché comunque la scansione viene eseguita, ma nel corso del tempo Google considererà maggiormente la pagina canonica rispetto alle altre, il che significa che daremo priorità alla pagina veramente utile.

8. Usiamo la funzione rel=”nofollow” (quando opportuno):

Questo evita che il link che contiene il rel=”nofollow”, venga seguito / scansionato. Ad esempio, se in una pagina foglia di un e-commerce (scheda prodotto) ha tanti link verso prodotti correlati (che già ricevono link dofollow da altre pagine), potremmo valutare di inserire su ciascun link l’attributo rel=”nofollow” al tag .

Attenzione però: se questi URL ricevono link dofollow da altre pagine, la risorsa verrà comunque scansionata!

9. Aggiorniamo i contenuti:

Lo abbiamo detto anche prima, è un’attività che ci aiuta ad aumentare il tempo e la frequenza che Google ci dedica. Per ogni contenuto aggiornato, possiamo inserire nel codice dei TAG Meta, indicando sia la data di pubblicazione del contenuto sia la data di modifica

10. Valutiamo se eliminare i contenuti inutili e i doppioni:

Tagliare i rami secchi molte volte può essere una buona strategia SEO e può portare grossi vantaggi al nostro sito. Contenuti che non ricevono più traffico perché obsoleti, un argomento che viene trattato allo stesso modo su più pagine. Ecco, in questo caso, soprattutto nei siti redazionali, potrebbe essere più strategico uniformare quel contenuto eliminando chi oggi non produce traffico organico (impostando i dovuti redirect 301). Questo ci aiuta indirettamente a ottimizzare il Crawl Budget perché snelliamo la struttura, dando più rilevanza a un contenuto ricco di informazioni.