Crawling

Il crawling o tracciamento di siti web è il viaggio che un piccolo software bot (un crawler) compie per leggere e analizzare il codice e il contenuto di una pagina web, saltando da una pagina all’altra attraverso i link che trova. Nel caso di GoogleBot (il crawler di Google), questo è responsabile del tracciamento e dell’esame dei nostri siti web, per poi incorporarli nel suo indice.

Ma il crawling non è monopolizzato dall’onnipotente motore di ricerca. Oltre ad essere utilizzati dai concorrenti per scopi simili, abbiamo anche strumenti per eseguire il crawl di un sito web per il suo rilevamento di errori o l’ottimizzazione SEO.

Come funziona il tracciamento dei siti web di Google? ⚙️

Prima di tutto, Google deve conoscere l’esistenza del nostro sito web e la sua disponibilità in modo che il crawler possa effettuare il processo di crawling e indicizzazione. Per fare questo, abbiamo diverse opzioni, la più comune è la creazione di un link esterno al sito web in questione o la registrazione nella piattaforma Search Console, tra le altre.

Dopo questo punto, il crawler di Google inizierà il processo di tracciamento del portale, accedendo a tutte le pagine attraverso i vari link interni che abbiamo creato. Può anche utilizzare altre fonti per trovare una pagina o una sezione del nostro sito web, come ad esempio la sua esistenza in un file Sitemap che abbiamo registrato in Search Console.

Il Software Budget e come influisce sul SEO 📈

Il crawler di Google non esiste solo per la scansione del nostro sito web. Data la presenza di milioni di portali su Internet, le risorse che GoogleBot può dedicare a un sito web sono limitate. Da qui il concetto di Crawl Budget, il tempo e lo sforzo che il GoogleBot impiegherà per cercare di leggere e analizzare le pagine di un sito web.

Se il software di Google non è in grado di leggere una pagina, non saprà della sua esistenza o del suo contenuto e non sarà in grado di incorporarla nel suo indice. E non incorporarlo nell’indice significherà che non apparirà nelle pagine dei risultati dei motori di ricerca e non parteciperà alla classifica delle posizioni.

Il tracciamento diventa quindi importante nel posizionamento organico nei motori di ricerca, in quanto è il primo passo per Google per analizzare il nostro sito web e le sue diverse pagine, per poi aggiungerle al suo indice.
E quali fattori possono influenzare negativamente il nostro Crawl Budget? Tutti quei problemi o limitazioni che fanno sì che il bot di Google spenda più tempo e risorse, come ad esempio:

• Un elevato tempo di risposta del server
• Eccessiva velocità di caricamento delle risorse
• Presenza di errori di codice 4xx o 5xx
• Pagine isolate o di difficile accesso
• Altri fattori che determineranno il budget di tracciamento, come l’autorità del nostro sito web.