Robots.txt e meta tag Noindex Nofollow: qual è la differenza?

Vediamo insieme cosa sono il file robots.txt e i meta tag Noindex Nofollow

I motori di ricerca usano degli spider per scansionare i siti web. Per sfruttare al meglio le potenzialità offerte dai motori di ricerca è fondamentale saper comunicare con gli spider. A volte infatti può essere necessario impedirgli di indicizzare alcune pagine.

L’utilizzo del file robots.txt e dei meta tags Noindex Nofollow ci aiutano a questo.

Bisogna tuttavia fare attenzione a come li si utilizza poichè sono strumenti molti diversi che hanno scopo differenti.

Il file robots.txt è quello che ci consente di gestire le indicazioni da dare agli spider dei motori di ricerca che eseguono la scansione del sito. Attraverso il comando Disallow robots.txt comunichiamo agli spider di bloccare la scansione su una pagina o sull’intero sito.

I metatgs Noindex Nofollow invece, agiscono sulle singole pagine ed impediscono l’indicizzazione della pagina scansionata (noindex) e dei link (nofollow).

In estrema sintesi dunque possiamo dire che il file robots.txt agisce a livello di scansione mentre i meta tags Noindex Nofollow agiscono a livello di indicizzazione. 

Il comando Disallow robots.txt agisce sulla scansione

Il comando Disallow da inserire nel Robots.txt da direttive precise agli spider dei motori di ricerca e va utilizzato con molto criterio anche perchè è uno dei passaggi più importanti per l’indicizzazione SEO di un sito web.

Infatti, il file robots.txt, restringendo l’accesso in determinate aree del sito, alleggerisce il processo di scansione. In un sito web con una grande mole di contenuti scansionare tutte le cartelle e sottocartelle ecc. può essere per gli spider un’operazione molto gravosa che penalizza la performance del portale. Il file robots.txt entra in funzione per evitare questo inconveniente.

Attenzione però alle pagine a cui si applica il comando disallow. L’operazione dev’essere molto oculata avendo cura di selezionare solo quelle pagine che non sono importanti ai fini della SEO. In questo modo si riduce il carico sul server e si accelera il processo di indicizzazione.

Il file robots.txt è composto da due campi: il campo “User-agent” ed uno o più campi “Disallow”.

• User-agent serve ad indicare a quale spider sono rivolte le direttive
• Disallow serve a indicare a quali file e/o directory lo spider precedentemente indicato non può accedere.

Parte di codice da utilizzare nel robots.txt per gli User-Agent

I meta tags Noindex Nofollow agiscono sull’indicizzazione

Il meta tag Noindex agisce a livello di indicizzazione. Quando gli spider scansionano la pagina e trovano il meta tag Noindex la rimuovono dal loro indice e la pagina non potrà apparirà nei risultati di ricerca.

Ma perchè potrebbe essere utile deindicizzare alcune pagine del nostro sito internet? Il noindex SEO in un’ottica di ottimizzazione è da applicare a tutte quelle pagine che potrebbe essere poco interessanti per i motori di ricerca come ad esempio le pagine duplicate, le pagine off topic o anche le pagine dei tag, quelle che illustrano la policy del sito, o le pagine contenenti brevi informazioni di servizio. I motori di ricerca considerano queste pagine come spam engine e se il loro numero è alto, l’intero sito web può essere penalizzato o declassato.

Anche il meta tag Nofollow agisce sull’indicizzazione ma è specifico per i link. In questo caso gli spider non indicizzano i link marcati con l’attributo nofollow e, sempre nell”ottica di un buon posizionamento, il Nofollow si usa per evitare di passare parte del proprio ranking al sito esterno linkato.

Esempio in HTML di noindex nofollow

Anche nel caso di link a pagamento è sempre preferibile inserire un Nofollow, perché i motori di ricerca non gradiscono quando veniamo pagati per linkare un sito. Stessa cosa per i banner pubblicitari che rimandano ad altri siti.

Attraverso i meta tags Noindex Nofollow pagine e link cessano di esistere soltanto per i motori di ricerca mentre restano a disposizione della consultazione degli utenti.

Disallow e noindex: mai usarli insieme

Il file robots.txt e i meta tag Noindex Nofollow sono strumenti molto utili per creare un sito web efficace. Comprendere a fondo la differenza tra questi comandi può aiutarci ad evitare errori molto diffusi.

Quando si applica la direttiva Disallow la pagina non viene scansionata. Se alla stessa pagina si aggiunge anche il meta tag Noindex gli spider non potranno leggerlo poichè non hanno accesso alla scansione della pagina. Usarli insieme è un grave errore.

In casi come questi infatti ci si imbatte nella situazione per cui una pagina non scansionata può comunque essere indicizzata, perchè gli spider non hanno accesso alla lettura del comando Noindex.

E’ utile quindi ripetere che quando si vuole bloccare esplicitamente l’indicizzazione di una pagina si utilizza il meta tag Noindex e si deve consentire la scansione per far sì che il tag venga riconosciuto ed eseguito. 

Può anche succedere una situazione analoga quando una pagina di cui abbiamo vietato l’accesso per la scansione viene linkata da altri siti web o condivisa sui social network. Infatti se un URL è bloccato dal robots.txt ma una pagina contiene un link verso quest’URL, si può creare una situazione per cui nella SERP viene fuori un risultato senza titolo e senza snippet, provocando una cattiva esperienza d’uso per l’utente.

Usare questi comandi con criterio e avendo ben chiaro l’obiettivo per cui si stanno applicando consentirà di non essere penalizzati e dai motori di ricerca e dai nostri utenti!

Adesso che hai compreso la funzione del robots.txt e del Noindex Nofollow programma quanto prima le modifiche al tuo sito web così da poter dare ulteriore slancio alla sua ottimizzazione. Se hai dubbi riguardo a situazioni specifiche che ti trovi ad affrontare sul tuo portale scrivi nei commenti.