{"id":18756,"date":"2019-08-01T08:13:35","date_gmt":"2019-08-01T06:13:35","guid":{"rendered":"https:\/\/gianlucagentile.com\/?p=18756"},"modified":"2024-12-26T07:15:05","modified_gmt":"2024-12-26T06:15:05","slug":"robots-txt-gli-errori-piu-comuni-da-evitare","status":"publish","type":"post","link":"https:\/\/gianlucagentile.com\/blog\/robots-txt-gli-errori-piu-comuni-da-evitare\/","title":{"rendered":"Robots.txt: gli errori pi\u00f9 comuni da evitare"},"content":{"rendered":"

Il file robots.txt \u00e8 uno degli elementi pi\u00f9 importanti per una corretta gestione del proprio sito web e della sua ottimizzazione in ottica SEO. E’ infatti una direttiva che ci consente di comunicare con gli spider dei motori di ricerca per gestire al meglio la scansione, offrire un localizzazione precisa della sitemap e limitare l’accesso a risorse che ci farebbero sprecare crawl budget.<\/p>\n

Essere in grado di dare le giuste indicazioni ai crawler dei motori di ricerca ed evitare un uso improprio o addirittura errato di queste direttive aumenter\u00e0 le possibilit\u00e0 del nostro sito di piacere ai motori di ricerca e offire agli utenti un’esperienza d’uso completa e soddisfacente.<\/p>\n

E’ utile quindi chiarire\u00a0l’utilizzo del robots.txt<\/a>\u00a0e gli errori da evitare.<\/p>\n

Inanzitutto \u00e8 indispensabile comprendere che il file robots.txt si applica a una lista di pagine e directory che gli spider NON possono scansionare. Quindi le indicazioni che \u00e8 possibile fornire agli spider riguardano solo quello non possono fare all’interno del nostro sito attraverso il comando disallow e non quello che possono fare. Se non vi \u00e8 necessit\u00e0 di impedire ai motori di ricerca la scansione di alcune pagine del nostro sito il file il robots txt non va utilizzato.<\/p>\n

Quanto appena detto \u00e8 estremamente importante, in quanto molti degli errori nell’utilizzo del file robots.txt hanno origine dall’errata comprensione di ci\u00f2 che \u00e8 possibile fare con essi.<\/p>\n

Di seguito una lista di errori da evitare<\/p>\n

1. Applicare\u00a0all’url il disallow Robots.txt per evitare che appaia nei risultati di ricerca<\/strong><\/h2>\n

E’ uno degli errori pi\u00f9 comuni. Bloccare un Url con il disallow robots txt non impedisce l’indicizzazione. Se infatti le pagine a cui abbiamo applicato il file robots.txt \u00e8 linkata da altri siti web o condivisa sui canali social i motori di ricerca potrebbero comunque indicizzarle e farle apparire in Serp senza un title e uno snippet. Quando si vuole bloccare l’indicizzazione di una o pi\u00f9 pagine \u00e8 molto pi\u00f9 conveniente utilizzare il tag noindex. Anche in questo caso tuttavia bisogna fare attenzione poich\u00e9 i due comandi non vanno mai usati insieme. Se alla stessa pagina applichiamo il comando disallow robots.txt e il tag no index ci troveremo nella sconveniente situazione per cui gli spider non potranno leggere il blocco dell’indicizzazione poich\u00e9 \u00e8 stata bloccata anche la scansione.<\/p>\n

2. Applicare il\u00a0Disallow Robots.txt per rimuovere dai risultati di ricerca pagine non pi\u00f9 esistenti<\/h2>\n

Stesso situazione si pu\u00f2 presentare se applichiamo il comando disallow robots.txt su pagine che sono state rimosse dallo nostro sito web. Impedire agli spider di scansionare la pagina infatti non evita che queste possano comunque essere indicizzate. In questo caso \u00e8 molto meglio applicare lo status code 410 e permettere ai motori di ricerca di verificare che effettivamente la risorsa \u00e8 stata eliminata e quindi escluderla dai risultati di ricerca.<\/p>\n

3. Applicare il Disallow Robots.txt su una risorsa a cui abbiamo cambiato l’url<\/h2>\n

Se il file robots.txt non ci consente di de-indicizzare una pagina \u00e8 un grave errore utilizzarlo su un Url con redirezioni ( status code 301 o 302 o metarefresh) poich\u00e9 i motori di ricerca non portanno leggere il redirect. Anche in questo caso i motori di ricerca mostrarenno in SERP il risultato di ricerca ma con l’URL sbagliato.<\/p>\n

In generale questa regola vale in tutti quei casi in cui applichiamo alla pagina un comando che il disallow robots.txt non permette di leggere come gli status code o le meta tag o l\u2019intestazione HTTP<\/p>\n

4. Comporre file robots.txt troppo complessi\u00a0ed elaborati<\/h2>\n

I file robots.txt devono essere semplici e precisi. Lo standard limita la grandezza del file robots.txt a 500 kb, il testo in eccesso verr\u00e0 ignorato quindi \u00e8 inutile complicarne la realizzazione.<\/p>\n

5. Usare il file robots.txt per nascondere informazioni riservate<\/h2>\n

Il file robots.txt \u00e8 una risorsa pubblica e accessibile a chiunque abbia un minimo di eperienza per cui\u00a0\u00e8 inutile utilizzarlo\u00a0per nascondere pagine riservate o contenenti dati degli utenti. In questo caso \u00e8 meglio ricorrere ad altri sistemi come la protezione mediante credenziali.<\/p>\n

6. Usare il robots txt wordpress per bloccare la cartella wp-content<\/strong><\/h2>\n

saper utilizzare il file robots txt<\/strong>\u00a0\u00e8 molto importante anche per chi utilizza\u00a0wordpress.<\/strong>\u00a0Solitamente\u00a0i<\/strong>l classico robots.txt per un sito WordPress \u00e8 sempre stato il seguente.<\/p>\n

\n
\n\n\n\n
\n
\n
User-agent: *<\/code><\/div>\n
Disallow: \/wp-admin\/<\/code><\/div>\n
Disallow: \/wp-includes\/<\/code><\/div>\n<\/div>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n

A differenza di qualche anno fa i motori di ricerca sono in grado di leggere e interpretare anche il codice Javascript e il\u00a0linguaggio CSS\u00a0ovvero la\u00a0formattazione grafica delle pagine per cui. se si impedisce l\u2019accesso a cartelle di WordPress come\u00a0\/wp-content\/<\/strong>\u00a0oppure\u00a0\/wp-includes\/<\/strong>\u00a0pu\u00f2 succedere che Google non abbia accesso a risorse fondamentali per renderizzare correttamente la pagina. Entrambe le cartelle infatti contengono spesso tutti i file funzionali al tema utilizzato e applicare loro un robots txt troppo chiuso potrebbe essere un grave errore, anche in termini di indicizzazione.<\/p>\n

\"\"
Per modificare il mio File Robots TXT e non commettere errori utilizzo il File Editor del Plugin Premium Seo Pack di WordPress<\/figcaption><\/figure>\n

7. Robots txt editor sbagliato<\/h2>\n

Per compilare il file robots.txt bisogna stare attenti anche alla sintassi. L\u2019URL del file Robots.txt sono case-sensitive cio\u00e8 fanno differenza tra lettere maiuscole e minuscole, per questo si possono generare degli errori se si chiama il file ROBOTS.TXT oppure se si scrivono al suo interno URL usando lettere maiuscole e minuscole.<\/p>\n

8. Crawl-delay<\/h2>\n

La direttiva crawl-delay imposta il numero di secondi che i bot devono attendere prima di effettuare una nuova scansione del sito web. E’ una direttiva molto utile per prevenire il sovraccarico del server tuttavia \u00e8 utile sapere che gli spider di Google ignorano questo paramentro.<\/p>\n

E’ a questo punto molto facile intuire come un uso sbagliato del file robots txt posso farci incorrere in errori che peggiorano la user experience dei nostri utenti bloccando la scansione di risorse e pagini utili che invece dovrebbero essere completamente accessibili ai motori di ricerca.<\/p>\n

Comprendere come usare il file robots.txt pu\u00f2 essere uno strumento potente in ottica\u00a0SEO<\/strong>\u00a0perch\u00e9\u00a0 se ben maneggiato ci consente di non sovracaricare il server e soprattutto limitare l’accesso ad aree o contenuti del nostro sito che non offrono un valore aggiunto ai nostri utenti.<\/p>\n

Dunque fai sempre attenzione all’utilizzo che fai del robots.txt e ricorda di non esagerare, se il sito non \u00e8 di enormi dimensioni usare troppo il comando disallow del robots.txt non ha senso. SE hai dubbi o vuoi condividere la tua esperienza riguardo gli errori che si commettono con il robots txt, scrivi nei commenti<\/p>\n

<\/p>\n

\n

Potrebbe interessarti anche:<\/h3>\n