Oltre il Robots.txt
Ci sono una serie di soluzioni efficaci per tenere i motori di ricerca alla larga dai contenuti di alcune nostre pagine. Andiamo a vedere insieme alcune possibilità.
Noindex
Nella maggior parte dei casi è conveniente utilizzare al posto del robots.txt il meta tag robots. Aggiungendo l’attributo ‘noindex’ e assicurandoci di non mettere l’attributo nofollow, le nostre pagine staranno alla larga dai motori di ricerca ma continueranno a passare valore tramite i link. Epic win :)!
301 Redirect
Se una pagina è scaduta (cancellata, spostata, ecc.) non è sufficiente bloccarla. Occorre effettuare il redirect di tipo 301 in modo da non perdere il “link juice”. Per maggiori informazioni su questo tipo di redirect leggete qui.
Canonical Tag
Non bloccare le pagine duplicate usando il file robots.txt. Utilizza il tag Canonical per mantere versioni extra della tua pagina e per consolidare il valore dei link. Quando è possibile. Per maggiori informazioni vi rimando a questo articolo.
Protezione tramite password
Il robots.txt non è un sistema efficace per tenere al sicuro informazioni confidenziali da occhi indiscreti. Se hai la necessità di proteggere dei contenuti in modo sicuro utilizza un sistema di protezione con password. Se hai una zona di login nel tuo sito aggiungi il tag noindex a questa pagina. Se ti aspetti molti link dagli utenti a questa pagina allora fai in modo che essa sia collegata ad altre “non protette” così da ridistribuire il flusso di link e non perdere PageRank.
Uso effettivo del Robots.txt
Il modo migliore per usare il robots.txt quindi è di utilizzarlo esclusivamente per indicare quali robots far accedere al nostro sito ed eventualmente per indicare il link della nostra sitemaps. Di conseguenza il vostro file robots si presenterà così, nè più nè meno:
User-agent: BadBot Disallow: / Sitemap: http://www.example.com/sitemap.xml
Così impediremo “sommariamente” a badbot di visitare il nostro sito, mentre gli altri avranno libero accesso e troveranno anche il link per la sitemap!
