Tutorial

Evitare che i motori di ricerca indicizzino pagine Web non desiderate

In alcune circostanze potrebbe essere necessario evitare che un motore di ricerca includa nel suo indice pagine Web particolari, magari quelle dedite all’amministrazione del sistema o comunque pagine con dati sensibili. Per ovviare al problema è possibile ricorrere ad un particolare file di testo denominato robots.txt. Inserendo all’interno dello stesso l’elenco delle pagine da evitare di indicizzare e uploadando lo stesso nella root del sito, si eviterà che il bot dei motori di ricerca indicizzi proprio le pagine specificate all’interno del file. Ecco come dovrebbe presentarsi il contenuto del file robots.txt per evitare l’indicizzazione della pagina contatti.htm:

User-agent: *
Disallow: / contatti.htm

Per avere maggiori dati su come gestire il file robots.txt è possibile visitare il seguente sito http://www.robotstxt.org.

 

Comment here