Il file contiene le direttive a cui i motori di ricerca dovrebbero (il condizionale è d'obbligo) attenersi.
Il testo da scrivere è:
User-agent: * Disallow: /vendite/ Disallow: /immagini/
Laddove /vendite/ e /immagini/ rappresentano le cartelle da non indicizzare. Da notare che il secondo slash / deve essere inserito per forza, altrimenti se inseriste solo /vendite il motore di ricerca penserà che vogliamo scoraggiare l'indicizzazione di tutte le pagine che iniziano per vendite.
Una seconda alternativa è inserire un tag META all'interno della sezione HEAD della pagina, che svolga la stessa funzione di deterrente all'indicizzazione:
<meta name="robots" content="noindex" />
In questo caso, però, è necessario che il file robots.txt consenta ai motori di ricerca di leggere le pagine in modo da prendere nota del tag anti indicizzazione.
Ulteriori, dettagliatissimi consigli a riguardo, sono disponibili in questo articolo di Antezeta.it, da cui ho tratto gli esempi.
