Può sembrare paradossale, ma ci sono davvero molte occasioni in cui è possibile che vogliate escludere un sito, o parte di un sito, dalla scansione ed indicizzazione dei motori di ricerca. Una necessità tipica è quella di tenere pagine duplicate, come versioni da stampare, fuori da un motore di ricerca. Lo stesso vale per pagine disponibili sia in HTML che PDF. Altri esempi comprendono “pagine di servizio” come messaggi di errore e pagine di conferma di attività.
Ci sono numerosi modi per evitare l’indicizzazione delle pagine di un sito in , !, Microsoft Live o Ask. In questo articolo consideriamo diversi metodi per bloccare i motori di ricerca, tenendo conto dei pro e dei contra di ogni metodo.
2007-04-11: 
I recenti miglioramenti che Yahoo! ha apportato al programma Site Explorer includono la possibilità per un webmaster di 
