[ImoLUG] file robots.txt

[fRANz]

Ciao a tutti,

mi affido ai numerosi webmaster presenti in lista per un parere sul
simpatico file robots.txt
Per quel poco che so, permette di descrivere il comportamento di
indicizzazione al quale i diversi spider/crawler _dovrebbero_
attenersi.

Scenario: voglio impedire indicizzazione e ricerche su un determinato sito.
Risoluzione: creo un file robots.txt del tipo:

User-agent: *
Disallow: /

Mio dubbio:
secondo la vostra esperienza, un file di questo tipo basta allo scopo
oppure sapete di crawler che ignorano tale file?
In questo specifico caso, anzichè limitarsi a filtrare le richieste in
base allo User-agent (facilmente bypassabile), ci sono altre modalità
o pratiche più incisive ed efficaci?

Grazie per ogni spunto in proposito :-)

-f