[FoLUG] Spider

[Marco Baroni]

Io sto proprio or ora documentando degli scripts in perl che fanno delle
ricerche su google per dei *seeds*, cercano le url trovate da google e ne
scaricano testo, poi estraggono con metodi statistici una lista di seed
piu' estesi da questo testo, rifanno la ricerca su google e cosi' via.  
Rispetto agli spiders, trovano meno roba, ma piu' rilevante ad un certo
dominio. Pero' sarebbe facile trasformare la procedura nel punto di
partenza per uno spider. Uno dei miei libri preferiti (Perl & LWP) ha il
codice per un semplice spider, appunto.

Se ti interessano gli scripts, te li mando -- anche se per ora sono un po' 
incasinati. E il codice dello spider, se lo trovo.

Ciao,

Marco

On 30 Oct 2003, Demis Palma wrote:

> Qualcuno e' a conoscenza e/o e' interessato a realizzare uno spider?
> In pratica l'obiettivo e' di eseguire una mega-ricerca tutta in
> automatico, archiviando l'url delle pagine attinenti.
> L'utente gli fornisce le chiavi di ricerca (molto semplici) e lo spider
> comincia interrogando i motori classici, e si setaccia tutto il web. 
> 
> 
>