[bglug] info x crawler website js+ajax

[Alessandro Fava]

agg.to :
zap non va' bene, non mi costruisce un report dei link del sito ma solo
degli alert trovati, e comunque non fa' per me
ho invece trovato Web Scraper, che e' un'estensione del browser Chrome, e
se riesco ad addestrarlo per il mio sito credo sia veramente valido
A.

2015-06-25 8:48 GMT+02:00 Alessandro Fava <alessandro.fava.69@gmail.com>:

> Grazie secco,
> ho appena istallato ZAP e lo sto' facendo girare con lo spider ajax
> attraverso l'engine HtmlUnit (guarda caso con firefox si produceva su Wiin7
> lo stesso errore di crawljax "appcrash at xul.dll") ..... vediamo cosa
> produrra', e che plugin ci sono :-)
>
> Grazie il Katta per le info, Scrapy pero' per essere usato al meglio con
> js+ajax mi pare necessiti di creare del codice in python.
>
> Riguardo alle esigenze vorrei solo documentare struttura ed elenco
> contenuti di due siti (collaudo e produzione) per confrontarli tra loro e
> ricercare almeno i 404. Cio' che devo gestire di ajax e' il pagination down
> e vorrei trovare qualcosa di pronto all'uso che lo faccia da se'.
>
> Alessandro
>
>
> 2015-06-24 22:40 GMT+02:00 il Katta <ilkatta88@gmail.com>:
>
>>
>> Ciao,
>> Non credo di aver capito bene cosa stai cercando, ma se ti interessa un
>> framework per testing gli strumenti di cui ho sentito più parlare sono
>> seleniumHQ [1] e phantomJS [2], purtroppo non ho abbastanza esperienza per
>> dirti di più.
>>
>> Se invece di accontenti di un semplice crawer senza motore js io mi sono
>> trovato abbastanza bene con Scrapy [3], che però, appunto, è uno spider, il
>> suo principale uso è estrarre e collezionare informazioni...
>>
>> Saluti.
>>
>> [1] http://www.seleniumhq.org/
>>
>> [2] http://phantomjs.org/
>>
>> [3] http://scrapy.org/
>>
>>
>> --
>> Sito BgLUG: http://www.bglug.it
>> Mailing list: http://lists.linux.it/listinfo/bglug
>>
>
>
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.linux.it/pipermail/bglug/attachments/20150625/95cf4506/attachment.html>