[bglug] info x crawler website js+ajax

[Alessandro Fava]

Grazie secco,
ho appena istallato ZAP e lo sto' facendo girare con lo spider ajax
attraverso l'engine HtmlUnit (guarda caso con firefox si produceva su Wiin7
lo stesso errore di crawljax "appcrash at xul.dll") ..... vediamo cosa
produrra', e che plugin ci sono :-)

Grazie il Katta per le info, Scrapy pero' per essere usato al meglio con
js+ajax mi pare necessiti di creare del codice in python.

Riguardo alle esigenze vorrei solo documentare struttura ed elenco
contenuti di due siti (collaudo e produzione) per confrontarli tra loro e
ricercare almeno i 404. Cio' che devo gestire di ajax e' il pagination down
e vorrei trovare qualcosa di pronto all'uso che lo faccia da se'.

Alessandro


2015-06-24 22:40 GMT+02:00 il Katta <ilkatta88@gmail.com>:

>
> Ciao,
> Non credo di aver capito bene cosa stai cercando, ma se ti interessa un
> framework per testing gli strumenti di cui ho sentito più parlare sono
> seleniumHQ [1] e phantomJS [2], purtroppo non ho abbastanza esperienza per
> dirti di più.
>
> Se invece di accontenti di un semplice crawer senza motore js io mi sono
> trovato abbastanza bene con Scrapy [3], che però, appunto, è uno spider, il
> suo principale uso è estrarre e collezionare informazioni...
>
> Saluti.
>
> [1] http://www.seleniumhq.org/
>
> [2] http://phantomjs.org/
>
> [3] http://scrapy.org/
>
>
> --
> Sito BgLUG: http://www.bglug.it
> Mailing list: http://lists.linux.it/listinfo/bglug
>
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.linux.it/pipermail/bglug/attachments/20150625/ee7c247a/attachment-0001.html>