[LUNGO] Re: [Tech] modlogan - prime impressioni
Marco Ermini
markoer@markoer.org
Mar 19 Set 2000 12:20:11 CEST
"Christopher R. Gabriel" wrote:
>
> Allora e' proprio un problema di quella release. AFAIK ne sta' per
> uscire una nuova, anche tradotta in italiano (chissa' chi e' stato :))
> )
Se funziona e se sono sempre qui, magari faccio l'rpm. Comunque e'
possibilissimo che sia un errore mio ;-) dato che faccio le cose molto
di corsa ultimamente :-/
> Aspetto quella e poi ritento.
>
> Marco> Se ti serve, ti mando i settaggi che ho fatto io.
>
> Grazie, manda pure che li provo.
Ecco le sezioni che servono in modlogan.conf.defs.
Li posto a tutta la lista perche' potrebbe servire anche a qualcun
altro, per fare prima.
Ciao
-------modlogan.conf.defs (modlogan.conf, a piacere)--------
[global]
inputplugin=clf
outputplugin=modlogan
processorplugin=web
# used output language (default: == env LC_ALL) [not used yet]
#language=
# (magari dalla versione che dici tu viene utilizzato)
# where to put the generated files
##
outputdir=/home/httpd/logs
# incremental mode (0 = off, 1 = semi, 2 = full)
incremental=1
debug_level=3
[processor_web]
searchengines=modlogan.searchengines
visit_timeout=1800
debug_searchengines=1
debug_visits=1
hideurl=*.gif
hideurl=*.png
hideurl=*.GIF
hideurl=*.PNG
hideurl=*.jpg
hideurl=*.JPG
hidereferrer=http://www.ubm.it*
groupreferrer=-,(Direct Access)
# UBM internal sono gli utenti interni del sito che ci contribuiscono.
# Mind e' la societa' che ci lavora
# In pratica raggruppandoli puoi vedere questo:
# http://www.ubm.it/logs/m_usage_200008_002_002.html
# vedi cioe' raggruppati certi tipi di hit. E' comodo
grouphosts=172.21.*, UBM Internal hits
grouphosts=193.193.172.*, UBM Internal hits
grouphosts=proxy-credito.ubm.it, UBM Internal hits
grouphosts=proxy1-credito.ubm.it, UBM Internal hits
grouphosts=proxy2-credito.ubm.it, UBM Internal hits
grouphosts=www.ubm.it, UBM Internal hits
grouphosts=212.4.23*, Mind Developer hits
grouphosts=mind.ubm.it, Mind Developer hits
groupbrokenlinks=*favicon.ico,Bookmarking Icons for MSIE 5.0
groupos=Windows 98,Windows 98
groupos=Windows 95,Windows 95
groupos=Windows NT*,Windows NT
groupos=WinNT,Windows NT
groupos=Win98,Windows 98
groupos=Win95,Windows 95
groupos=Linux 2.4.*,Linux 2.4.x
groupos=Linux 2.3.*,Linux 2.3.x
groupos=Linux 2.2.*,Linux 2.2.x
groupos=Linux 2.1.*,Linux 2.1.x
groupos=Linux 2.0.*,Linux 2.0.x
groupos=FreeBSD 2.*,FreeBSD 2.x
groupos=FreeBSD 3.*,FreeBSD 3.x
groupos=FreeBSD 4.*,FreeBSD 4.x
groupos=SunOS 5.5*,SunOS 5.5.x
groupos=SunOS 5.6*,SunOS 5.6.x
groupos=SunOS 5.7*,SunOS 5.7.x
groupos=SunOS 5.8*,SunOS 5.8.x
groupos=HP-UX B.10.*,HP-UX B.10.x
groupos=HP-UX B.11.*,HP-UX B.11.x
groupos=NetBSD 1.4.*,NetBSD 1.4.x
groupua=MSIE 5.5*,Internet Explorer 5.5x
groupua=MSIE 5.*,Internet Explorer 5.x
groupua=MSIE 4.*,Internet Explorer 4.x
groupua=MSIE 3.*,Internet Explorer 3.x
groupua=MSIE 2.*,Internet Explorer 2.x
groupua=Mozilla/2.*,Netscape 2.x
groupua=Mozilla/3.*,Netscape 3.x
groupua=Mozilla/4.7*,Netscape 4.7x
groupua=Mozilla/4.*,Netscape 4.x
groupua=Mozilla/5.*,Netscape 5.x
groupua=Netscape/4.*,Netscape 4.x
groupua=Konqueror/1.*,Konqueror 1.x
groupua=Lynx/2.8.*,Lynx 2.8.x
pagetype=*.html
pagetype=*.htm
pagetype=*.php3
#pagetype=*.asp
pagetype=*.shtml
#pagetype=*.php
[output_modlogan]
hostname=www.ubm.it
maxrequrls = 30
maxrefurls = 30
maxos = 50
maxhosts = 30
maxentrypages = 10
maxexitpages = 10
maxindexedpages = 20
maxua = 30
maxreqprot = 10
maxreqmeth = 10
maxstatuscodes = 10
maxrobots = 20
maxbookmarks = 20
maxbrokenlinks = 20
maxsearchengines= 20
maxsearchstrings= 30
maxinteralerrors= 20
maxcountries = 20
background = #c0c0c0
shadow = #808080
pages = #00c0ff
files = #0080ff
visits = #ffff00
xfer = #ff0000
hosts = #ff8000
hits = #00C030
grouping = #D0D0E0
#body = #FFFFFF
pagestyle = seppage
showdailygraph = 1
showmonthlygraph= 1
showhourlygraph = 1
showcountrygraph= 1
assumedprotocol = http
-------snip--------
Questo file di configurazione si trova nella directory
/home/httpd/modlogan (lo so non e' molto "pulito") ed e' lanciato da
questo script che si chiama update_logs. Modlogan scarta automaticamente
gli hit gia' considerati, quindi per essere sicuri di non perderne
nessuno si possono anche riscorrere tutti (basta mettere incremental=1).
Le pagine HTML vengono create nella directory /home/httpd/logs.
-------update_logs--------
#! /bin/sh
# /home/httpd/modlogan/update_logs
cd /home/httpd/modlogan
for LOGS in `ls -w1 /var/log/httpd/access_log*.gz | sort -r`
do
sudo -u httpd gunzip -dc $LOGS | modlogan
done
for LOGS in `ls -w1 /var/log/httpd/access_log.* | grep -v .gz | sort -r`
do
sudo -u httpd cat $LOGS | modlogan
done
sudo -u httpd cat /var/log/httpd/access_log | modlogan
chown httpd.httpd /home/httpd/logs/*
-------snip--------
Questo script viene lanciato nottetempo _dopo_ la rotazione dei logs di
Apache. Si puo' anche mettere direttamente in logrotate, a me
personalmente non funzionava benissimo. Comunque messo accuratamente in
cron non ho avuto problemi.
-------/etc/cron.daily/update_httpd_logs--------
#!/bin/sh
# entry cron
cd /home/httpd/modlogan
/home/httpd/modlogan/update_logs 1&>2 /dev/null
-------snip--------
Questa'altro script puo' essere utile se si aggiorna la versione di
modlogan, per esempio. Ricrea completamente i logs. Li mette anch'esso
in /home/httpd/logs.
-------recalculate_logs--------
#! /bin/sh
# /home/httpd/modlogan/recalculate_logs
rm -f /home/httpd/logs/*
cd /home/httpd/modlogan
for LOGS in `ls -w1 /var/log/httpd/access_log*.gz | sort -r`
do
sudo -u httpd gunzip -dc $LOGS | modlogan
done
for LOGS in `ls -w1 /var/log/httpd/access_log.* | grep -v .gz | sort -r`
do
sudo -u httpd cat $LOGS | modlogan
done
sudo -u httpd cat /var/log/httpd/access_log | modlogan
chown httpd.httpd /home/httpd/logs/*
-------snip--------
ciao
--
Marco Ermini
http://www.markoer.org
There are two major products that come out of Berkeley: LSD and UNIX.
We don't believe this to be a coincidence. -- Jeremy S. Anderson
Maggiori informazioni sulla lista
flug-tech