289 lines
9.2 KiB
Python
289 lines
9.2 KiB
Python
#! /usr/bin/env python
|
|
# -*- encoding: iso-8859-15 -*-
|
|
|
|
"""
|
|
Script d'envoi des statistiques des déconnections
|
|
et du traffic de la journée à disconnect@
|
|
|
|
Copyright (C) Xavier Pessoles - Étienne Chové - Michel Blockelet
|
|
Licence : GPLv2
|
|
"""
|
|
|
|
###########################
|
|
# Import des commmandes : #
|
|
###########################
|
|
|
|
import commands
|
|
import sys
|
|
from pyPgSQL import PgSQL
|
|
sys.path.append('/usr/scripts/gestion')
|
|
sys.path.append('/usr/scripts/surveillance')
|
|
import config
|
|
import smtplib
|
|
import socket
|
|
import time, random, md5
|
|
from analyse import stats
|
|
from affich_tools import tableau
|
|
from iptools import AddrInNet
|
|
from ldap_crans import AssociationCrans
|
|
|
|
# Fonction retournant l'hote quand c'est possible
|
|
def gethostname(s):
|
|
try:
|
|
return socket.gethostbyaddr(s)[0]
|
|
except:
|
|
return s
|
|
|
|
# Liste des IP des serveurs
|
|
serveurs_ips = [x.ip() for x in AssociationCrans().machines()
|
|
if x.nom() not in [u'sila.crans.org', u'sable.crans.org']]
|
|
|
|
##############################
|
|
# Ouverture des connexions : #
|
|
##############################
|
|
|
|
pgsql = PgSQL.connect(host='/var/run/postgresql',
|
|
database='filtrage', user='crans')
|
|
curseur = pgsql.cursor()
|
|
|
|
###########################
|
|
# Statistiques d'upload : #
|
|
###########################
|
|
# Y a-t-il eu des récidivistes
|
|
|
|
|
|
# Liste des uploads :
|
|
#####################
|
|
requete = """SELECT ip_crans, sum(upload) AS somme, sum(download)
|
|
FROM upload
|
|
WHERE
|
|
date > timestamp 'now' - interval '1 day'
|
|
AND NOT EXISTS (
|
|
SELECT 1
|
|
FROM exemptes
|
|
WHERE
|
|
upload.ip_crans <<= exemptes.ip_crans
|
|
AND upload.ip_ext <<= exemptes.ip_dest
|
|
)
|
|
GROUP BY ip_crans
|
|
ORDER BY somme DESC"""
|
|
curseur.execute(requete)
|
|
liste_upload = tableau(data = [ (l[1], l[2], gethostname(str(l[0])))
|
|
for l in curseur.fetchall()
|
|
if int(l[1]) > 100*1024*1024
|
|
and str(l[0]) not in serveurs_ips ],
|
|
titre = ['upload', 'download', 'machine'],
|
|
largeur = [10, 10, 30],
|
|
format = ['o', 'o', 's'],
|
|
alignement = ['d', 'd', 'c']).encode('iso-8859-15')
|
|
|
|
|
|
# Traffic exempté :
|
|
###################
|
|
requete = """SELECT ip_crans, sum(upload) AS somme, sum(download)
|
|
FROM upload
|
|
WHERE
|
|
date > timestamp 'now' - interval '1 day'
|
|
AND EXISTS (
|
|
SELECT 1
|
|
FROM exemptes
|
|
WHERE
|
|
upload.ip_crans = exemptes.ip_crans
|
|
-- AND upload.ip_ext <<= exemptes.ip_dest
|
|
)
|
|
GROUP BY ip_crans
|
|
ORDER BY somme DESC"""
|
|
curseur.execute(requete)
|
|
liste_exemptes = tableau(data = [[l[1], l[2], gethostname(str(l[0]))]
|
|
for l in curseur.fetchall()],
|
|
titre = ['upload', 'download', 'machine'],
|
|
largeur = [10, 10, 30],
|
|
format = ['o', 'o', 's'],
|
|
alignement = ['d', 'd', 'c']).encode('iso-8859-15')
|
|
|
|
|
|
# Upload des serveurs :
|
|
#######################
|
|
liste_serveurs = []
|
|
for IP in serveurs_ips:
|
|
hostname = gethostname(IP)
|
|
requete = """SELECT sum(upload), sum(download)
|
|
FROM upload
|
|
WHERE
|
|
ip_crans='%s'
|
|
AND date > timestamp 'now' - interval '1 day' """ % IP
|
|
curseur.execute(requete)
|
|
traffic = curseur.fetchone()
|
|
# On ne compte pas le serveur si le traffic est petit
|
|
if traffic == [None, None] or traffic[0] + traffic[1] < 10*1024*1024:
|
|
continue
|
|
liste_serveurs.append([traffic[0], traffic[1], hostname])
|
|
|
|
liste_serveurs = tableau(data = liste_serveurs,
|
|
titre = ['upload','download','serveur'],
|
|
largeur = [10, 10, 30],
|
|
format = ['o','o','s'],
|
|
alignement = ['d','d','c']).encode('iso-8859-15')
|
|
|
|
|
|
# statistiques des gros uploads depuis les serveurs
|
|
###################################################
|
|
gros_uploads_des_serveurs = stats(ip_crans=serveurs_ips,
|
|
show=['ip_crans', 'ip_ext'], upload_mini=50,
|
|
show_limit=100).encode('iso-8859-15')
|
|
|
|
############################
|
|
# Statistiques virus/p2p : #
|
|
############################
|
|
|
|
# Machines actuellement déconnectées :
|
|
######################################
|
|
requete = "SELECT DISTINCT ip_crans FROM avertis_virus"
|
|
curseur.execute(requete)
|
|
infections = [ x[0] for x in curseur.fetchall() ]
|
|
liste_virus = []
|
|
for IP in infections:
|
|
hostname = gethostname(IP)
|
|
liste_virus.append(["%s" % (str(hostname))])
|
|
|
|
liste_virus = tableau(liste_virus,
|
|
titre=['machine'], largeur=[30]).encode('iso-8859-15')
|
|
|
|
# Machines ayant fait des attaques virus dans la journée :
|
|
##########################################################
|
|
requete = """SELECT * FROM (SELECT ip_src,count(ip_src) as compteur FROM virus
|
|
WHERE date > timestamp 'now' - interval '1 day'
|
|
GROUP BY ip_src ORDER BY compteur DESC)
|
|
AS tous
|
|
WHERE tous.compteur>'%s' LIMIT 30""" % config.virus.virus
|
|
curseur.execute(requete)
|
|
liste_virus2 = []
|
|
for IP, compteur in curseur.fetchall():
|
|
hostname = gethostname(IP)
|
|
liste_virus2.append([hostname, compteur])
|
|
liste_virus2 = tableau(data = liste_virus2,
|
|
titre = ['machine', 'nombre'],
|
|
largeur = [30, 12],
|
|
alignement = ['c', 'd']).encode('iso-8859-15')
|
|
|
|
|
|
# Machines ayant fait de attaques flood dans la journée :
|
|
#########################################################
|
|
requete = """SELECT * FROM (SELECT ip_src,count(ip_src) as compteur FROM flood
|
|
WHERE date > timestamp 'now' - interval '1 day'
|
|
GROUP BY ip_src ORDER BY compteur DESC)
|
|
AS tous
|
|
WHERE tous.compteur>'%s' LIMIT 30""" % config.virus.flood
|
|
curseur.execute(requete)
|
|
liste_virus3 = []
|
|
for IP, compteur in curseur.fetchall():
|
|
hostname = gethostname(IP)
|
|
liste_virus3.append([hostname, compteur])
|
|
liste_virus3 = tableau(data = liste_virus3,
|
|
titre = ['machine', 'nombre'],
|
|
largeur = [30, 12],
|
|
alignement = ['c', 'd']).encode('iso-8859-15')
|
|
|
|
|
|
# Machines ayant utilisé des protocoles P2P dans la journée :
|
|
#############################################################
|
|
requete = """SELECT ip_src, nom, compteur, max(date) FROM
|
|
(SELECT ip_src,nom,count(ip_src) as compteur
|
|
FROM p2p INNER JOIN protocole_p2p ON p2p.id_p2p=protocole_p2p.id_p2p
|
|
WHERE p2p.date > timestamp 'now' - interval '1 day'
|
|
GROUP BY ip_src,nom)
|
|
AS tous
|
|
LEFT JOIN
|
|
(SELECT * FROM avertis_p2p
|
|
WHERE date > timestamp 'now' - interval '1 day')
|
|
AS avertis
|
|
ON ip_src=ip_crans
|
|
WHERE tous.compteur>5
|
|
GROUP BY ip_src, nom, compteur
|
|
ORDER BY 3 DESC"""
|
|
curseur.execute(requete)
|
|
liste_p2p = []
|
|
for IP, protocole, compteur, blackliste in curseur.fetchall():
|
|
hostname = gethostname(IP)
|
|
# Le champ blackliste contient la date du blacklistage si il a eu lieu
|
|
if blackliste :
|
|
liste_p2p.append(['*%s*' % hostname,
|
|
'*%s*' % protocole,
|
|
'*%d*' % compteur,
|
|
'*%d*' % config.p2p.limite[protocole]])
|
|
else:
|
|
liste_p2p.append([hostname, protocole,
|
|
compteur, config.p2p.limite[protocole]])
|
|
|
|
liste_p2p = tableau(data = liste_p2p,
|
|
titre = ['machine', 'protocole', 'nombre', 'limite'],
|
|
largeur = [32, 14, 10, 8],
|
|
alignement = ['c', 'c', 'd', 'd']).encode('iso-8859-15')
|
|
|
|
|
|
|
|
#############
|
|
# Message : #
|
|
#############
|
|
|
|
expediteur = "disconnect@crans.org"
|
|
destinataire = "disconnect@crans.org"
|
|
message = """From: %(From)s
|
|
To: %(To)s
|
|
Subject: Statistiques des =?iso-8859-1?Q?derni=E8res?= 24h
|
|
Message-Id: <%(uuid)s1@crans.org>
|
|
Content-Type: text/plain; charset="iso-8859-15"
|
|
|
|
*Gros uploads des serveurs* (sila et sable sont exemptés totalement)
|
|
|
|
%(gros_uploads_des_serveurs)s
|
|
|
|
*Statistiques de traffic des serveurs*
|
|
|
|
%(liste_serveurs)s
|
|
|
|
*Machines actuellement déconnectées pour virus*
|
|
|
|
%(liste_virus)s
|
|
|
|
*Machines ayant commis des attaques virales dans la journée*
|
|
|
|
%(liste_virus2)s
|
|
|
|
*Machines ayant commis des attaques virales de type flood dans la journée*
|
|
|
|
%(liste_virus3)s
|
|
|
|
*Machines ayant utilisé des protocoles P2P durant la journée*
|
|
|
|
%(liste_p2p)s
|
|
|
|
*Statistiques de traffic des adhérents* (tout le traffic)
|
|
|
|
%(liste_upload)s
|
|
|
|
*Statistiques de traffic des adhérents exemptés* (juste le traffic exempté)
|
|
|
|
%(liste_exemptes)s
|
|
|
|
--
|
|
statistiques.py
|
|
"""
|
|
|
|
uuid = md5.md5(str(long(time.time() * 1000)) +
|
|
str(long(random.random()*100000000000000000L))).hexdigest()
|
|
corps = message % { 'From': expediteur,
|
|
'To': destinataire,
|
|
'uuid': uuid,
|
|
'gros_uploads_des_serveurs': gros_uploads_des_serveurs,
|
|
'liste_serveurs': liste_serveurs,
|
|
'liste_upload': liste_upload,
|
|
'liste_p2p': liste_p2p,
|
|
'liste_virus': liste_virus,
|
|
'liste_virus2': liste_virus2,
|
|
'liste_virus3': liste_virus3,
|
|
'liste_exemptes': liste_exemptes
|
|
}
|
|
|
|
mail = smtplib.SMTP('localhost')
|
|
mail.sendmail('disconnect@crans.org','disconnect@crans.org',corps)
|