DSPAM extension to exim

Автор: lissyara.

    lissyara: Статья не моя, прислал - Виталий Захаров (aka ded3axap). То, что внизу и в новостях указано, что она моя - недоработка движка сайта, на днях поправлю.

   Рассмотрим добавление в почтовую систему контетсный байес-фильтр DSPAM. Скорость работы DSPAM значительно превосходит скорость работы популярного фильтра SPAMASASSIN, что позволяет использовать его на высоконагруженных системах и на серверах провайдеров.
   Как и любой байесов фильтр, он разбивает каждое письмо на отдельные сегменты и запоминает хеш этих сегментов (которые называет token'ами). Каждому из них он присваеивает определенный "спамовый" или "не спамовый" весовой коэффициент. "Взвешивая" отдельные компоненты письма, фильтр определяет общий "спамовый" коэффициент всего сообщения. Такой принцип работы позволяет, например, определять спам с мусорными "вкраплениями" (например строки, подобные "гчсмрчсм муа удклцуап цуфыв мотыва" в теле письма).
   Система умеет обучаться, используя механизм "обратной связи" с пользователем. Т.е. письма, неправильно классифицированные системой, можно вернуть назад для того, чтобы DSPAM изменил свои правила фильтрации (переназначил весовые коэффициенты для token'ов этого письма). Это важная возможность программы. Ни в коем случае не следует ей пренебрегать.
   Наиболее эффективное использование этой программы - в качестве второго фильтра. Первичный "грубый" отсев стоит проводить самим MTA Exim, благо он обладает широкими возможностями фильтрации.
   Спам, определенный фильтром уничтожать не планируется. Он складывается в отдельную папку, доступную по IMAP. Похожий механизм используется, например, Яндексом.
   Программа умеет использовать все популярные СУБД для хранения token'ов и работы с ними (включая даже СУБД Oracle), а также может хранить данные в файлах в собственном формате.
   Мы рассмотрим установку программы в варианте с СУБД Mysql и файловым хранилищем в качестве резервного варианта. Операционная система, в которой производится установка - FreeBSD (5.x, 6.x). В системе уже установлен Exim и Mysql.
   Следует отметить, что каждому пользователю будет создаваться отдельное хранилище, т.е. обработка спама для каждого пользователя происходит по индивидуальным правилам. Это гораздо лучше с точки зрения точности определения спама, однако более ресурсоемко.
   Пользователи, не накопившие собственную статистическую базу, некоторое время используют "стандартную" базу, обучаемую администратором.

   Установку программы производим из портов:


# cd /usr/port/mail/dspam # make -s install clean

   В появившемся окошке конфигуратора выбираем следующие опции:


[X] SYSLOG Logs via syslog [X] DEBUG Enable debugging logging

   Вот тут стоит поставить галочку напротив версии установленной СУБД. В моем случае - MySQL 4.1


[X] MYSQL41 Use MySQL 4.1.x as back-end [X] MYSQL_COMPRESS Compress dspam <--> MySQL [X] HASH Use hash driver [X] VIRT_USERS Enable virtual users (needs SQL back-end !необязательно!) [X] LONG_USERNAMES Usernames longer that OS supports [X] EXIM_LDA Use Exim as local delivery agent

после завершения установки необходимо создать базу данных, в которой DSPAM будет хранить списки пользователей и статистические данные (токены и их параметры) и пользователя, который будет получать доступ к ним:


# mysql mysql> create database dspam; mysql> grant all on dspam.* to dspam@'localhost' identified by 'SECRET'; mysql> flush privileges;

   Теперь надо создать структуру таблиц БД. Для этого в состав пакета входят
дампы пустых таблиц базы. Загрузить их можно так:


# mysql -h localhost -u dspam -pSECRET dspam < /usr/local/share/examples/dspam/mysql/mysql_objects-speed.sql # mysql -h localhost -u dspam -pSECRET dspam < /usr/local/share/examples/dspam/mysql/virtual_users.sql

   Если выскакивают ошибки, скорее всего проблема в правах доступа к БД.
   Теперь создаем конфигурационный файл для самого DSPAM:


# vi /usr/local/etc/dspam.conf Home /var/db/dspam StorageDriver /usr/local/lib/libmysql_drv.so #StorageDriver /usr/local/lib/libhash_drv.so TrustedDeliveryAgent "/usr/local/sbin/exim -oMr spam-scanned" OnFail error Trust root Trust mail Trust mailnull TrainingMode teft TestConditionalTraining on Feature chained noise Algorithm graham burton PValue graham Preference "signatureLocation=headers" Preference "showFactors=on" Preference "spamAction=tag" Preference "spamSubject=SPAM" AllowOverride trainingMode AllowOverride spamAction spamSubject AllowOverride statisticalSedation AllowOverride enableBNR AllowOverride enableWhitelist AllowOverride signatureLocation AllowOverride showFactors AllowOverride optIn optOut AllowOverride whitelistThreshold MySQLServer localhost MySQLPort 3306 MySQLUser dspam MySQLPass SECRET MySQLDb dspam MySQLConnectionCache 1000 HashRecMax 98317 HashAutoExtend on HashMaxExtents 0 HashExtentSize 49157 HashMaxSeek 100 HashConnectionCache 100 IgnoreHeader X-Spam-Status IgnoreHeader X-Spam-Score IgnoreHeader X-Spam-Scanned IgnoreHeader X-Virus-Scanner-Result IgnoreHeader Date IgnoreHeader Envelope-to IgnoreHeader Delivery-date IgnoreHeader Received IgnoreHeader User-Agent IgnoreHeader Content-Type IgnoreHeader Content-Transfer-Encoding IgnoreHeader To Notifications off LocalMX 127.0.0.1 SystemLog on Opt out MaxMessageSize 200000 ProcessorBias on

   Теперь создаем "классификационного" пользователя. Его база будет использоваться пока пользователь не накопит базу из 1000 "не спамовых" писем или 250 "спамовых". Также фильтр обращается сюда за дополнительными данными, когда затрудняется в точной классификации почтового сообщения.
   К обучению фильтра данного пользователя надо относиться очень осторожно, т.к. каждый реальный пользователь в начале видит результаты работы именно этого набора правил.
   Обучать этот базовый фильтр должен только администратор почтовой системы. Создание пользователя предельно простое. Создаем файл


# vi /var/db/dspam/group

#Содержимое его такое:
primary:classification:local_part@domain.com
[/code]    На этом настройка DSPAM закончена. Проверить его работу можно так:


/usr/local/bin/dspam --debug --deliver=innocent --user local_part@domain.com -- %u < spam.txt

   В spam.txt укладываем какое-нибудь спамовое письмо целиком (со всеми заголовками, как оно лежит, например в mailbox'е). Если все хорошо, то в /var/log/dspam/dspam.debug появится что-либо похожее на:


[...] 71997: [12/10/2006 17:32:12] saving signature as 457c1a6c719975209328925 71997: [12/10/2006 17:32:12] libdspam returned probability of 0.013219 71997: [12/10/2006 17:32:12] message result: NOT SPAM 71997: [12/10/2006 17:32:12] delivering message 71997: [12/10/2006 17:32:12] Opening pipe to LDA: /usr/local/sbin/exim -oMr spam-scanned local_part@domain.com 71997: [12/10/2006 17:32:12] LDA returned success 71997: [12/10/2006 17:32:12] DSPAM Instance Shutdown. Exit Code: 0

Что-то в логе не так?
DSPAM пишед "bailing"?
Значед четаем все многа букаф сначала. :-)
Бессымысленно переходить к следующему разделу без нормально настроенного DSPAM.
   Если проблем нет и DSPAM в сообщает в логе о том, что нормально обрабатывает письма, то начинаем встраивать его вызовы в конфигурацию Exim:
   В роутеры надо добавить обработчики для проверки писем DSPAM'ом, а также для обучения системы. Для роутеров ОЧЕНЬ важен порядок их вызова. Внимательно читаем конфигурацию 3 раза и определяем куда будем втыкать вызовы DSPAM для обработки писем. Я как мог, постарался указать расположения важных для почтовой системы роутеров. Так что все просто.
   Мулька в том, что мы перед этим выпьем по 2 пузыря. (с) :-)


dspam_addspam_router: driver = accept domains = +local_domains local_part_prefix = spam- transport = dspam_addspam_transport dspam_notspam_router: driver = accept domains = +local_domains local_part_prefix = notspam- transport = dspam_notspam_transport #DNSLOOKUP_ROUTER можно взять из конфы Лиссяры. #SYSTEM/VIRTUAL_ALIASES_ROUTERS также можно взять оттуда. dspam_spamscan_router: driver = accept domains = +local_domains no_verify condition = "${if and {{!eq {$received_protocol}{spam-scanned}} \ {!eq {$received_protocol}{local}} } {1}{0}}" transport = dspam_spamcheck_transport require_files = /usr/local/bin/dspam address_test = false local_delivery_spam_router: driver = accept domains = +local_domains condition = ${if match{$h_X-DSPAM-Result:}{Spam}} transport = local_delivery_spam_transport no_more #LOCAL_DELIVERY_ROUTER можно взять из конфы Лиссяры. Там это - dovecot_user.

   С транспортами попроще. Порядок их расположения не важен. Просто копируем это в секцию transports:


dspam_addspam_transport: driver = pipe command = "/usr/local/bin/dspam --user \ $local_part@$domain --class=spam --source=error" return_path_add = false return_fail_output = true log_output = true home_directory = "/var/db/dspam" current_directory = "/var/db/dspam" user = mailnull group = mail dspam_notspam_transport: driver = pipe command = "/usr/local/bin/dspam --user \ $local_part@$domain --class=innocent \ --source=error --deliver=innocent %u" return_path_add = false return_fail_output = true log_output = true home_directory = "/var/db/dspam" current_directory = "/var/db/dspam" user = mailnull group = mail dspam_spamcheck_transport: driver = pipe command = /usr/local/bin/dspam --deliver=innocent \ --user "$local_part@$domain" -- %u user = mailnull group = mail return_path_add = false log_output = true return_fail_output = true headers_remove = X-DSPAM-Result # Тут создается специальная папка, доступная пользователю по IMAP, # куда складывается помеченный спам для # последующего осмотра и разбора. local_delivery_spam_transport: driver = pipe command = /usr/local/libexec/dovecot/deliver -d \ $local_part@$domain -m INBOX.Spam message_prefix = message_suffix = delivery_date_add envelope_to_add return_path_add

   Для того, чтобы сообщить системе о пропущенном спаме пользователю следует переслать (Forward as attachment) это письмо на адрес spam-имя_юзера@домен.
   Чтобы сообщить о ложном срабатывании фильтра, пользователю следует переслать (Forward as attachment) это письмо на адрес notspam-имя_юзера@домен.
   Пытаться "захламить" (poison) базы данных пользователей мусором бесполезно. Переобучение происходит только в том случае, если письмо содержит верную неустаревшую сигнатуру.
   Настоятельно рекомендую почитать документацию по Exim (/usr/local/share/doc/exim) и по DSPAM (/usr/local/share/doc/dspam/). Хотя бы для того, чтобы узнать, каким образом база очищается от устаревших
token'ов. :-)

ЗЫ. Лиссяра, у тебя в мануале косяг, в конфе экзима. У тебя роутер dnslookup идет раньше system_aliases, а значит форвард писем вовне пойдет с большой задержкой (он перепишет адрес, а потом положит в очередь, т.к. отправить сразу не сможет).


  Этот информационный блок появился по той простой причине, что многие считают нормальным, брать чужую информацию не уведомляя автора (что не так страшно), и не оставляя линк на оригинал и автора — что более существенно. Я не против распространения информации — только за. Только условие простое — извольте подписывать автора, и оставлять линк на оригинальную страницу в виде прямой, активной, нескриптовой, незакрытой от индексирования, и не запрещенной для следования роботов ссылки.
  Если соизволите поставить автора в известность — то вообще почёт вам и уважение.

© lissyara 2006-10-24 08:47 MSK