SQUID & ICAP & ClamAV

Автор: lissyara.

Статья перемещена в архив, по причине, что это почти ни у кого не работает.
Если у вас заработает - отпишитесь в форум, вместе с настройками :)

   Встала ребром проблема вирусов, которые народ тащил из инета. Внутри локалки, на серваках, и на производительных машинах, стояли антивирусы, но на все машины поставить не было возможности - некоторые машины относительно слабые, на других по сети работали с большими файлами - и народ начинал буянить, когда по две-три минуты приходилось ждать открытия файла - с учётом того, что файл ещё и открывается столько же... Короче, идея была оставить антивири на серваках, и профильтровать всё, что попадает в локалку. С ftp и почтой проблемы не было - для этого был поставлен frox и проверка всей почты. C http всё оказалось несколько сложнее - под squid нашлось несколько решений, все через редиректор - что тоже не очень хорошо, ибо редиректор может быть только один - если я ставлю антивирус, то лишаюсь своей баннерорезалки (которая ещё и порнуху очень шикарно режет)... Плюс - у этих решений оказались и свои минусы - траффик прилично возрастал - инет нынче стал динамический, и многие страницы не кэшируются вообще...
   Гугление и яндексение дало ключевое слово - icap. В портах его не оказалось:


/usr/ports/>make search name='icap' /usr/ports/>

Чтож. Пока будем ставить антивирь, поищем icap и поконфигурим :) Антивирь - ClamAV:


/usr/home/lissyara/>cd /usr/ports/security/clamav /usr/ports/security/clamav/>make && make install && make clean

Выбираем следующие опции:


[ ] MILTER Compile the milter interface [X] CURL Support URL downloading [ ] LIBUNRAR Support for external Unrar library

CURL - можно не выбирать, я его выбрал с прицелом на своё будущее, а моё может отличаться от Вашего :) КОРОЧЕ, в данном случае он не нужен. Надо заметить, что ClamAV тащит за собой приличное чило всяких архиваторов (вернее будет сказать - разархиваторов.) - arc, lha, unarj, unrar, unzip, zoo... Также надо обновить БД антивируса:


/usr/local/etc/rc.d/>freshclam freshclam: Command not found. /usr/local/etc/rc.d/>rehash /usr/local/etc/rc.d/>freshclam ClamAV update process started at Sun Jan 22 00:57:53 2006 main.cvd is up to date (version: 35, sigs: 41649, f-level: 6, builder: tkojm) Downloading daily.cvd [*] daily.cvd updated (version: 1247, sigs: 849, f-level: 6, builder: sven) Database updated (42498 signatures) from database.clamav.net (IP: 62.181.41.8) ERROR: Clamd was NOT notified: Can't connect to clamd through /var/run/clamav/clamd connect(): No such file or directory /usr/local/etc/rc.d/>

clamd нам не нужен - icap работает сам по себе, без clamd, потому его не запускаем. Вообще, неплохо бы обновление засунуть в рутовый кронтаб, раза три-четыре в сутки.
icap берём отсюда. Распаковываем в `мусорную` папку и конфигурим со следующими параметрами:


/usr/home/lissyara/>ls -lah | grep icap -rw-r--r-- 1 lissyara wheel 385K 22 янв 15:43 c_icap-220505.tar.gz /usr/home/lissyara/>cd /tmp /tmp/>mkdir icap /tmp/>cd icap/ /tmp/icap/>cat /usr/home/lissyara/c_icap-220505.tar.gz | \ ? gunzip | tar --extract --file=- /tmp/icap/>ls -lah total 6 drwxr-xr-x 3 root wheel 512B 22 янв 15:53 . drwxrwxrwt 14 root wheel 1,0K 22 янв 15:52 .. drwxr-xr-x 7 500 squid 1,5K 22 май 2005 c_icap-220505 /tmp/icap/>cd c_icap-220505/ /tmp/icap/c_icap-220505/> /tmp/icap/c_icap-220505/>./configure --enable-static \ ? --with-clamav=/usr/local --prefix=/usr/local

После чего собираем, проверяем, что насобиралось и устанавливаем:


/tmp/icap/c_icap-220505/>make ........... ........... /tmp/icap/c_icap-220505/>make check Making check in . Making check in modules Making check in services Making check in echo Making check in sguard Making check in clamav /tmp/icap/c_icap-220505/>make && make install

После инсталляции копируем исходные конфиги, на вcякий случай:


/usr/local/etc/>ls | grep icap c-icap.conf c-icap.magic /usr/local/etc/>cp c-icap.conf c-icap.conf.default /usr/local/etc/>cp c-icap.magic c-icap.magic.default /usr/local/etc/>

И рихтуем кофиг с-icap до следующего состояния:
/usr/local/etc/c-icap.conf


PidFile /var/run/c-icap.pid Timeout 300 KeepAlive On MaxKeepAliveRequests 100 KeepAliveTimeout 600 StartServers 3 MaxServers 10 MinSpareThreads 10 MaxSpareThreads 20 ThreadsPerChild 10 MaxRequestsPerChild 0 Port 1344 User squid Group squid TmpDir /tmp MaxMemObject 131072 #ServerLog /var/log/icap-server.log #AccessLog /var/log/icap-access.log ModulesDir /usr/local/lib/c_icap/ Module logger sys_logger.so Module perl_handler perl_handler.so sys_logger.Prefix "icap" sys_logger.Facility local1 Logger sys_logger # надо признать - с acl`ами мне ничё толком сделать не # удалось - я хотел запретить всё кроме локалхоста, # но squid, к моему удивлению, ломится с адреса 0.0.0.0 # поэтому придётся 1344 порт прикрыть файрволлом acl squid_respmod src 0.0.0.0 type respmod icap_access allow squid_respmod ServicesDir /usr/local/lib/c_icap Service echo_module srv_echo.so Service squard_module srv_sguard.so Service antivirus_module srv_clamav.so srv_clamav.ScanFileTypes TEXT DATA EXECUTABLE ARCHIVE GIF JPEG MSOFFICE srv_clamav.SendPercentData 5 srv_clamav.StartSendPercentDataAfter 2M srv_clamav.MaxObjectSize 5M srv_clamav.ClamAvMaxFilesInArchive 0 srv_clamav.ClamAvMaxFileSizeInArchive 100M srv_clamav.ClamAvMaxRecLevel 5 # следующеи строки - это когда похоже на режим какого-то # `виралатора` - поюзал, непонравилось... #srv_clamav.VirSaveDir /usr/local/squid/infected/ #srv_clamav.VirHTTPServer "http://192.168.254.254/" #srv_clamav.VirUpdateTime 15 #srv_clamav.VirScanFileTypes ARCHIVE EXECUTABLE

После чего создаём нужные директории и даём на них права пользователю, от которого будет работать icap:


/usr/local/etc/>mkdir -p /usr/local/squid/infected/ /usr/local/etc/>chown -R squid:squid /usr/local/squid/infected /usr/local/etc/>

Также добавляем такие строки в /etc/syslog.conf по необходимости (логов довольно много получается):


# c-icap *.local1 /var/log/c-icap.log

После чего можно запускать icap (эти ключи для отладки, обычный запуск без них), после чего проверяем - запустился ли он.


/usr/local/etc/>/usr/local/bin/c-icap -d 1 -D Setting parameter :PidFile=/var/run/c-icap.pid Setting parameter :Timeout=300 Setting parameter :KeepAliveTimeout=600 Setting parameter :StartServers=3 Setting parameter :MaxServers=10 Setting parameter :MinSpareThreads=10 Setting parameter :MaxSpareThreads=20 Setting parameter :ThreadsPerChild=10 Setting parameter :Port=1344 Setting parameter :User=squid Setting parameter :Group=squid Setting parameter :TmpDir=/tmp Setting parameter :MaxMemObject=131072 Setting parameter :ServerLog=/var/log/icap-server.log Setting parameter :AccessLog=/var/log/icap-access.log Setting parameter :ModulesDir=/usr/local/lib/c_icap/ Loading service :logger path sys_logger.so Loading service :perl_handler path perl_handler.so Uknown type of module:perl_handler Error loading service Going to search variable Prefix in table sys_logger Setting parameter :Prefix=C-ICAP: Going to search variable Facility in table sys_logger Setting parameter :Logger=sys_logger Setting parameter :ServicesDir=/usr/local/lib/c_icap Loading service :echo_module path srv_echo.so Found handler C_handler for service with extension:.so Initialization of echo module...... Loading service :squard_module path srv_sguard.so Found handler C_handler for service with extension:.so Initialization of sguard module...... Loading service :antivirus_module path srv_clamav.so Found handler C_handler for service with extension:.so Going to search variable ScanFileTypes in table srv_clamav Going to search variable SendPercentData in table srv_clamav Setting parameter :SendPercentData=5 Going to search variable StartSendPercentDataAfter in table srv_clamav Setting parameter :StartSendPercentDataAfter=2097152 Going to search variable MaxObjectSize in table srv_clamav Setting parameter :MaxObjectSize=5242880 Going to search variable ClamAvMaxFilesInArchive in table srv_clamav Setting parameter :ClamAvMaxFilesInArchive=0 Going to search variable ClamAvMaxFileSizeInArchive in table srv_clamav Setting parameter :ClamAvMaxFileSizeInArchive=104857600 Going to search variable ClamAvMaxRecLevel in table srv_clamav Setting parameter :ClamAvMaxRecLevel=5 Going to search variable VirSaveDir in table srv_clamav Setting parameter :VirSaveDir=/usr/local/squid/infected/ Going to search variable VirHTTPServer in table srv_clamav Setting parameter :VirHTTPServer=http://192.168.254.254/infected.php Going to search variable VirUpdateTime in table srv_clamav Setting parameter :VirUpdateTime=15 Going to search variable VirScanFileTypes in table srv_clamav /usr/local/etc/> /usr/local/etc/> /usr/local/etc/>sockstat | grep icap squid c-icap 33144 3 tcp4 *:1344 *:* squid c-icap 33144 4 dgram -> /var/run/logpriv squid c-icap 33143 3 tcp4 *:1344 *:* squid c-icap 33143 4 dgram -> /var/run/logpriv squid c-icap 33142 3 tcp4 *:1344 *:* squid c-icap 33142 4 dgram -> /var/run/logpriv squid c-icap 33141 3 tcp4 *:1344 *:* squid c-icap 33141 4 dgram -> /var/run/logpriv /usr/local/etc/>

Если почему-то не запустился, то неплохо поставить уровень отладки 10, для максимума подробностей, тогда всё встанет на свои места.
   После этого ставим squid из портов:


/usr/local/etc/>cd /usr/ports/www/squid /usr/ports/www/squid/>make && make install && make clean

В окошке выбираем следующие опции (если пересобираете - то перед этим надо запустить `make config` - иначе окошка не будет и он соберётся с прежними опциями):


[ ] SQUID_LDAP_AUTH Install LDAP authentication helpers [X] SQUID_DELAY_POOLS Enable delay pools [ ] SQUID_SNMP Enable SNMP support [ ] SQUID_CARP Enable CARP support [ ] SQUID_SSL Enable SSL support for reverse proxies [ ] SQUID_PINGER Install the icmp helper [ ] SQUID_DNS_HELPER Use the old 'dnsserver' helper [ ] SQUID_HTCP Enable HTCP support [ ] SQUID_VIA_DB Enable forward/via database [ ] SQUID_CACHE_DIGESTS Enable cache digests [ ] SQUID_WCCP Enable Web Cache Coordination Protocol [X] SQUID_UNDERSCORES Allow underscores in hostnames [X] SQUID_CHECK_HOSTNAME Do hostname checking [ ] SQUID_STRICT_HTTP Be strictly HTTP compliant [X] SQUID_IDENT Enable ident (RFC 931) lookups [ ] SQUID_USERAGENT_LOG Enable User-Agent-header logging [ ] SQUID_ARP_ACL Enable ACLs based on ethernet address [ ] SQUID_PF Enable transparent proxying with PF [ ] SQUID_IPFILTER Enable transp. proxying with IPFilter [ ] SQUID_FOLLOW_XFF Follow X-Forwarded-For headers [X] SQUID_ICAP Enable ICAP client functionality [ ] SQUID_AUFS Enable the aufs storage scheme [ ] SQUID_COSS Enable the COSS storage scheme [ ] SQUID_LARGEFILE Support log and cache files >2GB [ ] SQUID_STACKTRACES Create backtraces on fatal errors [X] SQUID_RCNG Install an rcNG startup script

После установки, рихтуем конфиг сквида:
/usr/local/etc/squid/squid.conf


http_port 3128 icp_port 0 hierarchy_stoplist cgi-bin ? acl QUERY urlpath_regex cgi-bin \? no_cache deny QUERY cache_mem 32 MB maximum_object_size 8092 KB maximum_object_size_in_memory 512 KB cache_dir ufs /usr/local/squid/cache 1024 16 64 cache_access_log /var/log/squid/access.log cache_log /var/log/squid/cache.log cache_store_log /var/log/squid/store.log cache_mgr lissyara@lissyara.int.otradno.ru visible_hostname lissyara.int.otradno.ru tcp_outgoing_address 10.21.64.215 refresh_pattern ^ftp: 1440 20% 10080 refresh_pattern ^gopher: 1440 0% 1440 refresh_pattern . 0 20% 4320 icap_enable on icap_preview_enable on icap_preview_size 128 icap_send_client_ip on acl all src 0.0.0.0/0.0.0.0 acl localhost src 127.0.0.0/8 acl our_networks src 192.168.254.0/24 http_access allow our_networks http_access allow localhost http_access deny all icap_service service_1 reqmod_precache 0 icap://localhost:1344/srv_clamav icap_service service_2 respmod_precache 1 icap://localhost:1344/srv_clamav icap_class class_antivirus service_2 service_1 icap_access class_antivirus allow all httpd_accel_host virtual httpd_accel_port 80 httpd_accel_uses_host_header on coredump_dir /usr/local/squid/cache pid_filename /usr/local/squid/logs/squid.pid

Для автоматического запуска icap пишем следующий скриптик:
/usr/local/etc/rc.d/icap.sh


#!/bin/sh case "$1" in start) if [ -f /var/run/c-icap.pid ] then echo "Сервер ICAP уже запущщен!" echo "" else /usr/local/bin/c-icap echo -n "Сервер ICAP запущщен!" echo "" fi ;; stop) if [ -f /var/run/c-icap.pid ] then kill -TERM `cat /var/run/c-icap.pid` rm -f /var/run/c-icap.pid echo -n "Сервер ICAP остановлен!" echo "" else echo "Сервер ICAP не запущен!" echo "" fi ;; restart) if [ -f /var/run/c-icap.pid ] then kill -HUP `cat /var/run/c-icap.pid` echo "Сервер ICAP перезапущщен!" echo "" fi ;; *) echo "Использование: ${0##*/}: { start | stop | restart }" >&2 echo "" exit 64 ;; esac

   Вот и всё. Должно работать. Если не взлетело - пробуем всё в отладочном режиме. Для проверки пройдут ли вирусы - можно сходить сюда, и попробовать скачать файлики, что предложены - в них тестовый вирус. Если всё пучком - вылезет страничка про то, что найден вирус :)
   Также надо заметить, что решение это весьма красивое - позволяет строить проверку как на прозрачном, так и на непрозрачном прокси - но при этом достаточно ресурсоёмкое - на тестовой машине (AMD K6-II 450 MHz, 256RAM) уходило 50-60% ресурсов хотя линия у меня дома 160кб и юзер я один. На работе на 2GHz P-IV об 1 гектаре ОЗУ на 8 мегабитной линии, при 30 пользователях тормозов не видно (хотя, все 30 одновременно в инет не лезут)...
   На `бис` рашил развлечься - русифицировать то сообщение что вылазиет, про вирус - которое врезано намертво в код. Для этого рихтуем строки в файле (в исходниках):
services/clamav/srv_clamav_vir.c


char *e_message="<H1>A VIRUS FOUND</H1>"\ "You try to upload/download a file that contain the virus<br>"; char *t_message="<p>This message generated by C-ICAP srvClamAV/antivirus module"; const char *msg="<p>Your file was saved as<b>:"; const char *msg2="</b><p>Ask your administration for info how to get it";

на такие, например:


char *e_message="<HTML>\n<HEAD>\n<TITLE>В запрошенной странице содержался вирус "\ "-> доступ запрещщён.</TITLE>\n<META http-equiv=\"Content-Type\""\ " content=\"text/html;charset=koi8-r\">\n"\ "</HEAD>\n<BODY>\n<br>\n<H1>"\ "В запрошенной странице содержался вирус!</H1><br>\n\n"\ "Вы попытались зайти на страницу содержавшую вирус:<br><b>"; char *t_message="</b><br><p>Это сообщение автоматически сгенерированно сервером."\ " Модуль: \"C-ICAP srvClamAV/antivirus module\""; const char *msg="\n<p>Запрошенный Вами файл сохранён как:<b>"; const char *msg2="</b>\n\n<p>Если он Вам действительно нужен - "\ "спросите системного администратора, как его получить."\ "\n\n<BODY>\n<HTML>\n";

И в файле services/clamav/srv_clamav.c


char *error_message="<H1>A VIRUS FOUND</H1>"\ "You try to upload/download a file that"\ "contain the virus<br>"; char *tail_message="<p>This message generated by C-ICAP "\ "srvClamAV/antivirus module";

на такие:


char *error_message="<HTML>\n<HEAD>\n<TITLE>В запрошенной странице"\ " содержался вирус "\ "-> доступ запрещщён.</TITLE>\n<META http-equiv=\"Content-Type\""\ " content=\"text/html;charset=koi8-r\">\n"\ "</HEAD>\n<BODY>\n<br>\n<H1>"\ "В запрошенной странице содержался вирус!</H1><br>\n\n"\ "Вы попытались зайти на страницу содержавшую вирус.<br>"; char *tail_message="<br><p>Это сообщение автоматически сгенерированно сервером."\ " Модуль: \"C-ICAP srvClamAV/antivirus module\"\n</BODY>\n</HTML>";

После чего пересобираем, и переставляем icap.
   
   Баги, что нашёл (или мои кривые руки): вирусы вида *.com и *.txt не находил до перезагрузки машины... Почему - не знаю. Зато архивы находил... После ребута - всё встало на свои места. Всё находит.
   Также баг - неверно определяется ось (в FreeBSD4.11, в 6-ке всё нормально), в итоге приходится править несколько файлов руками, т.к. фрёвый gcc работает несколько иначе, чем в линухах - вылетает ошибка

/usr/libexec/elf/ld: cannot find -lpthread

И приходится шуршать по всем файлам (предварительно сделав `make clean`) и заменять
-lpthread на -pthread. Файлов немного - штуки 4, и в двух не в одном месте а паре - итого 6 раз.
   Из той же оперы (и тоже в 4.11!):


/usr/libexec/elf/ld: cannot find -lgdbm

Лечится точно также как и в предыдущем случае, только мест побольше. Также оно должно стоять (может у Вас просто не установлена):


/usr/ports/>cd /usr/ports/databases/gdbm /usr/ports/databases/gdbm/>make && make install && make clean

Надо также заметить, что если на машине включен режим эмуляции линуха - третьей ошибки не будет.

P.S. c-icap появился в портах.


/usr/ports/>make search name='icap' Port: c-icap-220505 Path: /usr/ports/www/c-icap Info: An implementation of an ICAP server Maint: b3k@mail.ru B-deps: libtool-1.5.22_2 R-deps: WWW: http://www.chtsanti.net/c-icap /usr/ports/>

На данный момент (2006-03-28) порт собран неправильно, там на весь каталог /var/log даётся команда по смене пользователя, да ещё и рекурсивно :). Поэтому перед установкой правим файл /usr/ports/www/c-icap/files/pkg-install.in на предмет закомментить такую строку:


chown -R "$CICAP_USER:$CICAP_GROUP" "$LOG_PATH" || exit 1

Надо просто поставить перед ней решётку, она третья снизу. При установке ставим крестик про ClamAV (он по дефолту уже стоит), и всё. Запускается с теми же настройками, что и в статье. На данный момент уже вышла следующая версия сквида с поддержкой icap - 2.5.STABLE13, с ней эта связка работает более стабильно.


размещено: 2006-01-22,
последнее обновление: 2008-07-09,
автор: lissyara

  Этот информационный блок появился по той простой причине, что многие считают нормальным, брать чужую информацию не уведомляя автора (что не так страшно), и не оставляя линк на оригинал и автора — что более существенно. Я не против распространения информации — только за. Только условие простое — извольте подписывать автора, и оставлять линк на оригинальную страницу в виде прямой, активной, нескриптовой, незакрытой от индексирования, и не запрещенной для следования роботов ссылки.
  Если соизволите поставить автора в известность — то вообще почёт вам и уважение.

© lissyara 2006-10-24 08:47 MSK