|
www.lissyara.su
—> статьи
—> FreeBSD
—> подсчёт трафика
—> ntop 4.10
Установка ntop 4.1 на FreeBSD 8.2
Автор: roygbiv.
Статья обновлена 21.11.11.
Задача: собрать сервер для анализа IP трафика в сети. Иметь возможность вылавливать и анализировать NetFlow v5/v7/v9 статистику с Cisco-маршрутизатора/маршрутизирующего коммутатора внутри LAN.
Необходимость возникла из-за незнания "предпочтений" пользователей, и невозможности регулировать аппетиты "топперов" без диаграмм загрузки сети определёнными хостами.
До этого была настроена flow-tools+flowscan+cflowd статистика, которая ловила mirror (SPAN-порт) с главного маршрутизатора и превращала всё в NetFlow анализируемые пакеты, но захотелось опробовать стандарт-де-факто для IP - Cisco NetFlow.
Ожидаемый результат: с помощью данного решения есть возможность без особых трудностей и напряжения серого вещества, да ещё и доступными средствами,
собирать и анализировать статистику сети на простейшем оборудовании (любой свитч с mirroring'ом всех портов на один), и строить наглядные графики и таблички
"кто-откуда, когда и сколько" и главное БЕСПЛАТНО, доступными инструментами. Однако, это решение не позволит вам без доп.знаний СОХРАНЯТЬ статистику. Если вам нужно импортировать данные,
нужно будет написать скрипты (поддерживается импорт в perl,php и прочее) либо использовать другое решение.
Данная система отображает текущее состояние нагрузки сети, а история в таблицах будет жить только до первого перезапуска. Сохраняются только графики RRD-tool.
Мне больше от неё и не надо было, т.к. остальное делает вышеуказанная связка flow-tools+flowscan (где посмотреть:1 и 2).
Решение не абсолютное, и использованию подлежит лишь в тех случаях, когда сетевой отдел либо единица управления сетью (в виде ленивого админа)
не располагает средствами для покупки как дорогих программных, так и аппаратных решений для анализа трафика и ему нужны графические красивые отчёты для шефа.
Структура реализации: Cisco коммутатор/маршрутизатор ядра, посылающий NetFlow трафик трафик сети на выделенный сервер с предустановленной ОС FreeBSD и утилитой ntop.
О ntop и его модулях далее пойдёт речь.
Данная статья рассчитана на начинающих администраторов. Принимаются конструктивы и замечания по ошибкам. Описания настройки Ntop под FreeBSD в сети до сих пор на русском я не видел.
То, что здесь описано, у меня работает.
_________________________________________
Оф. сайт программы - http://www.ntop.org/
ntop - это мощный и детально конфигурируемый инструмент для мониторинга сетей и выявления неполадок, а так же превышений использования канала, перегрузок.
Распространяется свободно по лицензии GPL, v2 (и поздние).
Возможно управление из командной строки, а так же использование встроенного веб-сервера (умеет ssl).
ntop использует libcap (т.е. сильно грузит CPU для обработки трафика), так что заранее выбирайте сервер помощнее (мой был P4 D 3GHz, 3200MB RAM - обычный desktop с доп.ОЗУ). Нагрузка с ~250 хостов составляет порядка 3-5%.
last pid: 73028; load averages: 0.13, 0.15, 0.08 up 7+00:08:19 15:48:43
74 processes: 1 running, 73 sleeping
CPU: 0.0% user, 0.0% nice, 0.4% system, 0.2% interrupt, 99.4% idle
Mem: 292M Active, 603M Inact, 188M Wired, 212K Cache, 112M Buf, 915M Free
Swap: 4038M Total, 4038M Free
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
1070 ntop 11 44 0 181M 149M nanslp 1 276:58 3.96% ntop
| Описание возможностей 4.10 версии ( http://www.ntop.org/overview.html ):
* Сортировка трафика по протоколам (IP: TCP, UDP, ICMP; GRE, IPSEC и др.)
* Возможность сортировки данных о трафике по множеству критериев
* Отображение сетевой статистики (данные о трафике)
* Хранение данных в формате RRD (Round Robin Tool) - это единственный встроенный способ _сохранять_ данные ntop
* Распознавание особенностей (напр. почтовые адреса) пользователей
* Пассивное (т.е. без посылки пакетов-запросов) распознавание типов ОС компьютеров
* Отображение распределения IP трафика по протоколам
* Анализ IP трафика и сортировка по источнику/месту назначения
* Отображение структуры (сеть/маска) и направления IP трафика в виде схем (кто с кем обменивается?)
* Возможность работы в режиме NetFlow/sFlow коллектора для приёма потоков, генерируемых роутерами (Cisco, Juniper) или коммутаторами (Foundry Networks)
* Генерация статистики обмена сетевым трафиком в RMON-подобном формате.
Перед установкой ntop можно произвести оптимизацию FreeBSD для обработки мощных потоков из сети командой sysctl. Мой файл:
net.inet.tcp.rfc1323=1
kern.ipc.maxsockbuf=16777216
net.inet.tcp.sendspace=1048576
net.inet.ip.intr_queue_maxlen=1000
net.inet.ip.dummynet.hash_size=256
kern.ipc.maxsockbuf=900000000
net.inet.tcp.sendspace=300000000
net.inet.tcp.recvspace=300000000
net.inet.udp.recvspace=300000000
net.inet.tcp.recvspace=1048576
| Установку сенсора/коллектора ntop 4.10 будем производить из портов, как все лентяи.
Символ \ по ходу прозы - переход на следующую строку (для самых внимательных): если такой встретите, объединяйте весь текст в одну при копировании.
Если не обновляли давно порты:
далее, после муторного ожидания ищем пакет ntop:
whereis ntop
ntop: /usr/ports/net/ntop
|
Идём в директорию и собираем пакет, но не делайте make clean! Нам кое-что понадобится из исходников.
|
cd /usr/ports/net/ntop && make install
|
[X] LOCALE Включить поддержку локализаций (i18n) - интернациональных языков.
[ ] PCAP_PORT Использовать libcap из портов, а не встроенный в ядро.
[X] XMLDUMP Включить поддержку дампа в XML-формате.
| После установки, идём в /usr/ports/net/ntop/work/ntop-4.1.0/packages/FreeBSD-ports/net/ntop/files и достаём оттуда sample-config (ntop.conf.sample):
cp /usr/ports/net/ntop/work/ntop-4.1.0/packages/FreeBSD-ports\
/net/ntop/files/ntop.conf.sample /usr/local/etc/ntop/ntop.conf
|
Если вы всё-таки сделали clean, тогда из папки /usr/ports/net/ntop/ запустите:
Меняем права на конфигурационный файл ntop, а то он какой-то исполняемый, что не есть правильно:
|
chmod -x /usr/local/etc/ntop/ntop.conf
|
Теперь необходимо проделать операцию создания каталога для хранения данных ntop.
Для этого необходимо создать пользователя (используйте интерактивный # adduser) с ограниченными правами и доступом к выбранной вами папки.
У меня он такой:
cat /etc/passwd | grep ntop
ntop:*:2001:2001:ntop manager:/data/netflow/ntop_db:/usr/sbin/nologin
|
Изменим владельца каталога:
|
chown -R ntop:ntop /data/netflow/ntop_db
|
Правим конфигурационный файл ntop на своё усмотрение, приведу свой конфиг:
|
cat /usr/local/etc/ntop/ntop.conf
|
# под кем запускать демон
--user ntop
# Work around for FreeBSD problem with userland threads -
# appears to hang the web server.
# Этот патч у меня не работает, выдаёт ошибку, закомментировал.
#--set-pcap-nonblock
# путь к БД - дампам с libcap и rrd-графикам.
--db-file-path /data/netflow/ntop_db
# на каком сетевом интерфейсе слушать (сюда приходит весь NetFlow-трафик)
--interface xl0
# если интерфейсов больше, перечисление через запятую: --interface rl0,rl1,rl2
# отключить "доверие" MAC-адресам, в случае >
# когда у нас данные идут с mirror (SPAN) интерфейса активного оборудования
--no-mac
# логи идут не на экран терминала (stdout, по умолчанию), а в syslog.
# В версии ntop 4.10 логирование идёт сразу в
# /var/log/messages без этой настройки - отключаем.
# --use-syslog=local3
# Указывает ntop отлавливать данные только о локальных адресах (сабнетах),
# которые указаны опцией --local-subnets option
#--track-local-hosts
# на каком порту слушает встроенный веб-сервер >
# (можно ещё --https-3001 вместе с http,
# сертификат здесь - /usr/local/etc/ntop/ntop-cert.pem )
--http-server 3000
# в версии 4.10 при наличии двух и более интерфейсов ntop не захотел поднимать
# сервер без точного указания IP, для этого пропишите (пример):
# --http-server 192.168.1.1:3000
# помогаем программе определить что считать локальным
# трафиком (внутренняя сеть будет обособлена для удобства)
--local-subnets 192.168.0.0/16,172.16.192.0/24
# можно указать домен для сети, либо программа определит >
# его самостоятельно
--domain vasya.ru
--daemon # запускать в виде демона, что под freebsd всегда верно
| Полный список команд и вариантов можно посмотреть так:
Если вы используете по каким-то причинам старый ntop 3 версии, для того, чтобы логи шли в определённый файл (расскоментированная секция --use-syslog=local3), необходимо добавить в syslog.conf следующее:
|
echo '!ntop' >> /etc/syslog.conf && echo 'local3.* /var/log/ntop.log' >> /etc/syslog.conf
|
и создать этот файл с минимальными правами (чтобы вражище не подсмотрел):
|
touch /var/log/ntop.log && chmod 600 /var/log/ntop.log
|
Для версии 4 этого проделывать не нужно, см.пояснения в конфиге выше.
Перед запуском всей системы необходимо создать базу и задать пароль администратора:
|
/usr/local/bin/ntop -P /data/netflow/ntop_db -u 2001 -A
|
где указана папка, которой владеет ntop пользователь с порядковым номером 2001 (мы его таким создали).
Вывод будет примерно таким:
Thu May 3 23:31:52 2007 NOTE: Interface merge enabled by default
Thu May 3 23:31:53 2007 Initializing gdbm databases
ntop startup - waiting for user response!
Please enter the password for the admin user:
Please enter the password again:
Thu May 3 23:32:06 2007 Admin user password has been set
|
Готово, всё настроено и ждёт запуска - для начала сбора статистики и зарисовки диаграмм с графиками для начальника, чтобы учёл старания.
Если у Вас есть сетевой фильтр (firewall), откройте 3000ый tcp порт наружу, а если захотите snmp статистики, то и 161ый udp тоже в режиме keep-state (+163 udp на всякий случай).
Для IPFW это выглядит примерно так (вместе с другими правилами в скрипте):
|
ipfw add allow tcp from me 3000 to 192.168.1.1 via em0
|
где 192.168.1.1 - IP вашего админского компа, а em0 - управляющая сетевая на текущем сервере, где стоит ntop.
Если будете использовать родной скрипт - /usr/local/etc/rc.d/ntop, то не забудьте:
echo 'ntop_enable="YES"' >> /etc/rc.conf
echo 'ntop_flags="@/usr/local/etc/ntop/ntop.conf"' >> /etc/rc.conf
|
И если у вас папка БД программы отличается (как и у меня) от /var/db/, то исправьте проверку на наличие ntop_pw.db файла
в /usr/local/etc/rc.d/ntop скрипте с указанием вашей папки (сами найдёте).
После этого запускаем демона:
|
/usr/local/etc/rc.d/ntop start
|
и идём в любимый браузер по ссылке http://адресвашегосервераntop:3000
Смотрим и любуемся на потёкшую статистику, а модули в админке подключаем через логин admin и пароль тот, который вводили при создании БД. Вся дальнейшая настройка модулей происходит через веб-морду.
Модуль NetFlow.
add netflow device - появляется таблица, где необходимо указать параметры поступающего потока. Создаётся виртуальный интерфейс, прикреплённый к физическому адаптеру. При этом, физ.адаптер должен иметь статический адрес - т.к. Cisco посылает пакеты netflow на определённый его порт. Настройка Cisco маршрутизатора будет выглядеть примерно так:
router-2621(config)#ip flow-export destination 192.168.23.5 9995
router-2621(config)#ip flow-export source FastEthernet 0/1
router-2621(config)#ip flow-export version 5
router-2621(config)#ip flow-cache timeout active 1
router-2621(config)#ip flow-cache timeout inactive 15
|
Виртуальный интерфейс ntop должен слушать при этом на udp-порту 9995, в сабнете 192.168.23.0/24.
ntop покажет, какую версию он принимает, с каких портов вашего cisco устройства, сколько пакетов обработано, сколько потеряно (на моей сетке в примерно 200 активных хостов было 0% потерь), поддерживаются все netflow вплоть до v9. Вы можете настроить агрегацию по host / ip protocol и др. значениям.
Модуль SPAN-sniffer (встроен, включен, не отображается).
В случае, если вы не счастливый обладатель Cisco маршрутизаторf/маршрутизирующего коммутатора, тогда вы можете получать практически аналогичную статистику со SPAN-порта любого умного коммутатора 2 или 3 уровня. Для этого настройте дублирование всех потоков со всех портов на нём на один выделенный и направьте трафик с него на ntop интерфейс на сервере FreeBSD. В настройках ifconfig при старте системы в /etc/rc.conf вы можете прописать так: ifconfig_rlo="up promisc" не задавая адреса для сетевой, т.к.в данном случае он вообще не нужен (stealth режим сниффера). Настройки самих коммутаторов всегда разные, см.документацию. Для просмотра статистики с обычного libcap захвата с физического интерфейса на сервере выберите Admin->Swith-NIC->сетевая (указана в ntop.conf, например rl0).
Версия 4.10 в составе порта .tgz не имеет нескольких плагинов, которые по умолчанию были в прежних релизах. Как я понял, это ограничение, возможно, касается лишь FreeBSD порта ntop-4.1.0_1, т.к. в списке плагинов в файле /ntop/work/ntop-4.1.0/plugins/FILES они присутствуют (исходники):
|
cat /usr/ports/net/ntop/work/ntop-4.1.0/plugins/FILES
|
plugins
plugins/Makefile.am
plugins/Makefile.in
plugins/icmpPlugin.c
plugins/lastSeenPlugin.c
plugins/netflowPlugin.c
plugins/pdaPlugin.c
plugins/sflowPlugin.c
plugins/rrdPlugin.c
plugins/remotePlugin.c
| Однако же в директории есть не все. Отсутствуют:
lastSeen - This plugin produces a report about the last time packets were seen from each specific host. A note card database is available for recording additional information.
PDA - This plugin produces a minimal ntop report, suitable for display on a pda.
Remote - This plugin allows remote applications to access ntop data.
Полагаю, потеря такого функционала никого не разочарует.
Но теперь пройдёмся по остальным:
icmpwatch - создаёт отчёт обо всех ICMP пакетах, прошедших через сенсор. Включает каждый хост, байт и тип вход/исх.пакета.
rrdPlugin - активирует/отключает создание rrd графиков и диаграмм, включая секцию отчётов 'Info about host xxxxx'.
sFlow - включает/отключает поддержку получения/сбора потоков sFlow (аналог NetFlow на устройствах других мировых производителей). ntop.org член sFlow консорциума. Полученные данные отображаются в отчётах как отдельный 'NIC'-интерфейс. Требует настройки сенсора на принимающем интерфейсе.
[url=http://www.nexenta.com/corp/nexentastor-2x-optional-modules-
network-management/132-ntop-nms-plugin]Плагин для встраивания ntop в Nexenta NMS[/url].
Настроить обновление экрана на любое время - секция Admin->Configure->Preferences->поле ntop.refreshRate.
Так же в админке можно имзенять кучу настроек, тюнинговать существующие и добавлять новые правила фильтрации, дополнять параметрами опции сервера и создавать пользователей для доступа к своей статистике с разными привилегиями.
Скриншоты из интерфейса ntop на рабочем сервере:
При выборе агрегирования по хосту (см.скриншот ниже), вы получите доп.сведения по каждому ноду в вашей сети - кто куда ходил (с dns-разрешением имён), сколько чего скачал. Отображаться данные начинают в меню Summary->Hosts, задействуются все подменю IP-раздела (Summary, Traffic Direction, Local).
В случае выбора Protocol Aggregation, заполняются данными разделы меню All Protocols. Ещё есть распределение по AS (autonomous system aggregation), но это довольно редкий случай в обычных локальных сетях.
!При выборе того или иного агрегирования, остальные графики и данные отключаются для просмотра. Например, выборе любой агрегации отличной от port aggregation, в меню Summary->Traffic в последней таблице TCP/UDP Traffic Port Distribution: Last Minute View у вас начинает расти значение трафика для порта под номером 0 - то есть прекращается распределение по портам, всё суммируется в один порт. Аналогично при выборе агрегации по портам, все хосты (конкретные IP ) считаются как 1 суммарный. ICMPWatch plugin работает при выборе агрегации по TCP/UDP/ICMP протоколам (Protocol Aggregation).
Полагаю, для просмотра сразу по трём аггегационным потокам, необходимо 3 отдельных сенсора ntop.
Необходимо отдельным пунктом отметить подсчёт трафика FTP: поскольку для приёма/передачи данных на стороне клиента открывается случайный динамически назначаемый порт из диапазона 1025 и далее теоретически до 65 тыс., очевидно, что точно подсчитать трафик невозможно. Для обхода этого можно выбрать опцию "считать FTP", когда происходит эфемерный подсчёт ftp-данных, полагающий все открытые порты выше 1024 - ftp-сессиями со стороны клиентов. Однако, p2p клиенты работают по тому же принципу, и стоит использовать эту опцию только в том случае, когда вы точно уверены в конкретном назначении портов в вашей сети.
Но помните, что при перезагрузке системы, вся суммарна статистика, за исключением графиков, обнуляется. В этом весь минус решения.
Если нужно сделать так, чтобы сервер был доступен из-под apache (http://vasya.ru/ntop к примеру), необходимо сделать следующее:
запустить ntop на 3000ом порту (значение можно поменять, конечно же), с параметрами:
-w127.0.0.1:3000 -W0 #слушать на http//localhost:3000 и не слушать на https вообще.
Apache должен быть собран с модулями (не все могут быть необходимы, но всё-таки) mod_cgid mod_headers mod_security mod_proxy mod_proxy-http mod_proxy-html proxy_connect.load
proxy_html.load mod_rewrite mod_ssl mod_userdir и поддерживать работу на 443ем порту (ssl).
Секция вирт.хоста в конфиге апача (либо,если версия 2.x,то файла путьдоapache/extra/httpd-vhosts.conf)
NameVirtualHost *:443
<VirtualHost *:443>
###### Весь трафик на 443ем порту ( HTTPS )
# поменяйте на свою почту
ServerAdmin webmaster@localhost
SSLEngine On
# поменяйте на путь к вашему сертификату
SSLCertificateFile /etc/apache2/ssl/apache.pem
# измените пути к логам
ErrorLog /var/log/apache2/error.log
# выберите уровень логирования из предложенных:
# debug, info, notice, warn, error, crit, alert, emerg.
LogLevel warn
CustomLog /var/log/apache2/access.log combined
ServerSignature On
### PATCH SUGGESTED BY NESSUS ABOUT TRACE ATTACKS
RewriteEngine on
RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)
RewriteRule .* - [F]
#### NTOP (PROXY проброс) ########
ProxyHTMLLogVerbose On
LogLevel warn
ProxyHTMLExtended On
ProxyRequests Off
<Proxy *>
Order deny,allow
Allow from all
</Proxy>
ProxyPass /ntop/ http://localhost:3000/
ProxyPassReverse /ntop/ http://localhost:3000/
<Location /ntop/>
SetOutputFilter proxy-html
ProxyHTMLURLMap / /ntop/
ProxyHTMLURLMap /ntop/plugins/ntop/ /ntop/plugins/
RequestHeader unset Accept-Encoding
</Location>
</VirtualHost>
| И перезапустите apache (в моём случае поставлен из портов, версия 2.2.4):
/usr/local/etc/rc.d/apache22 restart
| и зайти по адресу https://vasya.ru/ntop/ .
Либо, как другой вариант (редирект с помощью apache-модуля proxy), вкратце:
ProxyPass /ntop/ http://localhost:3000/
| а в вирт.хостах:
RewriteEngine On
RewriteCond %{HTTP_REFERER} vasya.ru/ntop
RewriteCond %{REQUEST_URI} !^/ntop
RewriteRule ^/(.*)$ http://vasya.ru/ntop/$1 [L,P]
| По идее, всё должно работать, секцию с апачем я честно своровал и не пробовал.
На заметку: Ntop 2.1.3 was the last version with the mySQL stuff and is completely unsupported.
Зонд nProbe - совместно с ntop позволяет создать полноценную связку генератор netflow + сенсор/коллектор/агрегация по netflow потоку.
Для того, чтобы практически "за даром" создать аналог дорогостоящего Cisco роутера с функционалом генератора NetFlow потоков версии 9 (далеко не все устройства Cisco умеют генерировать выше v5), понадобится недорогой сервер на Linux/FreeBSD, отдельная гигабитная сетевая плата, зонд nProbe и коллектор/анализатор ntop. При этом, сервером может быть даже обычный desktop-компьютер, слегка доукомплектованный доп. ОЗУ и/или мощным CPU (конкретные хар-ки зависят от нагрузки в сети). На заметку: даже не все дорогостоящие коммерческие решения имеют возможность анализировать и разбирать по потокам 9-ую версию протокола NetFlow. Теоретически, принимаю в расчёт незначительную (жалкие единицы %) потерю пакетов, можно на этом же сервере поднять и коллектор/анализатор ntop, убив двух зайцев, слегка повредив мех.
http://www.ntop.org/products/nprobe/ - оф.страница зонда nProbe.
http://luca.ntop.org/Fastbit.pdf - описание структуры и возможностей зонда nProbe при работе с FastBit SQL DB. Схемы взаимодествий (NetFlow, sFlow или захват пакетов - Packet Capture через PF_RING), быстродействие, тесты.
NetFlow/sFlow/Packet Capture зонд nProbe не совсем бесплатен, тем более, для обычного российского админа, понятие "пожертвование в размере 50 евро" - уже ощутимая цена за коммерческое ПО и почти никак не может быть связано с добровольным расставанием с такой суммой. Но проект нужно поддерживать (всё делается энтузиастами), а он того стоит, поверьте.
http://www.nmon.net/shop/cart.php - онлайн магазин где вы не просто покупаете различные версии ntop/nProbe и плагинов,а вносите пожертвование на развитие проекта.
На данный момент установка и настройка зонда nProbe мною не производилась из-за отсутствия необходимости, возможно в будущем, как опробую, поделюсь опытом.
размещено: 2007-06-13,
последнее обновление: 2011-11-22,
автор: roygbiv
|
|
Комментарии пользователей [19 шт.]