From d30ec859053c1e1a5daa31b380c7d67074b6505e Mon Sep 17 00:00:00 2001 From: Dmitry Novikov Date: Tue, 16 Apr 2019 12:03:56 +0300 Subject: [PATCH] doc --- docs/netflow.md | 26 +++++++++++++++++++++++--- 1 file changed, 23 insertions(+), 3 deletions(-) diff --git a/docs/netflow.md b/docs/netflow.md index b21b8e0..38f0312 100644 --- a/docs/netflow.md +++ b/docs/netflow.md @@ -14,14 +14,34 @@ mv djing_flow ../ cd .. rm -rf djing_flow_git ``` +У себя заметил такую особенность, биллиотека flow-tools для C собирается и линкуется в Fedora, но отказывается +линковаться в Debian/Ubuntu. Инструкцию по использованию можно найти на странице [djing_flow](https://github.com/nerosketch/djing_flow). Посмотреть пример работы можно с помощью файла дампа трафика flow-tools. Соберём такой дамп с помощью **flow-capture**. > \# flow-capture -p /run/flow.pid -w /tmp/djing_flow -n1 -N0 0/0/1234 -Запустится сбор трафика. Чтоб узнать больше почитайте инструкции по использованию flow-tools. Настройте netflow sensor на -ваш сервер. Для того чтоб сбросить дамп трафика на диск отправте сигнал **-HUP** процессу flow-capture. В */tmp/djing_flow* -вы найдёте этот самый файл дампа трафика. И тут уже можно посмотреть как работает утилита **djing_flow**: +Запустится сбор трафика. Чтоб узнать больше почитайте инструкции по использованию flow-tools. Настройте netflow sensor +на ваш сервер. Для того чтоб сбросить дамп трафика на диск отправте сигнал **-HUP** процессу flow-capture. +В */tmp/djing_flow* вы найдёте этот самый файл дампа трафика. И тут уже можно посмотреть как работает утилита +**djing_flow**: > \$ ./djing_flow < /tmp/*.tmp На выходе вы получите запрос для mysql. Можно перенаправить его по конвееру в mysql. + +Принцип действия сбора состоит в том что сенсоры нааправляются на биллинг, а там его ждёт коллектор flow-capture, +Если сенсоров несколько то и процессов flow-capture будет несколько на разных портах. Все они складывают свой дамп +в */tmp/djing_flow*, по сигналу **HUP** для процесса flow-capture закрывается файл дампа, обрабатывается скриптом, +указанным в праметре *R* flow-capture и собирается новый дамп. Всё это вы можете почитать в документации к flow-tools. + +Systemd юнит _djing_rotate.timer_ и _djing_rotate.service_ каждую минуту запускают скрипт *netflow_collect.sh*, а он +уже отправляет сигнал *HUP* всем запущенным процессам flow-capture, переносит файлы в */tmp/djing_flow/dump* и потом +конкатинирует с помощью flow-cat и по конвееру передаёт *djing_flow*, который и конвертирует фамп в запрос для mysql. + +Почему была написана своя утилита а не использован экспорт из поставки flow-tools? Первое это формат хранения в бд, +второе это сжатие всех потоков за минуту по каждому ip адресу в одну строку(использовано бинарное дерево поиска для ip). +То есть для одного ip адреса за минуту суммируются все сессии, и складывается трафик и количество пакетов, таким образом +в БД кладётся одна запись в минуту вместо десятка для одного абонента. Если вы знаете способ сделать это стандартыми +средствами flow-tools буду очень рад если вы и [мне](mailto:nerosketch@gmail.com) скажите :) + +P.S. Рекомендую смонтировать папку /tmp в tmpfs чтобы не дёргать часто винт, т.к. файлообмен там будет активный.