пятница, 26 февраля 2010 г.

Mikrotik - Анализ трафика - NetFlow Analyzer

Своим мини обзором хочу рассказать об одном программном продукте, который очень хорошо помогает при анализе трафика. Да, продукт коммерческий, но по моему он того стоит.

Это web приложение, написанное на Java, в качестве http сервера выступает Apache, для хранения данных используется MySQL.
Используя NetFlow Analyzer возможно собственноручно конструировать функциональные «приборные панели», пригодные для мониторинга наиболее важных участков сетевой инфраструктуры. Каждая такая панель создается с учетом специфической роли отдельного администратора и может состоять из многочисленных элементов (виджетов), отвечающих за извлечение информации из различных источников.
Благодаря наглядности приборных панелей NetFlow Analyzer можно с первого взгляда оценить сложившуюся ситуацию, получить представление о текущей нагрузке на различные участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».
Приблизительно так :)
Начнем с самого начала, т.е. установки и начальной настройки.

Установка NetFlow Analyzer.

Скачиваем под интересующую нас платформу (Windows, Linux), в нашем случае это Windows.
Запускаем.

Все компоненты ставятся в одну папку, по этому при желании можно выбрать любую.

Так же при установки запрашиваются порты, по которым будут работать сервисы. Порт web интерфейса и порт, на который будут приходить NetFlow пакеты.

Указываем, что бы запускалось как служба.


Указываем регистрационные данные


В общем все как всегда, "Далее", "Далее", "Согласен", "Опять Далее", "Финиш!".

По завершению установки запускается браузер, которые попадает на страницу авторизации, по умолчанию пользователь admin, пароль admin.


Настройка микротика.

Тут все готово, теперь идем в консоль управления микротиком и направляем поток с данными на наш сервер.


Ну или все тоже самое, только из консоли:


/ip traffic-flow set enabled=yes
/ip traffic-flow target add address=192.168.1.78:9996 version=9


Первой командой активируем сервис, второй указываем принимающую точку, порт и версию протокола.

Начальная настройка NetFlow Analyzer.

Теперь войдем в NetFlow Analyzer и посмотрим что же у нас получилось.
Первое, куда попадаем, это список интерфейсов, за которыми ведется наблюдение, в данном примере интерфейсы с именами IfIndex* это входящие соединения по vpn, интерфейсы comgate* и vcraft* это провайдеры, local это интерфейс локальной сети.

Если что то не получилось, то имеет смысл проверить соответствие портов, по которым анализатор слушает и порт, который указали в микротике.
Перейдем в раздел Admin Operations, Product Settings.

Server Settings - Настройки сервера.
NetFlow / sFlow Listener Port - порт, на который принимаются потоки с устройств.
WebServer Port - порт веб интерфейса.
Count Of Top Records to Store - максимальное количество строк, выводимое в таблицах с данными.


DNS Settings - Настройки определения dns имен.
Resolve only when "Resolve DNS" link is clicked - По умолчанию выбрано, Определять имена по клику на "Resolve DNS".
Resolve DNS names automatically by default- Определять имена автоматически (замедляется работа)
Resolved DNS count in cache - Размер DNS кэша.
User defined DNS names - Здаесь можно задать статические dns записи.

Наверное вторым местом, куда стоит заглянуть в настройках, это настройки для отправки почты.

Нажмем на Test Mail.


DashBoard.

Как говорилось в самом начале интересной фишкой является DashBoard, который существует в некотором начальном состоянии.


Но администратор может сделать панель с виджетами "под себя". На пример сделать что то вроде этого (не надо сильно вникать в смысл :-) я просто вытащил максимально возможные виджеты)


Туда - сюда или кто куда ходит и что качает.

Вернемся на вкладку интерфейсов и посмотрим статистику по одному конкретному.


Вкладка Application выводит информацию по типу трафика.


Клик по конкретной строчке и мы получаем детальную информацию. На пример информацию по http трафику.


Можно сократить результаты вывода до (на пример) 10 и сделать преобразование ip в имена (помогает очень не всегда).


Так же можно запросить детальный график каждого соединения.


Во вкладке Source получаем отчет по источникам трафика, и так же выбрав конкретный элемент получаем детализацию по нему.


Группы адресов.

Иногда интересно рассматривать трафик нескольких пользователей одновременно, на пример серверов, выполняющих одну и туже роль.
В разделе Admin Operations есть подраздел IP Grouups, где можно объединить несколько адресов в группу, создать группу из целых подсетей и т.д.


Дальше уже можно получать все те же самые отчеты, но в разрезе адресов, объединенных в эту группу.


Для ленивых - отчеты по почте.

Наверное самая приятная вещь, которая мне понравилась, это возможность формировать отчеты и получать из по почте, не надо было каждое утро лезть в этот интерфейс и заказывать их, они просто приходили с утренней почтой.
Заходим в раздел Admin Operations, в подраздел Schedule Reports.


В результате утром придет письмо, приблизительно такого содержания.


Где будет лежать по pdf-у на каждый интерфейс приблизительно такого содержания.


Заключение.

За сим буду прощаться, тот кто что то искал, тот, я думаю нашел, и если начнет копаться все глубже, то познает тайную магию Alert-ов, которые буду тебя извещать о проблемах в сети, а кому то пригодятся мелочи в раздели Billing.
Напоследок скажу, что на сайте производителя Вы найдете бесплатную версию этого продукта, бесплатность там странная, 30 дней работает без ограничений, потом работает только с двумя интерфейсами, для простых конфигураций, где один локальный, а другой провайдер этого решения должно хватить.

30 комментариев:

  1. Крайне благодарю за данный пост. Давненько уже хотел подобрать что-нибудь для подсчета трафика в микротике, но все никак не мог найти подходящее ПО.

    ОтветитьУдалить
  2. А какой NetFlow Collector может делать отчет по трафику по месяцам? Для тарифов с лимитом по трафику это актуально. (примерно так как это делает Tmeter)

    ОтветитьУдалить
  3. Извините за вопрос, а если несколько сотен VPN соединений, как искать нужного мне юзера, если он все имена под IfIndex* зафигачит???

    ОтветитьУдалить
  4. > Извините за вопрос, а если несколько сотен VPN соединений, как искать нужного мне юзера, если он все имена под IfIndex* зафигачит???

    о да.... есть такое, этот момент не слишком удобно сделан, хотя работает правильно, ведь при подключении vpn-щика создается интерфейс. Если адрес подключившегося статический, то можно заказывать отчет на конкретный адрес.

    ОтветитьУдалить
  5. IfIndex* можно поменять на IfDescr, IfName или IfAlias после настройки SNMP, причем уже доступен v3

    ОтветитьУдалить
  6. Спасибо, очень познавательно. А Вы ntop не рассматривали?

    ОтветитьУдалить
  7. Спасибо Сергей, это было мне нужно. Но мой мониторинг не работает как ваш. Входяшие траффики не ресует. И у меня много Ifindex интерфейсов (Около 3000 штуков), как мне знать какой интерфейс именно ether1. Остолные должны быть PPPoE sessions. Извините за мой плохой русский язык.

    ОтветитьУдалить
  8. я только начинаю, так что извиняйте..

    как собирать статистику по ip за период времени?
    небольшая сетка с одним роутером и надо собирать статы кто сколько накачал.

    ОтветитьУдалить
  9. Анонимный30 мая 2011 г., 17:46

    Кто нибудь знает, как(где?) менять шаблоны писем для рассылки?

    ОтветитьУдалить
  10. Анонимный3 июня 2011 г., 13:27

    Сергей подскажите, а можно настроить NetFlow так чтоб он сам преобразовывал сам IP в имена DNS. (пробовал использовать Resolve DNS все равно отображаются IP и только вручную занесенные имена через панель управления отображаются....)

    ОтветитьУдалить
  11. > а можно настроить NetFlow так чтоб он сам
    > преобразовывал сам IP в имена DNS. (пробовал
    > использовать Resolve DNS все равно отображаются
    > IP и только вручную занесенные имена через
    > панель управления отображаются....)

    Думаю, такую проблему с этой стороны решить не получится.
    На пример как определить домен, если на этом ip находится десяток-два виртуальных доменов и каждый со своим уникальным именем?
    То, что можно однозначно определить, то NetFlow Analyzer определяет.
    Игры с фиксированием имен сайтов, страничек и тому подобного это больше к Web-Proxy

    ОтветитьУдалить
  12. Уважаемый Сергей или удачно использующие сию программу для сбора статистики подскажите, кто сталкивался с проблемой неправильного отображения времени. Дело в том, что пол года собирал статистику не мог нарадоваться и вдруг в нашем государстве решили не переходить на зимнее время. На следующий же день после перехода, график dashboards стал отставать не на 1час а на 6часов 0_o.
    На mikrotik на винде (после мелкософтовского патча) время в норме а вот netflow в норму не пришел((. Чет нигде решения не нашел. Делал вот это http://forums.manageengine.com/forumHome.do?forumGroupId=49000000002007&forumTopicId=49000002656775
    Тоже не помогло. На семерке воткнул для теста netflow даже не подключая к маршрутизатору он сразу врет. Причем уже на 10 часов. Куда хоть думать, может кто знает? Буду очень признателен за помощь.

    ОтветитьУдалить
  13. hi sergery
    i am config mikrotik netflow but this error in
    "total traffic value available upto the second and application data is loaded once in 3 minutes in the database. this different is listed as unaccounted."
    please help me?
    thansk

    ОтветитьУдалить
    Ответы
    1. Анонимный10 июля 2012 г., 19:48

      Таже самая проблема.
      Подскажите как решить.

      Удалить
    2. Возникла идентичная проблема при использовании новой версии апаратного МикроТика. Конфиги были перенесены со старого, на котором все работало.

      Удалить
  14. Он может выводить отчет по SMTP трафику, а то поиск завирусованного спамера при использовании MikroTik не тривиальная задача?

    ОтветитьУдалить
    Ответы
    1. Может, настраиваешь фильтр и получаешь что хочешь, плюс там уже сразу есть разделение трафика по типу.

      А поиск спамера в микротике, активного спамера, легко фиксируется в фаерволе, в активных соединениях, если на один ip сотня соединений с внешним 25 портом, то что то тут не так.

      Удалить
    2. дело в том что там крайне редко спам кто то шлет по 25 порту, обычно это если на 1 IP много разных нестандартных портов. Она может определять SMTP трафик по нестандартным портам?

      Удалить
  15. Здравствуйте, вы приветствуете индивидуальную помощь(не безвозмездно)разумеется.
    Вопрос в настройке MikroTika

    ОтветитьУдалить
    Ответы
    1. В принципе можно договориться, но все зависит от текущей загрузки, пишите в почту slagovskiy@gmail.com

      Удалить
    2. Анонимный13 мая 2013 г., 17:39

      Здравствуйте
      не удается подключить микротик в настройках NetFlow Analyzer 9.8.5
      можете описать как ето можно сделать правильно т.к. к сожалению в вашей статье етот момент упущен..

      Удалить
  16. Анонимный10 июня 2013 г., 21:43

    При установке на линуксе, он спрашивает кем его назначать (дословно не помню) но примерно что-то типа: сервер или коллектор, в данном случае, какой вариант надо выбирать.

    ОтветитьУдалить
    Ответы
    1. Анонимный10 июня 2013 г., 23:19

      Сорри, я похоже не ту версию поначалу выбрал, вместо (Professional & Professional Plus Editions) — (Distributed Edition)

      Удалить
  17. Подскажите пожалуйста как расшифровать интерфейсы IfIndex** ?
    У меня vpn нету, есть только ether и vlan, а все показываются как IfIndex**

    ОтветитьУдалить
  18. Анонимный17 июня 2014 г., 16:51

    Включил Traffic Flow на Mikrotik, в Targets указал ip-адрес компьютера в локальной сети на который установлен NetFlow Analyzer. При заходе в Dashboard только такая информация:

    No device is currently exporting NetFlow / sFlow packets to NetFlow Analyzer.
    Listening for NetFlow / sFlow Packets at Port 9996
    Click here for instructions to enable NetFlow / sFlow Exports on the router / switch.

    Чего еще не хватает, чтобы связка заработала?

    ОтветитьУдалить
  19. тоже самое
    No device is currently exporting NetFlow / sFlow packets to NetFlow Analyzer.
    что делать?

    ОтветитьУдалить
  20. I am happy to find this post Very useful for me, as it contains lot of information. I always prefer to read The Quality and glad I found this thing in you post. Thanks
    A very amazing post thanks for sharing with us.

    Web development company in bangalore
    Outsource magento ecommerce services india
    ECommerce Website developers in bangalore

    ОтветитьУдалить