Система мониторинга активного сетевого оборудования федеральной сети
Во время написания статьи пришел к выводу, что объяснить всю техническую часть по данной теме в одном посте практически невозможно, а может и никому не надо. Поэтому решил сделать данный пост обзорным над моей работой. Цель поста — показать, как не используя дополнительное финансирование компании и выпросив пару виртуальных серверов можно построить эффективную среду мониторинга активного оборудования большой сети в крупной компании.
Если вас интересует тема мониторинга сети или есть желание сравнить мою работу с имеющейся у вас, приглашаю под кат.
В маленькой «домашней» сети задачу мониторинга сети можно решить, используя любую из имеющихся свободных платформ для мониторинга. Однако, когда дело касается большого предприятия с больших количеством узлов, все не так прозрачно. И основная проблема — это нехватка физических ресурсов и отсутствие адаптированной под ваши требования системы. Чуть лучше ситуация обстоит с платными продуктами, но платные системы очень редко входят в расходы бизнеса на какой-то там мониторинг.
Система управления
Скелетом всего мониторинга будет система управления, позволяющая мышкой вносить изменение, удалять или добавлять новые узлы или связи.
При разработке всей системы в целом, учитывались следующие требования:
- Минимальные настройка/перенастройка на активном оборудовании;
- Обработка большого объема трафика по netflow;
- Возможность детально исследовать какую-либо сетевую активность;
- Оперативное обновление о происходящих инцидентах. Будь то падение канала или большая загрузка канала;
- Возможность дорабатывать модули или отчеты для все возможных выборок;
- Задействовать минимальное количество инфраструктуры;
- Как можно меньше писать функционал самостоятельно.
Инфраструктура пробовалась разная, до тех пор, пока не была достигнута текущая конфигурация. Все испробованные варианты я описывать не буду, чтобы не растягивать пост.
Итог таков: Два виртуальных сервера под управлением CentOS 6.
Один для системы управления и отображения. 2 процессора, 4ГБ ОЗУ, 250ГБ диск.
Второй выполняющий функции коллектора netflow. 2 процессора, 4ГБ ОЗУ 150ГБ диск.
Конфигурация серверов вполне стандартная, веб сервер apache с php + mysql.
Кактус
Для системы управления был выбран Кактус. Чем привлек кактус:
- Отсутствием сложного кода в WEB отображении (никакого flash, aciveX и прочих активных компонентов, что дает преимущество использования на мобильных устройствах);
- Простая и понятная структура БД, к который можно легко привязать свой функционал;
- Много плагинов именно для мониторинга активного оборудования;
- Встроенная поддержка SNMP;
- RRDTool в качестве источника для графиков (привет заббиксу);
- отсутствует клиентская часть.
Установка Кактуса не представляет из себя никакой сложности. По этой теме очень много информации в интернете, ну и самой лучшей, конечно, является официальная документация.
Настройка так же не требует глубоких ИТ знаний. На странице Devices добавляются устройства, указывается тип SNMP и авторизация. Привязываются стандартные шаблоны.
Плагины к кактусу для работы с активным оборудованием
NetFlow
Syslog and Traps
Второй создает автономную базу данных с очень прозрачной структурой, к которой я привязал функционал, написанный самостоятельно, но об этом чуть позже.
Network Maps
Настройка NetFlow
В качестве нашего программного коллектора будет использоваться flow-tools. Данное ПО умеет не только захватывать трафик, но и анализировать его. Так же на основе этого пакета написано не мало GUI для отображения собранной информации в человеческом виде.
Управлять компонентом flow-capture я собирался с плагина кактуса flowview, поэтому после установки flow-tools, необходимо скопировать скрипт запуска сервиса с папки плагина в наш init.d на сервере.
Из-за чего вся эта возня с системой управления? Ведь проще поправить конфиг вручную и забить? Но не тут то было. Количество устройств порядка 500 штук с весьма большим объемом трафика. Если сложить все flow в одну папку, извлечение данных по одному часу трафика займет более 2-х часов, это неприемлемо.
Решено было разделить потоки от каждого устройства в отдельную папку, чтобы выборка происходила в определенной папке с нужным трафиком. Средствами flow-capture это делается путем разнесения потоков от устройств по портам. А это значит, каждое устройство нужно настроить с уникальным портом отдачи flow?
Это так же неприемлемо, поэтому на помощь в решении данной проблемы приходит простая маленькая программка samplicator. Суть работы такова: принимает входящие UDP пакеты, сортирует их по адресу источника и транслирует в выбранный порт. А это значит, что настройку оборудования мы делаем типовую на один порт, а уже на самом сервере распределяем потоки по портам.
Синтаксис конфига: Source/Mask:Destination1/Port [Destination2/Port] и пример:
Flow собрали, с ужасом смотрим скорость заполнения наших дисков. Как теперь все это просмотреть?
Есть много способов, можно генерировать отчеты вручную через тот же пакет flow-tools. Но это могут сделать не все пользователи системы, да и тому, кто может, надо попотеть, чтобы написать человеческий отчет.
Я обратился к еще одному замечательному проекту FlowViewer.
Когда я его откопал и начал использовать, была версия 3.3 или что-то вроде того, 2006 года. Пока я разобрался с 3-й версии, проект неожиданно ожил и начал развиваться, 4-я версия была просто гениальна, по сравнению с 3-й. На момент написания статьи текущая версия 4.4 (у меня используется 4.1).
По своей сути, он почти полностью дублирует плагин Кактуса flowview, но сам плагин мне понравился только имеющимся расписанием, его работа по выборке нестабильна, фильтры не полные, а нужной агрегации нет. И архитектурно весь flow хранится на втором сервере, а значит FlowViever с удовольствием ставиться на второй сервер и предоставляет красивые графики и выборки с трафиком.
SNMP Traps
Потоки с flow — это очень хорошо и заманчиво, но использовать их для оповещения о проблемах невозможно. Только для анализа уже после устранения проблемы.
Ну и самый доступный способ оповещения — это SNMP трапы. Получать SNMP трапы от 500 устройств одним списком не очень приятное занятие, потеряешь в мусоре важную на данный момент информацию. Ясно, что надо делать какой-то фильтр. Тут готового решения, удовлетворяющего мои требования найдено не было. Но не беда, вспомнив тягу к программированию в институте решил написать анализатор трапов сам.
Технология получения фильтрованного списка такая: при получении трапа сервер мониторинга принимает (snmptrapd) его, анализирует (snmptt) в соответствии с загруженными MIB спецификациями и сразу кладет в базу данных.
mysql_dbi_enable = 1
mysql_dbi_host = localhost
mysql_dbi_port = 3306
mysql_dbi_database = cacti
mysql_dbi_table = plugin_camm_snmptt
mysql_dbi_table_unknown = plugin_camm_snmptt_unk
mysql_dbi_table_statistics = plugin_camm_snmptt_stat
mysql_dbi_username = cacti
mysql_dbi_password = cacti
mysql_ping_on_insert = 1
mysql_ping_interval = 300
Перехватывать эту обработку особого смысла нет, потому что придется заводить как-то свой стек событий. Это нам ни к чему, тем более база данных в которую попадают трапы у нас заполнена информаций об устройствах (имена, порты, линки), которую Кактус собирает сам по средствам SNMP опроса.
Привлекательным выглядит вариант забирать с базы события, связывать их с имеющейся базой для информативности. Вооружившись блокнотом, начал придумывать логику. С ней особых проблем не возникло, проблемы возникли при выборки данных из БД. Которая начала занимать от 30 секунд. Ни о какой оперативности тут речь не шала. Теория оптимизации баз данных, оптимизация запросов, индексы, планы, умные советы моей спутницы(специалиста по сверхбольшим БД) сделали своё дело.
Основная мысль фильтровать Up/Down трапы, в описании которых встречаются имена интерфейсов (Eth, Serial, Gi, E), по идентификаторам и источнику ищем данные в таблице с SNMP. На выходе получаем красивую строку, когда, где и куда упал линк.
Все данные с базы оформляются в читабельным вид в виде html страничек.
Выборки с БД получая разные условия, формируют разные таблички отчетов.
Благодарю читателя, осилившего все моё сумбурное повествование. Отчасти связанное с тем, что система уже год с лишним работает без меня. Много забылось, что-то потеряло смысл. Но работает мониторинг до сих пор, собирает данные и обеспечивает выборки уже без моей поддержки.
Все данные, скриншоты и конфиги деперсонализированы. Любые совпадения являются случайностью.
Источник
Как настроить активное оборудование
Сетевое оборудование и монтаж.
При создании кабельной системы необходимо обеспечить соблюдение стандартов проектирования, монтажа, а также выбрать оборудование, соответствующее сетевым стандартам.
Основными стандартами по кабельным системам являются:
- Международный стандарт ISO/IEC 11801 Generic Cabling for Customer Premises (www.iso.ch, www.iec.ch)
- Европейский стандарт EN 50173 Information technology–Generic cabling systems
- Американский стандарт ANSI/TIA/EIA 568-В Commercial Building Telecommunication Cabling Standard (www.tiaonline.org, www.eia.org)
Стандарты определяют среду передачи, параметры разъемов, линии и канала, в том числе предельно допустимые длины, топологию и характеристики функциональных элементов системы.
Сетевое оборудование.
Большое влияние на качество, скорость и надежное соединение оказывает сетевое оборудование. При создании кабельной структуры, необходимо учитывать совместимость всех ее составляющих. Пассивное сетевое оборудование должно соответствовать определенным стандартам, активное оборудование должно обеспечивать работу сети в различных скоростных режимах и поддерживать все основные сетевые протоколы и стандарты.
Пассивное сетевое оборудование.
Сетевое оборудование не потребляющее электрическую энергию называется пассивным. К пассивному оборудованию относятся розетки, кабель, вилки, патч-панели и т.п. Основными компонентами являются сетевой кабель и монтируемая на кабеле вилка.
При монтаже кабельной системы используется кабель неэкранированная «витая пара» 5 категории (UTP 5 cat). Он состоит из нескольких пар медных проводов, покрытых пластиковой оболочкой.
Изоляция каждого провода окрашена в свой цвет:
Провода с одинаковым цветом составляют пару:
- оранжевый / оранжевый с белым
- зеленый / зеленый с белым
- синий / синий с белым
- коричневый / коричневый с белым
Провода, составляющие каждую пару, закручены вокруг друг друга, что обеспечивает защиту от взаимных наводок.
Для подключения кабеля «витая пара» используются вилки RJ-45, которые монтируются на концах кабеля. Вилка имеет восемь контактов и монтируется на кабель при помощи специального инструмента.
Активное сетевое оборудование.
К активному сетевому оборудованию относятся концентраторы (hub), коммутаторы (switch), маршрутизаторы (router), сетевые адаптеры, принт-серверы и т.п.
Для подключения к локальной сети компьютер должен быть оснащен сетевой платой (сетевым адаптером). Убедитесь, что сетевой адаптер предназначен для работы в сети Ethernet и имеет разъем для подключения вилки RJ-45. К сетевому адаптеру должен прилагаться драйвер, предназначенный для связи адаптера с операционной системой Windows. Что бы выяснить совместимость сетевого адаптера с операционной системой следует обратиться к списку совместимого оборудования HCL, предоставляемому компанией Microsoft по адресу http://www.microsoft.com/hcl/ . В списке HCL следует найти сетевые адаптеры, которые были протестированы в данной операционной системе и гарантированно в ней работают.
Объединить компьютеры можно при помощи концентратора (hub) или коммутатора (switch). Внешне они выглядят одинаково, но между ними есть очень важное отличие. Когда компьютер передает в сеть какие-то данные, то они сначала поступают на порт концентратора, к которому подключен компьютер. Концентратор передает данные на все свои порты, т.е. делает широковещательную рассылку. На одном из портов окажется компьютер, для которого эти данные были предназначены. Остальные компьютеры сети их просто отбросят. Сеть засоряется лишней информацией, что приводит к замедлению работы. Коммутатор выбирает путь, по которому следует послать данные. Он определяет и запоминает какой компьютер подключен к какому порту и передает данные только на нужный порт.
При монтаже кабельной системы следует строго соблюдать специальные требования и рекомендации, выполнение которых гарантирует сохранение исходных рабочих характеристик всей сети.
Ниже перечислены основные правила, которые необходимо соблюдать при монтаже кабельной системы:
- Не допускайте растяжения кабеля во время монтажных работ.
- Радиус изгиба кабеля должен быть не меньше 10 внешних диаметров кабеля.
- Удалять оболочку кабеля следует лишь на столько, сколько требуется для монтажа.
- Сохраняйте целостность скручивания пар как можно ближе к месту монтажа, что обеспечивает минимальное влияние сигналов различных пар друг на друга. Раскрученные во время монтажа кабельные пары не следует скручивать снова, т.к. неправильное скручивание может отрицательно повлиять на рабочие характеристики.
- Кабели локальной сети не должны располагаться рядом с силовыми проводами (220в), флуоресцентными лампами, силовыми трансформаторами и другими устройствами, мощные электромагнитные поля которых, создают помехи и оказывают отрицательное воздействие на качество передачи сигнала.
Монтаж вилки RJ-45.
Вилка RJ-45 монтируется обжимным способом с помощью специального обжимного инструмента.
Правила монтажа определяются типом предполагаемого соединения. Возможны два варианта:
- Компьютер соединяется с сетевым концентратором (hub) или коммутатором (switch) используя «прямую» разводку кабеля (стандарт T568B);
- Соединение между коммутаторами или концентраторами, такие как “hub – hub”, “switch – switch”, “hub – switch” производятся с помощью кабеля с «перевернутой» разводкой (Uplink или Crossover). С одной стороны кабель разводится по стандарту T568A, а с другой по стандарту T568B.
Более подробно об этом читаем в статье 1 , статье 2 и статье 3
Подключение сетевого оборудования.
Коммутаторы и концентраторы подключаются к локальной сети одинаково. Если используется несколько коммутаторов, то они объединяются между собой кабелем UTP с «перевернутой» разводкой (Т568А – Т568В). Длина кабеля должна быть не менее 0,5 м.
Во многих моделях коммутаторов наряду с простыми портами используется дополнительный порт “Uplink”. Он совмещен с одним из простых портов и имеет «перевернутую» разводку в соответствии со стандартом Т568А. Используя этот порт можно подключать второй коммутатор простым кабелем (Т568В – Т568В).
На рисунке показано применение дополнительного порта “Uplink” совмещенного с портом №8. При этом сам порт №8 должен оставаться пустым.
В современных коммутаторах реализована функция автоматического определения типа кабеля. Каждый порт коммутатора может самостоятельно определить стандарт подключенного к нему кабеля. В результате порт сам определяет в каком режиме ему работать. Функция автоматического определения типа кабеля значительно облегчает работу администратора сети.
Подключение компьютера к локальной сети
Для подключения компьютера к локальной сети необходимо:
- установить сетевой адаптер, поддерживающий сетевую технологию Ethernet
- осуществить физическое подключение к сетевому оборудованию с помощью кабеля
Источник