В проектировании сетевой инфраструктуры для дата-центров наметилась тенденция создания быстрой, масштабируемой и эффективной коммуникационной архитектуры. Архитектура Leaf-Spine как раз и отвечает таким запросам.

Объемы данных передаваемых по сети как внутри ЦОД, так и вовне, растут в геометрической прогрессии. Классическая трехуровневая сетевая архитектура «ядро – агрегация – доступ» начинает устаревать. Она постепенно заменяется т.н. Leaf-Spine архитектурой, которая способна быстро адаптироваться к непрерывно меняющимся потребностям предприятий, использующих «анализ больших данных» (Big Data), требующих несколько иных подходов к построению дата-центров.

Традиционная трехуровневая архитектура использовалась в сетях общего применения, обычно сегментированных в точках доставки PoD (Point of Delivery), которые ограничивали расположение устройств, таких как сервера виртуализации. Классическая архитектура обычно состоит из маршрутизаторов ядра сети (Core), маршрутизаторов уровня агрегации (Aggregation, иногда – Distribution) и коммутаторов доступа (Access). С целью резервирования они соединялись дублированными линками, которые в сети могли образовывать петли. Для устранения этого нежелательного явления использовался протокол Spanning Tree. Во время работы все маршруты, кроме основного, деактивируются. Резервный маршрут активируется только при отказе основного.

Рис. 1: Традиционная трехуровневая архитектура.

В архитектуре Leaf-Spine имеются только два уровня, при этом все устройства «равноудалены» от коммутаторов «ядра», т.е. имеют одинаковые и предсказуемые задержки при передаче пакетов. Эти уровни называются Leaf и Spine. Уровень Leaf состоит из коммутаторов доступа, подключенных к другим устройствам дата-центра: серверам, межсетевым шлюзам, балансировщикам нагрузки и оконечным коммутаторам. Уровень Spine, состоящий из маршрутизирующих коммутаторов, является ядром сети, где каждый Leaf-коммутатор подключен к каждому из Spine-коммутаторов. Между уровнями используется динамическая маршрутизация Layer 3, чтобы обеспечить предсказуемое расстояние между устройствами. Динамическая маршрутизация позволяет обеспечить наилучший маршрут. Такая архитектура предназначена в основном для дата-центров и ориентирована на трафик «East-West». В таком трафике передаются только данные, предназначенные для использования только внутри дата-центра. Этот новый подход решает присущие протоколу Spanning Tree ограничения, и дает возможность использовать и другие сетевые протоколы, а также методы построения динамичной сети.

Leaf-Spine

Рис. 2: Архитектура Leaf-Spine

В сети Leaf-Spine используется маршрутизация Layer 3. Все маршруты сконфигурированы в активном режиме при помощи протокола равноудаленных маршрутов ECMP (Equal-Cost Multipathing). Это позволяет всем соединениям быть активными одновременно при сохранении стабильности без боязни образования петель внутри сети.

В традиционных протоколах коммутации Layer 2, таких как STP (Spanning Tree) в трехслойных сетях, все устройства должны быть правильно и вручную сконфигурированы и должны быть учтены все особенности STP. При этом очень велика вероятность ошибки конфигурации, в частности, неправильного определения приоритетов устройств, что может повлечь неэффективную прокладку маршрутов.

Преимущества Leaf-Spine

Замена STP между уровнями Access и Aggregation на маршрутизацию Layer 3 дает более стабильную работу сети. Другое преимущество – легкость добавления дополнительного оборудования и расширение емкости. При возникновении перегрузки линков (oversubscription), что означает генерацию бóльшего объема трафика, чем его может воспринять уровень агрегации), способность к увеличению емкости является очевидным преимуществом. Эта проблема легко решается добавлением еще одного коммутатора Spine. Точно также можно добавлять коммутаторы Leaf, когда не хватает портов доступа. При этом сеть легко расширяется и при этом не требуется возня с протоколами Layer 2

Недостатки Leaf-Spine

При использовании сетевой архитектуры Leaf-Spine возникают и некоторые проблемы. Во-первых, это большое количество кабельной «лапши» в стойках дата-центра, что видно даже на рисунке, показывающем архитектуру Leaf-Spine. И при добавлении новых коммутаторов на обоих уровнях эта проблема будет только расти. Нужно очень тщательно выбирать место расположения коммутаторов Spine в дата-центрах, особенно больших, чтобы минимизировать эту проблему.

Во-вторых, основной недостаток происходит от использования маршрутизации Layer 3, который не дает развертывать виртуальные сети VLAN во всей сети. Сети VLAN в архитектуре Leaf-Spine локализуются в каждом из Leaf-коммутаторов и другим Leaf-коммутаторам недоступны. Это может создавать проблемы при обеспечении мобильности гостевой виртуальной машины в пределах дата-центра.

Примеры применения Leaf-Spine

Веб-приложения, где расположение сервера внутри сети статично – подходящее применение для Leaf-Spine. Использование маршрутизации Layer 3 между уровнями не препятствует работе масштабируемых веб-приложений, потому что они не требуют мобильности серверов внутри дата-центра. Устранение протокола Spanning Tree (STP) положительно влияет на стабильность и надежность сети с преобладанием внутреннего трафика дата-центра (East-West). Масштабируемость архитектуры также улучшается.

Корпоративные приложения с использованием мобильных виртуальных машин (напр. vMotion) создают некоторые проблемы при обслуживании серверов в пределах дата-центра. Причина – использование Layer 3 и невозможность расширения VLAN между Leaf-коммутаторами. Для решения этой проблемы, может быть использовано решение программно-конфигурируемых сетей SDN (Software Defined Networking), которое создает виртуальный уровень Layer 2 поверх сети Leaf-Spine. При этом виртуальные серверы могут свободно перемещаться внутри среды дата-центра, без ухудшения эффективности трафика East-West, масштабируемости и стабильности топологии сети Leaf-Spine.

Как альтернатива маршрутизации Layer 3, в топологии Leaf-Spine могут использоваться и другие протоколы, такие как TRILL (Transparent Interconnection of Lots of Links) или SPB (Shortest Path Bridging), с которыми можно достичь схожей функциональности. При этом задействуется протокол ECMP уровня Layer 2, когда Spanning Tree работает только для организации VLAN’ов между Leaf-коммутаторами.

 Выводы

Таким образом, сети Leaf-Spine имеют существенные преимущества перед традиционной трехслойной архитектурой сети. Использование маршрутизации Layer 3 с протоколом ECMP (Equal Cost Multipathing) помогает значительно расширить доступную полосу пропускания, за счет эффективного использования доступных линков. При этом удается достичь адаптируемости и масштабируемости сети. Устранение протокола STP (Spanning Tree Protocol) существенно повышает стабильность сети. Недостатки Leaf-Spine (например, ограничения VLAN) можно преодолеть при помощи таких решений, как SDN.

Нередко системные администраторы в маленьких компаниях особо не рассчитывают на обустройство своей серверной по последнему слову техники.

Однако что делать, если руководство все-таки прониклось «страданиями» сисадмина и запланировало в бюджете компании расходы на замену на «частное облако»?

Конечно же – немедленно составить список всего необходимого. И разработать проект организации новой серверной комнаты.

Начинаем…

Если времени и знаний не хватает, чтобы сделать это самостоятельно, можно нанять подрядчика или обратить внимание на готовые решения, которые присутствуют на рынке.

Итак, с чего начать проект обустройства? Конечно же с принятия решения о том, где будет размещено оборудование. Если для этих целей компания готова выделить специальное помещение, то выбирать можно между двумя моделями шкафов: SX и SV.

Оба варианта одинаково комплектуются колесиками, ножками, имеют крышки безинструментального монтажа, заземление, перфорированные двери и подлежат сбору/разбору. Однако последний вариант (SV) является более бюджетным, так как его стойки имеют меньшую несущую способность, а «крыша» не имеет отверстий для монтажа кабельных каналов.

Если нет отдельной комнаты

Если выделить отдельное помещение под серверную компания не может, остается один вариант – установка оборудования прямо в офисе. Модель CX как раз и предназначена для решения этой проблемы – по внешнему виду стойка напоминает деревянный шкаф, при этом она обеспечивает максимальную звукоизоляцию, объединенную вентиляцию и распределённое электроснабжение.

Что с питанием?

Следующий важный момент, который необходимо запланировать — электропитание. Компании предлагают огромный выбор источников бесперебойного питания (ИБП). Последнее поколение оборудовано ЖК-дисплеями, которые дают возможность отслеживать состояние ИБП и управлять ими без компьютера.

Также необходимо продумать систему охлаждения. При CX решение этой задачи уже реализовано – горячий воздух выводится встроенными вентиляторами в офисное помещение, где задачу кондиционирования должна уже решать централизованная система вентиляции.

Если же используется более мощное оборудование, выход только один – выделить под серверную отдельное помещение c серверным ИБП, которое будет хорошо охлаждаться.

Рука на пульсе

В процессе эксплуатации оборудования не менее важным считается и постоянный его мониторинг. Контролировать оборудование, отслеживать показания датчиков можно посредством инструмента NetBotz.

Как видим, чтобы спланировать и организовать полноценную серверную, лучше всего обратиться к специалистам и заказать готовое комплексное решение её обустройства. Программа автоматизированного проектирования поможет учесть все характеристики помещения, а опытные специалисты предложат максимально приемлемый вариант.