Архив метки: сети

5 ключевых HTTP-заголовков для веб-скрейпинга

Общие и повторяющиеся вопросы в мире веб-скрейпинга — как избежать блокировки целевыми серверами? И как повысить качество получаемых данных?

 

Заголовки HTTP для скрейпинга веб-страниц

  • User-Agent
  • Accept-Language
  • Accept-Encoding
  • Accept
  • Referer

Конечно, есть проверенные ресурсы и методы, такие как использование прокси или ротация IP-адресов, которые помогут вашему веб-скрейпингу избежать блоков.

Однако, другой метод, который иногда упускают из виду, заключается в использовании и оптимизации заголовков HTTP. Эта практика позволит значительно снизить шансы вашего веб-скрейпинга на блокировку различными источниками данных, а также обеспечит высокое качество получаемых данных.

В этой статье мы расскажем о 5 наиболее важных HTTP-заголовках, которые необходимо использовать и оптимизировать, и предоставим вам обоснование этого.

Заголовки HTTP позволяют клиенту и серверу передавать дополнительную информацию в запросе или ответе.

 

1. User-Agent

Заголовок запроса User-Agent передает информацию, связанную с идентификацией типа приложения, операционной системы, программного обеспечения и его версии, и позволяет целевому объекту данных решить, какой тип HTML-макета использовать в ответе, например, мобильный телефон, планшет или ПК.




User-AgentMozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5)

AppleWebKit/605.1.15 (KHTML, like Gecko)

Version/12.1.1 Safari/605.1.15

 

Поэтому, когда дело доходит до заголовка запроса User-Agent, не забывайте часто изменять информацию, содержащуюся в этом заголовке, что позволит существенно уменьшить ваши шансы получить блокировку. Аутентификация заголовка запроса User-Agent является обычной практикой веб-серверов, и это первая проверка, которая позволяет источникам данных идентифицировать подозрительные запросы. Например, когда выполняется очистка веб-страниц, многочисленные запросы отправляются на веб-сервер, и если заголовки запросов User-Agent идентичны, это может показаться как бот-подобная активность. Следовательно, опытные пользователи, занимающиеся очисткой веб-страниц, будут манипулировать и различать строки заголовков User-Agent, что, следовательно, позволяет отображать сеансы нескольких обычных пользователей.

2. Accept-Language

Заголовок запроса Accept-Language передает информацию, указывающую веб-серверу, какие языки понимает клиент, и какой конкретный язык предпочтителен, когда веб-сервер отправляет ответ обратно.




Accept-Languageen-gb

 

Тем не менее, ключ с заголовком запроса Accept-Language является релевантным. Важно убедиться, что установленные языки соответствуют целевому домену данных и IP-адресу клиента. Просто потому, что, если запросы от одного и того же клиента будут появляться на нескольких языках, это вызовет подозрения у веб-сервера в поведении, подобном ботам (неорганический подход к запросу), и, следовательно, они могут заблокировать процесс очистки веб-страниц. Стоит отметить, что этот конкретный заголовок обычно вступает в игру, когда веб-серверы не могут определить предпочтительный язык, например, через URL.

3. Accept-Encoding

Заголовок запроса Accept-Encoding уведомляет веб-сервер, какой алгоритм сжатия использовать при обработке запроса. Другими словами, в нем говорится, что требуемая информация может быть сжата (если веб-сервер может ее обработать) при отправке с веб-сервера клиенту.




Accept-Encodingbr, gzip, deflate

 

Однако при оптимизации это позволяет экономить объем трафика, что является беспроигрышной ситуацией как для клиента, так и для веб-сервера с точки зрения загрузки трафика. Клиент по-прежнему получает необходимую информацию (только сжатую), а веб-сервер не тратит свои ресурсы, передавая огромную нагрузку трафика.

 

4. Accept

Заголовок запроса Accept относится к категории согласования контента, и его целью является уведомление веб-сервера о том, какой тип данных может быть возвращен клиенту.




Accepttest/html,application/xhtml+xml,application/x

ml;q=0.9,*/*;q=0.8

 

Это так просто, как кажется, но распространенный сбой с очисткой веб-страниц игнорирует или забывает настроить заголовок запроса в соответствии с принятым форматом веб-сервера. Если заголовок запроса «Accept» настроен надлежащим образом, это приведет к более органичному взаимодействию между клиентом и сервером и, следовательно, уменьшит шансы блокировки веб-скрейпинга.

 

5. Referer

Заголовок запроса Referer содержит адрес предыдущей веб-страницы перед отправкой запроса на веб-сервер.




Refererhttp://www.google.com/

 

Не забывайте всегда настраивать заголовок запроса Referer и повышайте свои шансы на проскальзывание в соответствии с мерами защиты от скрейпинга, реализованными веб-серверами.Может показаться, что заголовок запроса Referer очень мало влияет на блокировку процесса очистки, хотя на самом деле это действительно так. Подумайте о моделях использования Интернета случайным органическим пользователем. Этот пользователь, скорее всего, путешествует по мощному интернету и теряет часы в течение дня. Следовательно, если вы хотите изобразить трафик веб-скрейпинга, чтобы он казался более естественным, просто укажите случайный веб-сайт перед началом сеанса скрейпинга веб-страниц.

 

Завершение

Теперь вы знаете, какие HTTP-заголовки для веб-скрейпинга нужно настроить, и это позволит увеличить шансы вашего веб-скребка на успешную и эффективную операцию извлечения данных.

Можно с уверенностью сказать, что чем больше вы знаете о технической стороне веб-скребка, тем более плодотворными будут ваши результаты. Используйте эти знания с умом, и, безусловно, ваш веб-скребок будет работать более эффективно и результативно.



2020-05-10T12:13:01
Сети

Будущее балансировки нагрузки зависит от данных

Облачные нативные приложения создаются на хорошем уровне. Хотя они еще не совсем доминируют в портфелях приложений, их количество растет. Интерес к контейнерам тесно связан с облачной архитектурой (на основе микросервисов) из-за внутренней зависимости для инфраструктуры связи и масштаба.

Как правило, масштабирование микросервисов достигается путем горизонтального клонирования. То есть, если нам нужно больше экземпляров данной службы, мы просто клонируем ее и добавляем в доступный пул, из которого балансировщик нагрузки решает отвечать на запросы. Очень просто. Когда эти микроуслуги близко представляют функциональные элементы, эта модель работает еще лучше.

Рассматриваемый балансировщик нагрузки часто является компонентом оркестратора контейнеров и по умолчанию использует стандартный алгоритм циклического алгоритма на основе TCP. Это означает, что приходит запрос, и балансировщик нагрузки выбирает для ответа ресурс «следующий в очереди».

Этот метод часто аналогичен линии в банке или DMV. Но это не совсем точно. В истинном циклическом сценарии вы не перенаправлены на «следующий доступный» ресурс. Вы будете перенаправлены на ресурс «следующий в очереди», даже если этот ресурс занят. По иронии судьбы, методы распределения в DMV и вашем местном банке более эффективны, чем настоящий алгоритм циклического перебора.

Это верно и для приложений. Одна и та же служба — даже на функциональном уровне — может быть клонирована, поскольку она обслуживает один и тот же набор запросов. Но эти запросы не всегда равны с точки зрения исполнения, потому что данные. Это верно, данные. Выполнение одного и того же функционального запроса — или вызова API — может занять больше или меньше времени в зависимости от данных, которые отправляются или запрашиваются. В конце концов, для извлечения и сериализации одной записи клиента потребуется меньше времени, чем для извлечения и сериализации десяти или ста записей клиента.

И вот где Round Robin ломается и вносит изменения, которые могут повлиять на производительность. Операционная аксиома № 2 по-прежнему применяется к облачным архитектурам и архитектурам на основе микросервисов: при увеличении нагрузки снижается производительность .

Круглый Робин похож на медового барсука. Не имеет значения, перегружен ли ресурс запросами со значительными наборами данных в качестве ответов. Круглый Робин говорит «ты следующий», готов ли ты или нет. Это может привести к неравномерной производительности для тех пользователей, чьи запросы попадают в очередь на все более загруженном ресурсе.

Если вы беспокоитесь о производительности — и вам следует это делать — тогда лучшей альтернативой будет, ну, почти любой из других стандартных алгоритмов, таких как наименьшее количество соединений или самое быстрое время отклика. По сути, вы хотите, чтобы ваш алгоритм учитывал нагрузку и / или скорость, а не просто вслепую подбирал запросы к ресурсам, которые не могут быть оптимальным выбором.

 

Будущее балансировки нагрузки

Некоторые могут подумать, что когда мы поднимемся по стеку TCP с HTTP на HTTP +, эта проблема решится сама собой. Это совсем не так. Метод распределения — алгоритм балансировки нагрузки — по-прежнему актуален независимо от уровня, на котором вы его основываете. Round Robin не заботится об архитектуре, он заботится о ресурсах и принимает решения на основе доступного пула. Независимо от того, предназначен ли этот пул для масштабирования одного вызова API или всего монолита, алгоритм не имеет значения.

Таким образом, было бы неплохо, если бы балансировщик нагрузки был достаточно умен, чтобы распознавать, когда запрос приведет к «более чем средним» данным до его выполнения. Некоторые брандмауэры веб-приложений, способны распознавать, когда результат выходит за рамки обычного, но это зависит от ответа и в первую очередь обеспечивает лучшую безопасность приложений. Нам нужно, чтобы балансировщик нагрузки стал достаточно умным, чтобы предсказать «очень большой» законный ответ.

Если бы балансировщик нагрузки был способен на такое распознавание, он мог бы учитывать это при принятии решений и более равномерно распределять запросы по доступным ресурсам. Мы действительно хотим, чтобы нас не заставляли указывать жесткий алгоритм принятия решений. Было бы лучше, если бы балансировщик нагрузки мог принимать решение, основываясь на бизнес-порогах и технических характеристиках, таких как время отклика, ожидаемое время выполнения, размер возвращаемых данных и нагрузка прямо сейчас на каждый ресурс.

В конечном счете, это тот тип интеллекта, который может быть реализован только благодаря лучшей видимости и машинному обучению. Если балансировщик нагрузки может научиться на опыте распознавать, какие запросы занимают больше времени, чем другие, он может затем применить эти знания для лучшего распределения запросов, чтобы можно было достичь согласованного, предсказуемого времени отклика.

Балансировка нагрузки не уходит. Это наш лучший технический ответ на масштабирование всего от сети до приложений. Но он должен развиваться вместе с остальной инфраструктурой, чтобы быть более динамичным, автономным и интеллектуальным.



2020-05-03T14:47:21
Сети

BASEUS 9 in 1, ультра портативный USB-C концентратор и подставка для MacBook Pro

BASEUS 9 in 1 является самым маленьким в мире хабом и подставкой, когда-либо созданным, который работает с 13, 15, 16-дюймовыми MacBook Pro 2017 ~ 2019, чтобы значительно расширить возможности подключения, повысить эффективность и производительность, одновременно подняв его на более удобную высоту и поддерживая ваш стол в чистоте и аккуратности.

Выдающиеся преимущества хаба для MacBook BASEUS 9 in 1 перед другими MacBook Pro Hub:

  •  Длится намного дольше — блокирующая конструкция скрывает заглушки от царапин и защелок
  •  Супер маленький и портативный — весит всего 90 грамм и помещается на ладони
  •  Никакого перегрева — не закрывает вентиляционные отверстия
  •  Быстрое подключение к Интернету — включает порт Gigabit Ethernet 1000 Мбит/с

BASEUS 9 in 1 — это первый в мире концентратор с революционным механизмом блокировки, который после отключения плотно прилегает к портам USB-C по обеим сторонам MacBook Pro, чтобы добавить множество портов при зарядке до макс. 100 Вт и более, чтобы прочно поднять его для более комфортного набора текста и просмотра и лучшей тепловой вентиляции.

Ультра портативный USB-C концентратор и подставка для MacBook Pro

 

Он блокируется так же, как кубик головоломки, который упаковывается маленьким, скрывая заглушки внутри, что позволяет вам легко получать доступ ко всем вашим любимым портам в любое время и в любом месте.

Он предназначен исключительно для работы с MacBook Pro, различных моделей от 13 до 16 дюймов, выпущенных в 2017 ~ 2019 годах.

BASEUS 9 in 1 позволяет одновременно подключать звук Thunderbolt 3 USB-C, USB-C, USB-A, HDMI, Ethernet и 3,5 мм, сохраняя при этом максимальную скорость зарядки MacBook Pro. 100W. Это экономит ваши деньги, помогает вам оставаться организованным и превращает ваш ноутбук в полноценную рабочую и развлекательную станцию.

Все наиболее часто используемые порты расположены на задней панели BASEUS 9 in 1, поэтому подключенные устройства и кабели скрыты от глаз, чтобы обеспечить беспрепятственный доступ к рабочему столу.

BASEUS 9 in 1 подключается к вашему MacBook Pro настолько надежно, что не возникает нестабильного соединения, даже когда все порты заняты.

Поверхности BASEUS 9 in 1, соприкасающиеся с вашим ноутбуком и столом, покрыты тонким кремнием, чтобы не поцарапать. Ваш MacBook Pro остается на BASEUS 9 in 1, когда вы вовлечены в напряженные онлайн-сражения или написание статьи.

В BASEUS 9 in 1 есть два порта для подключения к Thunderbolt 3 на MacBook Pro. Значительно превосходные функции доставки энергии, передачи данных и вывода видео могут быть достигнуты через соединения с этими двумя портами.

Ультра портативный USB-C концентратор и подставка для MacBook Pro

 

Они могут доставлять энергию в обоих направлениях. Они способны заряжать ваш MacBook Pro до 100 Вт или, альтернативно, могут заряжать устройство до 15 Вт. Их можно использовать для подключения к док-станции или дисплею и одновременной зарядки MacBook Pro, поэтому вам не придется беспокоиться о разряде питания.

Они передают данные со скоростью до 40 Гбит/с, что в восемь раз быстрее, чем через USB 3. Вы можете копировать тонны HD-видео, фотографий или песен менее чем за одну минуту.

Они позволяют вашему MacBook Pro поддерживать дисплей с высоким разрешением до 5K @ 60 Гц, позволяя вам наслаждаться захватывающим визуальным восприятием на нескольких мониторах Macbook/Mac/iMac.

Вы также можете подключить дисплей с помощью порта HDMI 4K @ 30 Гц на BASEUS 9 in 1, чтобы получить потрясающее изображение на телевизоре/экране/проекторе.

Ультра портативный USB-C концентратор и подставка для MacBook Pro

 

BASEUS 9 in 1 оснащен одним USB-C и тремя USB-A 3.0 для подключения к различным периферийным USB-устройствам, таким как флэш-накопитель, жесткий диск, клавиатура, мышь, принтер, камера, смартфон, MP3-плеер и многое другое.

Они позволяют передавать данные между вашим MacBook Pro и устройствами со скоростью до 5 Гбит/с, предлагая макс. Выходная мощность 10 Вт (5 В/2 А) для устройств. (USB-C является только портом для зарядки.)

BASEUS 9 in 1 оснащен портом Gigabit Ethernet, который позволяет вашему MacBook Pro использовать более стабильное и быстрое подключение к Интернету до 1000 Мбит/с.

BASEUS 9 in 1 поставляется с разъемом для наушников 3,5 мм. Просто подключите наушники или колонки, и вы готовы насладиться первоклассным звуковым эффектом.

BASEUS 9 in 1 сочетает в себе высокофункциональный концентратор Type-C с подставкой для ноутбука и предназначен исключительно для MacBook Pro 2017/2018/2019. Он предлагает три USB 3.0, HDMI, RJ45, Type-C (передача данных) и два типа C (Thunderbolt 3). Он поддерживает подачу питания 100 Вт, выход HDMI высокого разрешения 4K и 30 Гц, полнофункциональное соединение Thunderbolt 3 (видео, данные и питание) и Gigabit RJ45 Ethernet. Это маленький, стильный и портативный.

BASEUS 9 in 1 обладает уникальным механизмом блокировки, специально разработанным для MacBook Pro для работы в качестве концентратора и единой стойки, для расширения соединений и экономии места.

Ультра портативный USB-C концентратор и подставка для MacBook Pro

 

MacBook Pro работает от 100% батареи, а BASEUS 9 in 1 заряжает его до 34 Вт через порт Thunderbolt 3. Когда батарея MacBook Pro падает ниже 5%, BASEUS 9 in 1 быстро заряжает ее до 100 Вт.

Сигнал Wi-Fi не меняется, а соединение является сильным и не измененным после подключения BASEUS 9 in 1 к MacBook Pro.

Скорость передачи файлов остается неизменной после подключения BASEUS 9 in 1 к MacBook Pro. Для того, чтобы использовать ТВ3 порт на BASEUS 9 in 1 не влияет на скорость передачи файлов.



2020-04-27T20:15:55
Сети

Как повернуть IP-адрес (ротация)?

В неизбежную цифровую эру вполне вероятно, что вы столкнулись с термином «вращающийся IP-адрес». Однако, когда дело доходит до объяснения, что такое ротация IP-адресов и причина, по которой он работает, это может стать проблемой. Чтобы полностью понять цель этой практики, давайте сначала вернемся к основам.

 

Что такое ротация IP-адресов?

Ротация IP-адресов — это процесс, в котором назначенные IP-адреса распределяются на устройство случайным образом или через запланированные промежутки времени администратором или программным обеспечением для ротации IP-адресов.

Итак, это определение. Однако давайте сделаем несколько шагов назад, чтобы полностью понять цель ротации IP-адресов.

 

Что такое IP-адрес?

IP-адрес определяет каждое устройство, подключенное к Интернету, так же, как наши физические адреса определяют, куда следует доставлять письма, посылки и другие товары.

Вот случайный пример IP-адреса: 35.247.223.33

То, что кажется просто случайным набором цифр, фактически позволяет компьютерам или устройствам общаться через Интернет с другими онлайн-ресурсами.

IP означает Интернет-протокол, который, по сути, представляет собой особый набор правил, регулирующих все операции в Интернете. С точки зрения сетевого взаимодействия, интернет-протокол гарантирует, что все ресурсы, подключенные к Интернету, могут эффективно интегрироваться во всю структуру и, следовательно, пересылать или маршрутизировать пакеты данных на основе их IP-адресов.

Суть в том, что для одного устройства для связи с другими ресурсами в сети, IP-адрес является необходимостью.

Версии IP-адреса

В настоящее время существует две версии IP-адресов.

  • Обычно используется — интернет-протокол версии 4 (IPv4).
  • Предстоящий преемник — интернет-протокол версии 6 (IPv6).

И IPv4, и IPv6-адреса поступают из конечного пула IP-адресов.

Для версии IPv4 этот пул имеет размер 32 бита (2 ³²) и содержит 4 294 967 296 IP-адресов.

В то время как для версии IPv6 этот пул имеет размер 128 бит (2¹2⁸) и содержит 340 282 366 920 938 463 463 374 607 431 768 211 456 IP-адресов.

 

Объяснение ротации IP-адресов

Ротация IP-адресов — это процесс, при котором назначенные IP-адреса распределяются на устройство случайным образом или через запланированные интервалы.

Например, когда соединение активно через интернет-провайдера (IPP), IP-адрес автоматически присоединяется из пула IP-адресов. Как только происходит отключение и повторное подключение, интернет-провайдер распределяет следующий доступный IP-адрес, создавая ротацию IP-адресов.

Интернет-провайдеры используют ротацию IP-адресов, поскольку в их распоряжении обычно больше пользователей, чем IP-адресов. Следовательно, когда конкретный пользователь отключается, интернет-провайдер вернет последний использованный IP-адрес пользователя в его пул IP-адресов, обеспечивая тем самым оптимизацию существующих ресурсов.

 

Что такое ротация прокси?

Таким образом, интернет-провайдеры меняют IP-адреса, и этот процесс прозрачен для их пользователей. Однако в онлайн-мире существует множество случаев, когда интернет-пользователи намеренно меняют свой IP-адрес. На самом деле, даже не IP-адрес, но они чередуют прокси, что позволяет им работать под несколькими разными IP-адресами.

Если прокси-сервер точно настроен, можно вращать IP-адреса из прокси-пула IP-адресов. С помощью ротационных прокси вы можете управлять многочисленными подключениями с одного устройства, а выполнение операций веб-сканирования и очистки данных становится намного проще.

В отличие от настройки прокси вручную, как в случае с прокси Chrome , здесь, в Oxylabs, мы предлагаем Proxy Rotator, который сделает всю работу за вас. Как это работает? Клиент получает один входной узел (с необходимым количеством статических прокси внутри), который используется как статический адрес для получения прокси из списка. Остальное — чистая магия на нашей стороне! Ротатор работает методом случайных IP-адресов, то есть он вращает IP-адрес при каждом запросе.

 

Зачем вращать прокси?

Прежде всего, прокси ротация повышает уровень анонимности. Во-вторых, как уже упоминалось, это широко используемая практика для автоматизации таких задач, как очистка данных и сканирование в Интернете, чтобы повысить вероятность успеха.

Когда дело доходит до операций очистки веб-страниц, многие сталкиваются с проблемой предотвращения блокировки веб-сайтов при попытке сбора данных.

Несколько методов могут помочь в предотвращении блоков, и один из них — прокси ротация. Это может помочь управлять скребками после большинства антискребущих мер, поскольку позволяет имитировать поведение нескольких органических пользователей. Следовательно, повышается вероятность того, что вас не обнаружат при сборе огромного количества данных.

Существует бесчисленное множество случаев, когда используется прокси-ротация.

Например, SEO-фирмы используют прокси-серверы, которые автоматически поворачиваются для проверки ранжирования ключевых слов в разных местах или для продвижения определенного контента в социальных сетях.

Принимая во внимание, что компании, занимающиеся разведкой данных, автоматически меняют прокси-серверы для очистки веб-сайтов в целях анализа и повышения производительности.

Список можно продолжить…

Таким образом, если вы реализуете ротационную прокси-инфраструктуру и делаете это правильно, вероятность того, что веб-сайты будут заблокированы, невелика.

 

Что такое вращающиеся прокси?

При ознакомлении с условиями вы можете найти вращающиеся прокси и вращение прокси рядом. Однако вращение прокси может означать совершенно другую вещь, чем вращение прокси.

 

Что такое вращающийся прокси?

Вращающиеся прокси — это жилые прокси, которые меняют свои IP-адреса после каждого запроса или могут быть основаны на времени и меняться через несколько минут.


В отличие от прокси-серверов центров обработки данных, вращающиеся жилые прокси-серверы не нуждаются в прокси-ротаторе и являются самовращающимися.

 

Инструменты, которые вращают прокси для вас

Если вы используете прокси-инструмент, такой как скребок или сканер, они автоматически поворачивают прокси.

 

Как часто сканерам нужно поворачивать IP?

Во время просмотра веб-страниц ротация IP-адресов может вращаться не более 10 минут, но время у разных поставщиков различается.

 


Заключение

Теперь вы знаете, что дает комбинация прокси-серверов и ротации IP-адресов, и какую цель она выполняет. Если вы действительно выполняете задачи очистки данных и сканирования в Интернете, мы настоятельно рекомендуем внедрить высококачественное решение для ротации прокси-серверов, чтобы повысить ваши показатели успеха и защитить инфраструктуру пула прокси-серверов.



2020-04-17T05:29:33
Сети

Сетевая топология Leaf-Spine

В проектировании сетевой инфраструктуры для дата-центров наметилась тенденция создания быстрой, масштабируемой и эффективной коммуникационной архитектуры. Архитектура Leaf-Spine как раз и отвечает таким запросам.

Объемы данных передаваемых по сети как внутри ЦОД, так и вовне, растут в геометрической прогрессии. Классическая трехуровневая сетевая архитектура «ядро – агрегация – доступ» начинает устаревать. Она постепенно заменяется т.н. Leaf-Spine архитектурой, которая способна быстро адаптироваться к непрерывно меняющимся потребностям предприятий, использующих «анализ больших данных» (Big Data), требующих несколько иных подходов к построению дата-центров.

Традиционная трехуровневая архитектура использовалась в сетях общего применения, обычно сегментированных в точках доставки PoD (Point of Delivery), которые ограничивали расположение устройств, таких как сервера виртуализации. Классическая архитектура обычно состоит из маршрутизаторов ядра сети (Core), маршрутизаторов уровня агрегации (Aggregation, иногда – Distribution) и коммутаторов доступа (Access). С целью резервирования они соединялись дублированными линками, которые в сети могли образовывать петли. Для устранения этого нежелательного явления использовался протокол Spanning Tree. Во время работы все маршруты, кроме основного, деактивируются. Резервный маршрут активируется только при отказе основного.

Рис. 1: Традиционная трехуровневая архитектура.

В архитектуре Leaf-Spine имеются только два уровня, при этом все устройства «равноудалены» от коммутаторов «ядра», т.е. имеют одинаковые и предсказуемые задержки при передаче пакетов. Эти уровни называются Leaf и Spine. Уровень Leaf состоит из коммутаторов доступа, подключенных к другим устройствам дата-центра: серверам, межсетевым шлюзам, балансировщикам нагрузки и оконечным коммутаторам. Уровень Spine, состоящий из маршрутизирующих коммутаторов, является ядром сети, где каждый Leaf-коммутатор подключен к каждому из Spine-коммутаторов. Между уровнями используется динамическая маршрутизация Layer 3, чтобы обеспечить предсказуемое расстояние между устройствами. Динамическая маршрутизация позволяет обеспечить наилучший маршрут. Такая архитектура предназначена в основном для дата-центров и ориентирована на трафик «East-West». В таком трафике передаются только данные, предназначенные для использования только внутри дата-центра. Этот новый подход решает присущие протоколу Spanning Tree ограничения, и дает возможность использовать и другие сетевые протоколы, а также методы построения динамичной сети.

Leaf-Spine

Рис. 2: Архитектура Leaf-Spine

В сети Leaf-Spine используется маршрутизация Layer 3. Все маршруты сконфигурированы в активном режиме при помощи протокола равноудаленных маршрутов ECMP (Equal-Cost Multipathing). Это позволяет всем соединениям быть активными одновременно при сохранении стабильности без боязни образования петель внутри сети.

В традиционных протоколах коммутации Layer 2, таких как STP (Spanning Tree) в трехслойных сетях, все устройства должны быть правильно и вручную сконфигурированы и должны быть учтены все особенности STP. При этом очень велика вероятность ошибки конфигурации, в частности, неправильного определения приоритетов устройств, что может повлечь неэффективную прокладку маршрутов.

Преимущества Leaf-Spine

Замена STP между уровнями Access и Aggregation на маршрутизацию Layer 3 дает более стабильную работу сети. Другое преимущество – легкость добавления дополнительного оборудования и расширение емкости. При возникновении перегрузки линков (oversubscription), что означает генерацию бóльшего объема трафика, чем его может воспринять уровень агрегации), способность к увеличению емкости является очевидным преимуществом. Эта проблема легко решается добавлением еще одного коммутатора Spine. Точно также можно добавлять коммутаторы Leaf, когда не хватает портов доступа. При этом сеть легко расширяется и при этом не требуется возня с протоколами Layer 2

Недостатки Leaf-Spine

При использовании сетевой архитектуры Leaf-Spine возникают и некоторые проблемы. Во-первых, это большое количество кабельной «лапши» в стойках дата-центра, что видно даже на рисунке, показывающем архитектуру Leaf-Spine. И при добавлении новых коммутаторов на обоих уровнях эта проблема будет только расти. Нужно очень тщательно выбирать место расположения коммутаторов Spine в дата-центрах, особенно больших, чтобы минимизировать эту проблему.

Во-вторых, основной недостаток происходит от использования маршрутизации Layer 3, который не дает развертывать виртуальные сети VLAN во всей сети. Сети VLAN в архитектуре Leaf-Spine локализуются в каждом из Leaf-коммутаторов и другим Leaf-коммутаторам недоступны. Это может создавать проблемы при обеспечении мобильности гостевой виртуальной машины в пределах дата-центра.

Примеры применения Leaf-Spine

Веб-приложения, где расположение сервера внутри сети статично – подходящее применение для Leaf-Spine. Использование маршрутизации Layer 3 между уровнями не препятствует работе масштабируемых веб-приложений, потому что они не требуют мобильности серверов внутри дата-центра. Устранение протокола Spanning Tree (STP) положительно влияет на стабильность и надежность сети с преобладанием внутреннего трафика дата-центра (East-West). Масштабируемость архитектуры также улучшается.

Корпоративные приложения с использованием мобильных виртуальных машин (напр. vMotion) создают некоторые проблемы при обслуживании серверов в пределах дата-центра. Причина – использование Layer 3 и невозможность расширения VLAN между Leaf-коммутаторами. Для решения этой проблемы, может быть использовано решение программно-конфигурируемых сетей SDN (Software Defined Networking), которое создает виртуальный уровень Layer 2 поверх сети Leaf-Spine. При этом виртуальные серверы могут свободно перемещаться внутри среды дата-центра, без ухудшения эффективности трафика East-West, масштабируемости и стабильности топологии сети Leaf-Spine.

Как альтернатива маршрутизации Layer 3, в топологии Leaf-Spine могут использоваться и другие протоколы, такие как TRILL (Transparent Interconnection of Lots of Links) или SPB (Shortest Path Bridging), с которыми можно достичь схожей функциональности. При этом задействуется протокол ECMP уровня Layer 2, когда Spanning Tree работает только для организации VLAN’ов между Leaf-коммутаторами.

 Выводы

Таким образом, сети Leaf-Spine имеют существенные преимущества перед традиционной трехслойной архитектурой сети. Использование маршрутизации Layer 3 с протоколом ECMP (Equal Cost Multipathing) помогает значительно расширить доступную полосу пропускания, за счет эффективного использования доступных линков. При этом удается достичь адаптируемости и масштабируемости сети. Устранение протокола STP (Spanning Tree Protocol) существенно повышает стабильность сети. Недостатки Leaf-Spine (например, ограничения VLAN) можно преодолеть при помощи таких решений, как SDN.



2020-03-31T12:34:36
other

Как построить серверную, за которую можно быть спокойным

Нередко системные администраторы в маленьких компаниях особо не рассчитывают на обустройство своей серверной по последнему слову техники.

Однако что делать, если руководство все-таки прониклось «страданиями» сисадмина и запланировало в бюджете компании расходы на замену на «частное облако»?

Конечно же – немедленно составить список всего необходимого. И разработать проект организации новой серверной комнаты.

Начинаем…

Серверная в офисе

Если времени и знаний не хватает, чтобы сделать это самостоятельно, можно нанять подрядчика или обратить внимание на готовые решения, которые присутствуют на рынке.

Итак, с чего начать проект обустройства? Конечно же с принятия решения о том, где будет размещено оборудование. Если для этих целей компания готова выделить специальное помещение, то выбирать можно между двумя моделями шкафов: SX и SV.

Оба варианта одинаково комплектуются колесиками, ножками, имеют крышки безинструментального монтажа, заземление, перфорированные двери и подлежат сбору/разбору. Однако последний вариант (SV) является более бюджетным, так как его стойки имеют меньшую несущую способность, а «крыша» не имеет отверстий для монтажа кабельных каналов.

Если нет отдельной комнаты

Если выделить отдельное помещение под серверную компания не может, остается один вариант – установка оборудования прямо в офисе. Модель CX как раз и предназначена для решения этой проблемы – по внешнему виду стойка напоминает деревянный шкаф, при этом она обеспечивает максимальную звукоизоляцию, объединенную вентиляцию и распределённое электроснабжение.

Что с питанием?

ИБП для серверной

Следующий важный момент, который необходимо запланировать — электропитание. Компании предлагают огромный выбор источников бесперебойного питания (ИБП). Последнее поколение оборудовано ЖК-дисплеями, которые дают возможность отслеживать состояние ИБП и управлять ими без компьютера.

Также необходимо продумать систему охлаждения. При CX решение этой задачи уже реализовано – горячий воздух выводится встроенными вентиляторами в офисное помещение, где задачу кондиционирования должна уже решать централизованная система вентиляции.

Если же используется более мощное оборудование, выход только один – выделить под серверную отдельное помещение c серверным ИБП, которое будет хорошо охлаждаться.

Рука на пульсе

В процессе эксплуатации оборудования не менее важным считается и постоянный его мониторинг. Контролировать оборудование, отслеживать показания датчиков можно посредством инструмента NetBotz.

Как видим, чтобы спланировать и организовать полноценную серверную, лучше всего обратиться к специалистам и заказать готовое комплексное решение её обустройства. Программа автоматизированного проектирования поможет учесть все характеристики помещения, а опытные специалисты предложат максимально приемлемый вариант.



2020-03-05T18:11:46
Сети