В процессе модернизации ЛВС в нашей организации возникла необходимость подключить к серверу компьютеры, находящиеся в корпусах на расстоянии 200м и 300м от серверной. Кабель UTP витая пара на таких расстояниях не работает без усиления сигнала. Поэтому решено было использовать опто-волоконные линии передачи данных, о чем и будет описано на этой странице.
Бюджет проекта был не большой, поэтому использован самый простой вариант монтажа оптики – без кроссировочной панели. Опто-волокно подключается через оптические модули напрямую в главный коммутатор и таким же способом подключается в коммутаторы в корпусах. Линии являются опто-волоконными патч-кордами большой длины. Предполагалось, что передача данных будет проходить на скорости не менее 1Гбит/с.
По результатам работ были выявлены некоторые недостатки получившейся системы. Если кто-нибудь будет использовать данное описание для своего проекта сети, учтите отмеченные ошибки.
Опто-волокно.
Выбран кабель LC/UPC-LC/UPC-657A1-DX 3.0mm LSZH. Две бухты 200м и 300м.
LC – тип коннекторов.
UPC – тип полировки волокна в коннекторе.
G657 – тип волокна (одномодовое).
A1 – класс волокна (не чувствительно к изгибам радиусом более 10мм).
DX – дуплекс.
3.0mm –диаметр оболочки.
LSZH – материал оболочки (мало дымящий).
Маркировка на кабеле.
Коннекторы.
Кабель состоит из симплексного опто-волоконного проводника, т.е. по нему ведется передача в одну сторону. Так как кабель сдвоен, то по одному проводу сигнал идет в одну сторону, а по другому – в другую. Получается что конструкция одного проводника симплексная, но кабель в целом – дуплексный, потому что он может одновременно вести прием и передачу.
Одномодовый кабель – значит он может распространять только один луч (волну, моду) света. Многомодовый – соответственно много лучей по одному кабелю.
Одномодовый кабель может передавать сигнал на расстояния большие (от 500м), чем многомодовый с меньшим количеством ошибок. В роли передатчиков сфокусированные лазеры. Многомодовые кабели используют на небольшие расстояния (до 500м) и часто внутри зданий. У них больше диаметр световых волокон, а для передачи используются светодиоды и не требуется узкая лазерная фокусировка. Однако, в нашем случае был закуплен одномодовый кабель, потому что у поставщика другого не было на момент выполнения проекта. В альтернативных условиях для подобных целей нужно рассматривать вариант многомодового кабеля. Так же следует исходить из расчета стоимости и других местных обстоятельств. Многомодовый кабель стоит дороже, чем одномодовый.
Оптические-модули.
SFP (Small Form-factor Pluggable) — промышленный стандарт модульных компактных приёмопередатчиков (трансиверов), используемых для передачи и приема данных в телекоммуникациях по технологии Ethernet через опто-волоконные линии (в данном случае).
Были закуплены два вида SFP-модулей на скорость 1Гбит/с и 10Гбит/с. Сперва купили два гигабитных модуля, убедились, что система работает, потом купили 10-ти гигабитные модули.
Модули на 1Гбит/с — OPL-SFP-LH-10 – максимальная скорость передачи 1,25Гбит/с. LH – Long Haul (разновидность модулей на дальние дистанции).
Стандарт, по которому работает модуль – 1000BASE-LX. Максимальная скорость передачи данных у этого стандарта 1Гбит/с.
Модули на 10Гбит/с — OPL-SFP+LR-10– максимальная скорость передачи 10Гбит/с. LR — Long Range (дальняя дистанция).
Оба типа модулей предназначены для работы с одномодовыми оптическими линиями с рабочей длинной волны 1310нм. Максимальная длинна линии до 10км.
Интерфейс LC DUPLEX т.е. в одном модуле два разъема для подключения двух проводов.
Торговая марка OPL была выбрана потому что, в наличии были только эти модули на момент проведения закупки.
Стандарт – 10GBASE-LR/LW – 10Гбит/с.
Коммутаторы.
Главный коммутатор в нашей ЛВС — CRS326-24G-2S+RM. В нем есть два разъема для подключения модулей SFP и SFP+. Этот коммутатор работает в сети уже давно и специально под оптику не подбирался.
В роли ответного коммутатора на другой стороне одной из линий был закуплен еще один такой же CRS326-24G-2S+RM.
В заявленных характеристиках указана поддержка модулей и скорость 10Гбит/с. На более глубоком уровне анализ не проводился, но в этом и оказалась ошибка. При рассмотрении блок-диаграммы этого коммутатора (с сайта MikroTik) можно заметить, что подключение процессора происходит с максимальной скоростью всего 1,3Гбит/с.
В нашей сети коммутатор работает с RouterOS, обработка трафика проходит через мосты и процессор и скорость 10Гбит/с не достижима в этих условиях. По этой причине модули на 10Гбит/с не могут полностью раскрыть свои возможности.
На второй линии использовали существующий ZYXEL GS1900-48, в котором так же есть разъемы для SFP-модулей.
Максимальная возможная скорость в этом коммутаторе 1Гбит/с. (www.zyxel.com)
Для всех коммутаторов модули подошли и заработали.
Монтажные работы.
Это наиболее трудоемкая часть. На монтаж одной линии 200м потребовался полный рабочий день. На линию 300м – два дня. Работы выполнялись внутри здания. Кабель размещен за подвесным потолком «Армстронг» в металлических лотках для ЛВС. Для работы требуется минимум два человека, стремянка, перфоратор.
Для защиты от механических повреждений кабель был помещен в ПВХ гофрированную трубку диаметром 20мм.
Концевики закручены изолентой на время монтажа. Так как кабель сдвоен, два концевика вместе не влезают в гофру. Пришлось разделять кабеля и связывать концевики со смещением. Альтернативный вариант – выбрать гофру диаметром 22мм или более, но в этом случае нужно бурить большие отверстия в стенах и перекрытиях между этажами сверлом D22мм, что так же не очень приемлемо.
Кабель и гофру пришлось размотать по всей длине и потом засунуть одно в другое.
Кабель длинной 300м в помещении размотать не получилось. Поэтому его разложили на улице. Потом засунули в гофру.
Кот пришел помогать и поправлял гофру лапой.
В итоге гофру с оптикой намотали на картоновую коробку.
Далее эту бухту разложили в здании за потолками.
В процессе укладки гофра имеет свойство запутываться, особенно при больших объемах.
В одном месте пробили электрические провода в стене. Подобные факторы нужно учитывать при выполнении работ.
Не желательно делать острые углы изгибов кабеля.
Возле распределительных шкафов остался запас опто-волокна 20-30м. Так как отрезать запас невозможно в виду заводской обжимки коннекторов, он был оставлен и уложен за потолком. Опто-волоконные линии не боятся запасов, а характеристики сигнала при таких длинах ухудшаются незначительно.
Подключение оборудования.
Оптические модули можно вставлять «на горячую», не выключая оборудования.
Порядок подключения проводов имеет значение. В серверной провода подключены в коммутатор по порядку 1-2.
В ответном РШ провода подключаются наоборот 2-1. Это связано с изменения направления прием-передача.
После включения линк сразу показал 10Гбит/с между двумя MikroTik CRS326.
Между MikroTik и ZYXEL для модуля 1Гбит/с передача данных тоже заработала.
В меню ZYXEL можно проверить отображение оптического линка.
Отображение интерфейса с модулем 1Гбит/с (коммутатор в серверной).
Отображение интерфейса с модулем 10Гбит/с (коммутатор в серверной).
Когда в серверной поломался кондиционер, температура модулей доходила до 53С.
Отображаемое значение статуса соединения 10Gbps. Реальную ситуацию может показать только тест скорости передачи данных.
Тесты скорости.
Bandwidth Test.
Первый тест проводился средствами RouterOS в микротиках (Tools >> Bandwidth Test).
Прием и передача, протокол UDP, оптика с 10-ти гигабитными модулями.
Передача (send): ~600Мбит/с
Прием (receive): ~800Мбит/с
Очевидно, что до гигабита не дотягивает. Большая потеря пакетов.
Прием и передача, протокол TCP. 
В этом случае скорость совсем низкая и в разных направлениях держится на уровне 100Мбит/с.
При подсоединении этого роутера с другим через прямой медный патч-корд длинной 1м тест скорости показывал примерно такие же значения. Возможно что-то с роутером.
В последствии выяснилось, что в роутере были включены 30-40 правил firewall, которые могут снижать скорость. С отключенными правилами тест не проводился.
Копирование файла.
Еще один тест был проведен в виде копирования большого файла из сервера в сетевое хранилище через опто-волоконную линию.
Копирование происходит со средней скоростью 35-40 МБ/с.
40Мбайт/с = 320Мбит/с. Протокол TCP. Правила firewall включены.
При этом процессор роутера загружается на 100%.
Btest для Windows.
Тест скорости можно провести с помощью программы btest.exe, которая скачивается с сайта MikroTik.
В тесте участвовали два произвольно выбранными ПК между опто-волоконной линией. На одном ПК программа запущена в качестве сервера, на втором ПК – в качестве клиента.
На ПК-1 активируем сервер, указываем логин и пароль.
В ПК-2 на клиенте указываем адрес сервера, логин, пароль.
Чтоб btest показывал корректные значения нужно указывать лимиты Local Tx Speed и Remote Tx Speed. При нулевых значениях тест не работает.
Получены значения в районе 100Мбит/с на 10-ти гигабитной трассе, протокол TCP.
С протоколом UDP в каждую сторону по очереди примерная средняя скорость 400-500Мбит/с.
При проведении этого теста компьютеры подключены к сети не напрямую в роутеры с модулями SFP, а через дополнительные коммутаторы и витые пары utp. Порты находятся в разных мостах. Эти факторы могут вносить дополнительные потери.
iPerf тест.
Скачать ПО можно по ссылке.
Работа происходит через командную строку.
ПК-1 192.168.6.80 сервер — ожидает трафик.
Запускаем сервер.
|
1
| d:iperfiperf3.exe —s |
ПК-2 192.168.5.4 клиент — передает трафик.
Запускаем.
|
1
| d:iperfiperf3.exe —c 192.168.6.80 |
Программа проводит ряд измерений и выводит результат. Протокол TCP. Тестирование проводилось на трассе с SFP-модулями 10Гбит/с.
Для измерения скорости в обратном направлении нужно добавить в команду на клиенте ключ –R (Reverse mode).
|
1
| d:iperfiperf3.exe —c 192.168.6.80 —R |
Скорость на трассе с 1-гигабитными модулями почему-то оказалась примерно такой же, как в тестах выше – около 300Мбит/с.
Итог:
Вопрос по созданию локальной сети на 200м и 300м решен с приемлемыми затратами.
Опто-волоконный кабель и SFP-модули можно было выбрать и получше. Но фактор централизованной закупки в очень ограниченный срок все решил.
Выводы по скорости сводятся к тому, что у оборудования есть 1-гигабитные или 10-ти гигабитные интерфейсы, но реальная скорость, с которой они могут передавать трафик, гораздо меньше. Скорость определяется не только оптикой, но и другими дополнительными факторами: порты в разных бриджах роутера, мощность процессора роутера, правила в firewall и QoS, сетевой уровень, протокол, доп. оборудование на трассе, прочий трафик и нагрузка в рабочей сети. Скорее всего при работе в режиме коммутатора с SwitchOS только на канальном уровне скорости были бы близки к заявленным производителем.
CRS326-24G-2S+RM с RouterOS не очень подходит для роли роутера с большой нагрузкой. По его стоимости он вполне нормально работает, хотя не дотягивает до желаемых результатов. Для достижения более высоких скоростей передачи данных нужно выбирать оборудование за гораздо большую стоимость.
В организацию закупили новый роутер CCR2004-16G-2S ROSv7 only. Подключение интерфейса для SFP+10Gbit/s по автосогласованию.
Тест скорости средствами ROS показывает 1Гбит/с в любом направлении для UDP (немного меньше для TCP) и далее упирается в загрузку процессора роутера на ответной стороне.
На ответной стороне CRS326. Для него тестовый трафик проходит по цепочке INPUT и соответственно в этом участвует процессор, который работает на пределе возможностей. Для проверки скорости линии 10Гбит/с нужно за роутером CRS326 подключить устройство с портом 10Гбит, трафик для CRS326 станет FORWARD и тест покажет реальную скорость по опто-волокну. Пока такой возможности для проведения теста нет.
Файлы в сети между компьютерами пользователей с одной стороны и сервером с другой стороны опто-волоконной линии начали копироваться с максимальной скоростью портов оконечного оборудования 1Гбит/с. Работать стало комфортнее, гигабайты данных загружаются за несколько минут. 
