топология и оборудование

классы сервиса

Из-за конечной скорости распространения сигнала в проводнике расстояние
между узлами неизбежно лимитирует время установления логического соединения. В худшем случае, когда порты удалены на максимально допустимые для Fibre Channel 10км, на путешествие сигнала в оба конца уйдет около 60 микросекунд, прежде чем узлы смогут приступить к обмену данными.

Поэтому для удовлетворения потребностей различных пользователей в пределах одной Fibre Channel решетки вполне разумным выглядит предоставление им на выбор нескольких вариантов работы в среде Fibre Channel.

В зависимости от требуемой полосы пропускания и наличия или отсутствия логического соединения устройства могут использовать сообщения разных типов, т.е. получать разные классы сервиса.

1 класс сервиса

Выделенное соединение, когда пользователю требуется полная пропускная способность канала, для чего устанавливается постоянное полнодуплексное логическое соединение между двумя портами с подтверждением о приеме, т.е. налицо некая смесь выделенной телефонной линии и заказного письма с уведомлением о вручении. Идеально подходит для случаев массивного обмена между двумя нагруженными портами при небольшом расстоянии между ними.

2 класс сервиса

Мультиплексная связь с гарантированной доставкой и получением подтверждения о приеме, но без установления логического соединения. Пропускная способность канала по потребности разделяется между конкурентными обменами всех участвующих N_портов. Все кадры доходят до адресата, причем не обязательно строго в той последовательности, как были посланы. В случае, если линия перегружена, отправитель получает сигнал "занято" и повторяет посылку немедленно, т.к. из-за отсутствия в Fibre Channel конфликтов здесь нет необходимости в задержке для повторной передачи (time-out). Данный класс сервиса наиболее эффективен для обмена между несколькими компьютерами и общим дисковым массивом, особенно при их удаленном расположении, когда время установления логического соединения может привести к увеличению латентности.

3 класс сервиса

Мультиплексная связь без установления логического соединения и без гарантии доставки, когда требуется быстрая рассылка нескольким узлам без подтверждения приема.

Существует также и промежуточный класс сервиса, называемый Intermix, когда вся пропускная способность канала резервируется под выделенное соединение 1-го класса, но позволяет в моменты его неполной загрузки пропускать потоки 2 и 3 классов.

топология

Применяемые при построении ЛВС механизмы контроля потоков являются топологически зависимыми, что делает невозможным одновременное использование Ethernet IEEE 802.x, FDDI ANSI, Token Ring IEEE 802.6 и прочих в пределах единой среды распространения. Несмотря на тот факт, что Fibre Channel в какой-то мере может напоминать столь привычные нам ЛВС, его механизм контроля потоков никак не связан с топологией среды распространения и базируется на совершенно иных принципах.

Каждый N_порт при подключении к решетке Fibre Channel проходит через процедуру регистрации (log-in) и получает информацию об адресном пространстве и возможностях всех остальных узлов, на основании чего становится ясно, с кем из них он сможет работать и на каких условиях. А так как механизм контроля потоков в Fibre Channel является прерогативой самой решетки, то для узла совершенно неважно, какая топология лежит в ее основе.

точка-точка

Самая простая схема, основанная на последовательном полнодуплексном соединении двух N_портов с взаимоприемлемыми параметрами физического соединения и одинаковыми классами сервиса. Один из узлов получает адрес 0, а другой — 1.

В сущности, такая схема может рассматриваться как частный случай кольцевой топологии, где нет необходимости в разграничении доступа путем арбитража. В качестве типичного примера такого подключения можем привести наиболее часто встречающееся соединение сервера с внешним RAID массивом.

петля с арбитражным доступом

Классическая схема подключения до 126 портов, с которой все и начиналось, если судить по аббревиатуре FC-AL.

Любые два порта в кольце могут обмениваться данными посредством полнодуплексного соединения точно так же, как и в случае "точка-точка". При этом все остальные выполняют роль пассивных повторителей сигналов уровня FC-1 с минимальными задержками, в чем, пожалуй, заключается одно из основных преимуществ технологии FC-AL перед SSA. Дело в том, что адресация в SSA построена на знании количества промежуточных портов между отправителем и получателем, поэтому адресный заголовок кадра SSA содержит счетчик переходов (hop count). Каждый встречающийся на пути кадра порт уменьшает содержимое этого счетчика на единицу и после этого заново генерирует CRC, тем самым существенно увеличивая задержку передачи между портами. Для избежания этого нежелательного эффекта разработчики FC-AL предпочли использовать абсолютную адресацию, что в итоге позволило ретранслировать кадр в неизменном виде и с минимальной латентностью.
Передаваемое с целью арбитража слово ARB не понимается и не используется обычными N_портами, поэтому при такой топологии дополнительные свойства узлов обозначаются, как NL_порт.

Основным преимуществом петли с арбитражным доступом является низкая себестоимость в пересчете на количество подключенных устройств, поэтому наиболее часто она используется для объединения большого количества жестких дисков с дисковым контроллером. К сожалению, выход их строя любого NL_порта или соединительного кабеля размыкает петлю и делает ее неработоспособной, из-за чего в чистом виде такая схема сейчас уже не считается перспективной. Кроме того, добавление или удаление NL_порта вызывает достаточно длительный процесс инициализации LIP (Loop Initialization Process), который может измеряться десятками секунд при большом количестве подключенных узлов.

В настоящее время наибольшее распространение получила схема организации петли с помощью активных концентраторов, которые умеют изолировать поврежденный NL_порт путем автоматического подключения внутреннего резервного пути.

Еще одним веским доводом в пользу использования концентратора являются расширенные возможности управления и более удобная схема межпортовых соединений.

коммутируемая решетка

Наиболее перспективная топология, позволяющая преодолеть все ограничения петли с арбитражным доступом и представить каждому N_порту выделенный канал FC-AL. Как уже понятно из названия, в основу решетки положен Fibre Channel коммутатор с F_портами (Fabric ports).

Примерно так же, как и в ЛВС, к портам коммутатора могут подключаться другие коммутаторы или концентраторы, в таком случае это будет называться соединением через E_порт или FL_порт соответственно.

аппаратные компоненты fibre channel

В сущности, оборудование для FC-AL может быть условно разбито на 4 основные категории - адаптеры, концентраторы, коммутаторы и маршрутизаторы. Количество производителей этого оборудования крайне ограничено, но присутствовать на рынке оно может как под торговыми марками самих производителей, так и под торговыми марками гигантов компьютерной индустрии.

адаптеры

Для подключения к решетке Fibre Channel любое периферийное устройство должно иметь N_ или NL_ порт, т.е. содержать в своем составе FC-AL адаптер. В отличие от рынка адаптеров для ЛВС, производителей адаптеров Fibre Channel можно пересчитать по пальцам из-за высокого начального барьера в виде затрат на разработку собственного набора микросхем, где наибольшего успеха добились компании Qlogic и Emulex.

В настоящее время подавляющее большинство адаптеров FC-AL выпускается для шины PCI (32 и 64 бит), хотя существуют также и модели, предназначенные для архитектуры S-bus, разработанные компанией Genroco.

Для соединения по оптоволокну практически все производители используют стандартный сдвоенный SC разъем, но при этом не стоит забывать, что за внешне одинаковыми разъемами могут скрываться различные лазерные излучатели для одно- или многомодового волокна.

По ряду причин для "медного соединения" в настоящее время применяется исключительно твинаксиальный кабель с экранированными разъемами DB-9 или HSSDC (High Speed Serial Data Cable).

Как правило, в гамме продуктов производителя присутствуют и модули GBIC (GigaBit Interface Converter) для подключения "медного" адаптера к оптической линии или наоборот. Рискнем утверждать, что каждый купленный GBIC почти наверняка свидетельствует о допущенной на этапе проектирования ошибке.

концентраторы

Появились на рынке в середине 96-го года как простые повторители сигнала, позволяющие организовать более удобную схему подключения. Обычно содержат не более 10-ти портов, но благодаря каскадному подключению достаточно просто достигнуть допустимого предела 126 NL_портов в единой петле. За три года концентраторы доказали свое право на существование, обросли массой полезных функций и, несмотря на это, сильно подешевели.

Примерно так же, как и в случае с адаптерами, весь рынок поделен между крайне небольшим количеством производителей - Emulex, Gadzoox Networks, StorageTek и Vixel.

Большинство присутствующих на рынке моделей умеют изолировать поврежденный узел путем создания внутреннего обходного пути, что существенно повышает надежность системы в целом. Кроме того, продвинутые модели используют цифровые методы восстановления несущей и отличаются развитыми возможностями удаленного администрирования.

Тем не менее, на основании собственного опыта мы считаем нецелесообразным создание больших петель с количеством узлов более нескольких десятков, не говоря уж о максимально допустимой цифре 127. И дело тут не только в конкуренции за канал между отдельными портами, но и в накапливающейся задержке распространения сигнала, которая может достигать 6 слов на каждый NL_порт и привести к суммарной латентности 24 мкс в кольце из 100 узлов.

Поэтому нам кажется, что основной областью применения концентраторов можно считать создание небольших или средних групп серверов и устройств хранения, к примеру, для создания кластера.

коммутаторы

Если же перед вами стоят более глобальные задачи, то для их решения потребуется новый класс устройств, позволяющих отказаться от петли с арбитражным доступом с такими присущими ей недостатками, как нарастающая по мере увеличения узлов латентность, долгая процедура инициализации LIP и конкуренция пользователей за пропускную способность канала.

Другими словами, пришло время вспомнить о преимуществах топологии коммутируемой решетки в виде практически мгновенного соединения "каждого с каждым" с образованием выделенного полнодуплексного канала, для чего и потребуется коммутатор Fibre Channel.
Первое устройство такого класса было выпущено на рынок в 1992 году фирмой Ancor Communications, поддерживало исключительно 1-й класс сервиса и вследствие этого было слишком дорогостоящим для массового рынка.

В настоящее время безусловным лидером является компания Brocade Communications, которая создала относительно недорогую серию коммутаторов Silkworm за счет отказа от невостребованной рынком избыточности сервисного класса 1. Кроме двух вышеперечисленных, коммутаторы производятся еще всего лишь двумя компаниями - Vixel и McDATA, слишком уж велики начальные вложения.

Коммутатор является наиболее эффективным, но при этом и наиболее дорогим устройством, поэтому перед его прибретением стоит подумать, насколько эффективно вы вкладываете свои деньги (или деньги заказчика? Тогда мы вам завидуем). Например, если планируется создать всего лишь ординарный серверный кластер с общим дисковым массивом, то схема "каждый с каждым" неизбежно выродится в "один со всеми остальными" и изощренный механизм переключений будет щелкать вхолостую.

Точно так же не стоит прибретать концентратор и в тех случаях, когда перед вами стоит задача объединить несколько петель. Гораздо выгоднее использовать для этого устройство промежуточного класса (гибридный концентратор) Denali Area Switch, выпускаемое компанией Gadzoox Networks. Почти наверняка можно ожидать скорого появления аналогичных устройств в гамме продуктов компании Vixel и, возможно, Brocade.

маршрутизаторы

Наименее многочисленный класс устройств, предназначенный для обмена данными между Fibre Channel и другими средами распространения. К примеру, производители ленточных библиотек до сих пор широко используют интерфейс SCSI, что не позволяет подключить столь нужное устройство напрямую к решетке Fibre Channel. Именно эту задачу и призваны решать маршрутизаторы, рынок которых пока все еще находится в зачаточном состоянии.

Типовые применения

Следующую серию публикаций мы посвятим рассмотрению SAN, CAN и созданию кластеров на их основе. Так что заглядывайте почаще, вдруг пригодится?