Меню

Cisco mds настройка san



antiCisco blogs

блоги по технологиям и оборудованию cisco от инструкторов

Storage Area Network (SAN) Switching

Опубликовано Minorioo 1 Апрель , 2014

Fibre Channel

Всем тем, кто работает в сетях хранения хорошо известно, что такое Fibre Channel (FC). Но «классическим» сетевикам это понятие может быть в новинку. Если не углубляться в детали для чего он нужен, то на high-level FC можно представить как переход от дисков, которые подсоединяются по проводам к сетевому подключению. Т.е. FC по сути представляет собой целиковый стек протоколов, по которым осуществляется доступ от инициатора (сервера) к фабрике.

Каждый физический FC интерфейс на коммутаторе может работать в одном из доступных ему режимов.

  • E-port (expansion). Подсоединяется к другому Е-порту для создания межкоммутаторного линка (Inter-Switch Link, ISL). Е-порты переносят фреймы, которые предназначаются конечным серверам. По сути, это аналог 802.1Q в LAN сетях.
  • F-port (fabric). Подсоединяется к периферийному устройству (серверу или диску). Аналог access-порта.
  • N-port (node). Порт на сервере (дисковом устройстве), подсоединяется к F-порту.

Точно также, как в классических IP-сетях используются МАС и IP-адреса, в FC предусмотрена своя адресация. У каждого порта есть свой World Wide Name (WWN), который покупается производителем у IEEE.

WWN’ы бывают двух типов:

  • Node WWN (nWWN). Уникально идентифицирует устройство. Каждая FC сетевая плата, коммутатор, шлюз и FC диск имеют по одному уникальному nWWN.
  • Port WWN (pWWN). Идентифицирует конкретный порт на устройстве. Т.е. двойной HBA (Host Bus Adapter) имеет три WWN: один nWWN и два pWWN.

Помимо встроенных аппаратных адресов у устройств есть логический адрес – FC Identificator (FCID). Это 3-ех байтный адрес, который назначается устройству фабрикой (!). Адрес состоит из трех частей:

  • Domain ID. У каждого коммутатора DID свой и является уникальным в фабрике.
  • Area ID. Характеризует группу портов внутри логической зоны.
  • Port ID.

Собственно, FCID используется в Data Plane операциях на FC-коммутаторах. За назначение FCID на коммутаторы отвечает специальный коммутатор, который называется основным (principal switch). Он выбирается в сети автоматически и не требует никакой дополнительной конфигурации. Единственное его отличие от всех остальных коммутаторов в сети – ответственность за назначение FCID. Но если Вам очень захочется, то можете руками определить основной свитч с помощью команды fcdomain priority (меньше – лучше).

Прим. Важно: для увеличения стабильность фабрики, никакой новый коммутатор не может стать основным при подключении в сеть, если такой свитч уже был выбран.

После того, как principal свитч был выбран, посмотрим, что происходит, когда в фабрику подсоединяется новое устройство (будь то новый диск, сервер или коммутатор).

Fabric Channel Login

Прежде чем N-порт сможет обмениваться данными с другим N-портом, должна пройти некая последовательность действий:

  • N-порт должен присоединиться к фабрике. Это процесс называется Fabric Login (FLOGI)
  • О новом порту должно быть известно всем остальным устройствам в фабрике

Рассмотрим процесс FLOGI. Он начинается в тот момент, когда N-порт подсоединяется к F-порту.

  • F-порт высылает стартовое сообщение к N-порту (not-operational sequence, NOS)
  • Когда N-порт получает NOS, отвечает сообщением OLS (Offline State Sequence), тем самым начиная инициализацию линка.
  • Далее N-порт высылает Link Reset (LR) в сторону F-порта, на что последний отвечает сообщением LR Response (LRR).
  • После поднятия линка N-порт высылает FLOGI-сообщение на зарезервированный адрес 0xFFFFFE (который закреплен за Login Server’ом – аналог DNS сервера в IPv4/IPv6).
  • Login Server высылает сообщение Accept в сторону N-порта. В сообщении содержится FCID устройства.
  • Следующим шагом является общение N-порта с Fabric Name Server (это не какой-то конкретный коммутатор, а фабрика целиком). N-порт на него передает свои основные параметры: buffer2buffer кредиты, MTU, поддерживаемые CoS’ы и пр.
Читайте также:  Диск для настройки акустической системы

После завершения Fabric Login, в результате которого устройство регистрируется на фабрике, по требованию (когда хост хочет передать данные на другой диск) начинается процесс Port Login (PLOGI). Его целью является установление логической сессии между двумя интерфейсами для последующего обмена информацией (аналог установления TCP-сессии).

PLOGI начинается с порта устройства-инициатора.

  • Инициатор высылает PLOGI сообщение в сторону нужной «цели», внутри которого содержатся операционные параметры (аналог флага SYN).
  • Удаленный порт отвечает сообщением ACC, которое говорит о готовности к общения (аналог SYN+ACK).

После этого сессия считается установленной и в дело вступают протоколы более высокого уровня (напр. запись базы данных SQL на удаленный диск). Сей процесс известен как Process Login.

Fibre Channel Flow Control

В сетях хранения данных важнейшим условием является обеспечение lossless среды (т.е. среды передачи данных без потерь) при обмене данными между портами серверов (эта критичность связана с работой SCSI). Это так называемый FC Flow Control, в основу которого положена структура кредитов, которая заключается в том, что Tx порт высылает кадры только в том случае, если есть уверенность в том, что Rx порт в данный момент не перегружен и может этот кадр принять и обработать. Весь процесс устроен примерно следующим образом:

  • Когда Tx высылает PLOGI запрос, Rx отвечает ему сообщением ACC. ACC кадр содержит в себе информацию о размере и числе кадров, который могут поместиться в буфер (BB_Credit). Tx сохраняет эту информацию себе в таблицу.
  • Также Tx запоминается значение, которое называют Buffer-to-Buffer Credit Count (BB_Credit_CNT), которое символизирует размер используемых кредитов. BB_Credit_CNT в самом начале выставляется в нулевое значение.
  • Каждый раз когда Tx посылает кадры, он увеличивает BB_Credit_CNT.
  • При получении кадра, Rx обрабатывает его и помещает в свой буфер. После этого Rx высылает Receiver Ready (R_RDY), информируя Tx о том, что буфер свободен.
  • Когда Tx порт получает R_RDY, он декрементирует значение BB_Credit_CNT.

Tx никогда не допускает ситуации, при которой BB_Credit_CNT становится больше, чем BB_Credit. Т.е. если Tx не получил подтверждения от Rx о свободном буфере, то передача кадров приостанавливается.

FC Zoning

Одним из важнейших понятий в FC является понятие Zoning. По сути, это некий аналог ACL, который распространяется на всю фабрику целиком. Также, применения зонинга является обязательным.

Основой зонинга является разделение различных устройств в разные зоны. Хосты, которые относятся к разным зонам не могут общаться между собой.

Базовая настройка Fibre Channel

У циски FC поддерживается на Nexus5K и MDS9K. В случае Nexus’а сейчас нам доступны модели двух поколений: 5500 и 5600. Почти все коммутаторы имеют в парт-номерах приставку UP (например, Nexus 5548UP). Это значит, что эти порты – унифицированные, т.е. могут работать как в режиме FC, так и в режиме Ethernet. По умолчанию, все порты – Ethernet. У MDS все порты исключительно Fibre Channel.

Прежде всего (если мы работаем с N5K) надо перевести часть портов в FC режим. Есть нюанс: мы не можем поменять роль произвольных портов. Номера FC портов всегда должны начинаться с последнего парта в коммутаторе (или же в модуле расширения). Например, для 5548UP мы можем перевести порты с №32-27, но не можем с №17-20.

Читайте также:  Nfs the run нет настроек управления

Делается это с помощью следующей конструкции:

После этого перезагружаемся. Либо ребутаем модуль расширения командой poweroff module .

Настраиваем F-порт на устройстве. Это очень просто:

switchport mode f

Далее необходимо связать этот порт с VSAN’ой.

vsan interface fc

Теперь настраиваем транк (Е-порты) между коммутаторами.

switchport mode E

switchport trunk allowed vsan

По идее, это все. В SAN сетях чаще всего не требуется применять Inter-VSAN роутинг (в отличие от повсеместного InterVlan роутинга в LAN), т.к. классический Best-Practice дизайн предполагает наличие 2ух фабрик, которые физически изолированы друг от друга. И каждая из которых работает по отдельности (очень часто их называют Фабрика А и Фабрика Б).

Верификация

Посмотреть какая VSAN с каким интерфейсом ассоциирована можно командой

Можно также посмотреть, какие VSAN разрешены на конкретном интерфейсе (бывает полезно, если этот интерфейс – транк)

После настройки необходимо убедиться в отработке процесса FLOGI

В этом выводе видно, что к порту fc9/13 подключены 5 дисков, а также указаны их pWWN. Если FLOGI не отрабатывает, а порт настроен корректно в F-режим, то это сигнализирует о какой-то низкоуровневой проблеме (битый кабель, ASIC и пр.)

Посмотреть какому pWWN какой FCID был выдан можно так

Напоминаю, что FLOGI хранятся локальной на коммутаторе, а FCNS – целиком на фабрике.

Источник

Cisco MDS для самых маленьких

Под конец моей работы в Службе до нас таки доехали новенькие MDS9124, которые пришли на замену протухшим MDS9120 и QLogic SANBOX2-8C. В этой статье я собираюсь освежить в памяти термины и оставить некоторые заметки, оставшиеся после апгрейда SAN. Чем черт не шутит, а вдруг пригодится.

Хочется так же добавить, что вендор-зависимых фич тут мало, и, принимая внимания различия в синтаксисе, те же шаги можно предпринять для настройки не только упомянутых Cisco MDS, но и оптических коммутаторов других производителей.

Cisco SAN-OS vs. NX-OS – в чем различия?

Признаться, с SAN коммутаторами Cisco MDS давненько общения не имел и был удивлен, увидев в выхлопе show version Nexus OS вместо SAN-OS. Все оказалось весьма банально – начиная с релиза 4.1 Cisco просто переименовала SAN-OS в NX-OS. С функциональной точки зрения не изменилось ровным счетом ничего.

Что такое VSAN? FCID? WWN? WWPN? FWWN? Zonning?

  • Virtual SAN (VSAN) – дополнительный логический уровень абстракции, который позволяет создавать виртуальные SAN поверх реальных. Мне нравится думать о VSAN как о классических VLAN. VSAN обладает индивидуальным адресным пространством и позволяет использовать те же FCID представляет собой одновременно в разных VSAN.
  • FCID (Fibre Channel ID) – 24 битовый идентификатор, который используется для маршрутизации фреймов по FC сети. Фреймы имеют Source ID (S_ID) и Destination (D_ID) и используются для того, чтобы направить данные к нужной цели. Помимо FCID у устройств есть еще один уникальный идентификатор – WWN.
  • WWN (Word Wide Name) – аналог MAC адрес устройства в FC сети. WWN используются для зонирования, разделения устройств по группам безопасности, в рамках которых им разрешено общаться.
  • WWPN (World Wide Port Name) – так если HBA имеет несколько портов, то оно имеет не только адрес себя (WWN), но и адреса все портов WWPN.
  • FWWN (Fabric WWN) – каждый порт FC коммутатора так же имеет свой идентификатор.
  • Zonning (зонирование) – чтобы быть до конца честным зонирование может осуществляться не только по WWN. Вполне можно объединять устройства в зоны по:
    • PWWN, FWWN
    • FCID
    • Интерфейсу
    • FC Alias (имя, ассоциированное с WWN)
  • VSAN vs Zonning – VSAN используется для разделения функций фабрики, таких как FSPF (Fabric Shortest Path First – протокол маршрутизации FC сетей), Name Server, Device Discovery Service на домены. Внутри каждого VSAN будет функционировать свой Name Server, Device Discovery Service, etc и сбой одного из них не утащит за собой все устройства в фабрике.
Читайте также:  Ubuntu qt необходимо в настройках комплекта задать компилятор для сборки

Вы все еще тут? Продолжим 🙂

Fabric login

Или FLOGI. Процесс присоединения FC HBA к фабрике. После этого процесса происходит регистрация WWN устройств и WWPN портов:

Если зарегистрированые WWN и PWWN не видны, то пора бить тревогу и занятся диагностикой физики. Так, например, выглядит плохой кабель:

Fibre Channel Name Server

Name Server заботливо хранит все записи о хостах в FCNS базе. Если коммутаторов несколько, то Name Servers синзронизируют свою информацию с централизированной базой данных в рамках одного VSAN.

План базовой настройки:

  1. Создать VSAN
  2. Добавить интерфейсы в VSAN
  3. Включить интерфейсы
  4. Создать псевдонимы для WWN
  5. Создать зоны и объединить устройства по тому или иному признаку (использование PWWN для зонирования – Cisco’s Best Practice)
  6. Создать zoneset и д обавить в него зоны
  7. Активировать его

1. Создание VSAN

2. Добавление интерфейсов в VSAN

Как только порты будут добавлены в VSAN Operational State сменится на UP.

3. Включение интерфейсов

4. Создание WWN псевдонимов

Может быть выполнено двумя путями, используя FC Alias и Device Alias. Разница между FC Alias и Device Alias состоит в следующем:

  • FC Alias используются только для зонирования.
  • FC Alias могут содержать несколько PWWN
  • FC Alias работают в рамках одного VSAN
  • FC Alias распространяются в рамках zoneset
  • FC Alias совместимы с коммутаторами других вендоров
  • Device Alias подразумевают один PWWN
  • Device Alias могут быть использованы для зонирования, port security, InterVSAN Routing (IVR)
  • Device Alias не привязаны к VSAN
  • Device Alias распространяются по протоколу CFS (Cisco Fabric Service)

Обратите внимание на device-alias commit. Без этого псевдоним не будет занесен в базу данных. Отключить синхронизацию базы можно с помощью команды no device-alias distribute в глобальной конфигурации.

5. Создание зон, добавление членов

Как видно из выхлопа вы можете добавить нового члена в зону как используя свежесозданный fcalias, device-alias или, опустив предыдущий шаг, сразу добавить PWWN. Доступны так же другие вариации, но, повторюсь, Cisco рекомендует использовать PWWN.

6. Создание zone set, добавление зон

Zone set содержит в себе одну или несколько зон. Зона может быть членом одного или несколькоих zone set. В рамках одной зоны устройства могут общаться, а в разных уже не очень. Устройства может быть членом более чем одной зоны.

7. Активация zoneset

Только один zone set может быть активным в рамках одного VSAN. Если зонирование не настроено, то все устройства в фабрике являются членами одной default zone, общение в рамках такой default zone возможно всех со всеми. Если зонирование настроено, то устройства, которые не являются членами активной зоны в zone set находятся в default zone.

Хорошим тоном является сохранение настроек в startup-config 🙂

Источник

Adblock
detector