Как подключить дисковую полку к серверу
Перейти к содержимому

Как подключить дисковую полку к серверу

  • автор:

Как подключить дисковую полку UltraStorage к серверу UltraStation

Установите плату расширения в сервер и зафиксируйте в корпусе при помощи болта.

Внутри сервера UltraStation установлен RAID контроллер. К нему подключены внутренние miniSAS кабеля от дисковой корзины.

Необходимо выполнить подключение следующим образом:

  1. Первый кабель от дисковой корзины (изначально подключен в RAID контроллер) — подключаем в плату расширения;
  2. Второй кабель от дисковой корзиныоставляем в контроллере;
  3. Внутренний кабель miniSAS HD (в комплекте с дисковой полкой UltraStorage) — соединяем плату расширения и RAID контроллер.

Если у Вас UltraStation на 36 дисков, то к RAID контроллеру подключен один miniSAS от передней дисковой корзины, а в плату расширения — от задней дисковой корзины.
Плату расширения и RAID контроллер необходимо соединить между собой.

Закрываем крышку корпуса и подключаем дисковую полку к серверу при помощи двух внешних интерфейсных кабелей (miniSAS HD, в комплекте с дисковой полкой):

Программная настройка

Включаем сервер UltraStation и дисковую полку UltraStorage. Ждем запуска системы и выполняем вход под администратором.

В настройках сервера переходим во вкладку Архив — LSI MegaRAID Manager — выполняем вход (пользователь: vms; пароль: от администратора) и перемещаемся на вкладку «Physical».

Если всё корректно подключено, то после ввода логина и пароля, на вкладке «Physical» вы увидите верное количество дисков, установленных в дисковую полку и в сервер.
Объем дисков также должен совпадать.
Диски будут разделены на физические дисковые корзины (дисковая корзина сервера, передняя корзина полки, задняя корзина полки).
Метка на новых дисках: «Unconfigured Good» (синяя стрелка на диске).

Теперь можно приступить к настройке RAID. Важно учитывать, что RAID массив будет определяться в TRASSIR как отдельный диск.
TRASSIR корректно работает с дисками одинакового объема. Необходимо собрать RAID массивы максимально близкие по объему.
Инструкция по настройке RAID есть в нашем общем мануале.

Подключение дисковой полки к серверу

Появилась необходимость создать дисковое хранилище большого объема. Имеются диски 2.5 по 300,500 Гб из серверов HP ProLiant DL380 G7 (20 дисков).

Выбор пал на полку HP StorageWorks D2700, так же есть сервер Сервер HP ProLiant DL160R06 2xE5620 HP SATA/SAS (Rack1U XeonQC 2.4Ghz(12Mb)/6x4GbR2D/P410x256Mb/2xGigEth).

Прошу подсказать каким образом происходит подключение полки к серверу, подойдет ли существующий контроллер для полки, какие кабели необходимы.

К серверу с полкой будут подключаться 4-е сервера с vSphere 5 по iscsi.
Что лучше поставить в качестве ОС сервер с полкой? Какие коммутаторы нужно использовать?

Благодарю за ответы!

up: существующий контроллер в сервере не подойдет, нужен как минимум P411. контроллеры полки и сервера соединяются интерфейсными кабеля SAS между собой, при этом скорость передачи достигается 6Gb/s, большим количеством внешних выходов на контроллере можно получить большую скорость между полкой и сервера?

Разница между СХД и полкой и что такое JBOD

Давайте попробуем определить, что за устройство на картинке.
Правильно — по “морде” определить невозможно. Нужно смотреть на тыльную часть. И варианты могут быть разные:

B. Система хранения данных (СХД)

C. Дисковая полка SAS-1 c двумя контроллерами JBOD (HP MSA2000sa AJ750A)

Думаю, читатели данной статьи хорошо знают, что такое сервер, но имеют смутное представление об СХД и полках. СХД и полка похожи, но тем не менее между ними существенная разница.

СХД — система хранения данных — это не полка

СХД (система хранения данных) намного сложнее полки, они дороже и имеют значительно больше нюансов.

Отличие СХД от полки это наличие “Мозга”. Контроллеры СХД это мини-серверы, со своими процессорами, памятью и операционной системой. СХД собирают из дисков RAID массивы, и передают данные по протоколам высокого уровня (iSCSI, NFS), контролируют целостность данных, позволяют создавать снапшоты и многое другое. СХД нужна, если наша задача — построить отказоустойчивый кластер

Однако, в случае если мы просто хотим добавить дисков в сервер, наличие “мозга” создаёт сложности: Не все СХД понимают диски объёмом более 2Tb. Редкие СХД принимают от независимых производителей. Несмотря на то, что СХД полезное устройство — в этой статье мы не будем рассматривать использование СХД. Сегодня давайте разберёмся с полками.

Полка — это не СХД

Полка — достаточно простое устройство. Корпус, два блока питания, бэкплэйн и JBOD* контроллеры. Задача полки, без какой-либо обработки, передать данные из накопителя в адаптер (карту RAID или HBA). Любая полка поддерживает диски любого объёма и любого производителя. Всё решает карточка в сервере. Контроллер полки — это набор микросхем с жёсткой логикой.

Так выглядит подключение дисков внутри сервера

Так — подключение сервер + полка.

С точки зрения схемотехники (и операционной системы), диски, установленные в полку, ничем не отличаются от дисков установленных в сервер**.
Полка имеет отдельный корпус, отдельные блоки питания, но в обоих случаях подключение производится через RAID карточку, установленную в сервер — отличие лишь в том, что в случае с полкой кабель подключается не по внутреннему, а по внешнему разъёму.

*JBOD = Just A Bunch of Disks ( просто пачка дисков )
** Если быть совсем точным, полку можно сравнивать с сервером в котором установлен SAS экспандер — это серверы, в которых количество дисков превышает 8. Для операционной системы SAS экспандер не заметен.

Вот широко распространённый RAID контроллер LSI9260-8i
8i означает 8 внутренних портов SAS/SATA

А вот его брат LSI9280-4i4e

4 внутренних и 4 внешних порта

Как называется вот этот контроллер, я думаю, вы уже догадались )

Правильно — это LSI9280-8e.

Все эти контроллеры собраны на одном и том же чипе LSI2108. Они обеспечивают работу по протоколам SAS/SATA со скоростью 6Gb/s и “понимают” диски объёмом более 2Tb. Попутно замечу, что на этом чипе собраны RAID контроллеры в серверах Supermicro, Intel, IBM, DELL, Fujitsu и CISCO. Многие из производителей даже не утруждают себя разработкой собственной печатной платы — меняют только прошивку. Но впрочем, RAID и HBA — тема для отдельной статьи.

Вывод: если не хватает места для дисков — можно просто подключить к серверу полку. Новый сервер покупать не обязательно.

Ещё несколько нюансов:

  1. Полки бывают не только SAS, но и других типов, например, FC (скорее всего они вам не нужны).
  2. Полки могут быть 3, 6 и 12Gb/s. Не все знают, что в одном кабеле mini-SAS четыре канала. Это значит, что для вычисления скорости обмена полка-контроллер показатель 3,6,12 нужно умножить на 4, а в случае если полка и контроллер соединяются двумя кабелями, на 8. Для примера 3-х гигабитная полка сможет отдавать в сервер 3×4 = 12 Гигабит! Что очень неплохо, особенно, если вы устанавливаете шпиндельные накопители. Для работы диска с сервером важна не скорость передачи данных а количество операций ввода-вывода IOPS. Об этом читайте в пункте 7.
  3. Не важно Supermicro, IBM, DELL или HP. Любая SAS полка будет работать с любым SAS контроллером. Брэнд имеет значение только когда вы подключаете полку к СХД.
  4. Полки можно собирать в гирлянду — подключая к одному контроллеру сразу несколько полок.****** Если вы используете SATA диски, длина подключения не должна превышать 1М.
  5. При использовании SAS дисков (или SATA дисков с интерпозерами) можно подключать полку по двум путям, через два контроллера. Это позволяет избежать отказа в случае выхода их строя одного из контроллеров.
  6. Полки можно добавлять по мере роста количества данных, подключая их двумя путями
    “в гирлянду” вот так:
  7. SFF* полки ( обычно бывают 2U на 24-25 дисков)Для чего нужны SFF полки?Типичный сервер редко перекидывает большие блоки данных — в основном он производит хаотичные запросы чтения или записи маленьких блоков из совершенно разных мест массива. Скорость по этому показателю измеряется не в Гигабитах в секунду, а в количестве операций ввода-вывода (IOPS). И именно IOPS, а не трансфер основной параметр которому следует уделять внимание. Пользователи ПК сравнивают диски по показателям 3Gb/s, 6Gb/s, 12Gb/s, но зачастую, скорость потока диск — сервер это не Гигабиты, и даже не Мегабиты, а Килобиты! Скорости 3Gb/s, которую обеспечивают даже устаревшие интерфейсы в большинстве случаев достаточно. Сильно ошибаются те, кто думают, что улучшат производительность, сменив диски 3Gb/s на 12Gb/s. Если не изменился форм-фактор и обороты диска — скорость IOPS не измениться.На увеличение IOPS положительно влияют: увеличение оборотов, уменьшение физического размера, увеличение числа дисков в массиве.LFF диски, (особенно низкооборотистые 7200RPM) не предназначены на работу в режиме случайного доступа — их назначение хранение ColdData (например бэкапов)*SFF Small Form Factor — это диски 2,5” Обычно это высоко-оборотистые 10-15К SAS диски объёмом 300-1200GB. Не стоит путать их с ноутбучными дисками.
    LFF Large Form Factor — это диски 3,5” Обычно низко-оборотистые 7200 диски, объёмом 2TB и более.
  8. И наконец, если у вас уже есть СХД, добавив полку вы можете увеличить не только объём, но и существенно повысить скорость работы. Ведь показатель IOPS напрямую зависит от количества дисков.У нас имеются полки для наиболее распространённых СХД производства NetAPP, HP, Dell, IBM.

На этом всё.
Остались вопросы — звоните, будем рады помочь.

© OOO «Cерверы для профессионалов» 2015—2022
Перепечатка статей со ссылкой на источник разрешается и приветствуется.

DASтаточное решение: прямое подключение дисков для разных задач

Проблема хранения данных, и без того создающая массу головной боли архитекторам ЦОДов и системным администраторам, стала еще актуальнее в свете последних событий. В частности, к нам все чаще стали обращаться с запросами на различные форматы организации дополнительных хранилищ и расширения емкостей. Поэтому сегодня Юрий Алексеев, наш presale-эксперт по серверным решениям и системам хранения данных, расскажет о возможностях расширения уже существующего дискового пространства сервера с помощью подключения дисковых полок через DAS (то есть о прямом подключении). В посте мы поговорим о том, что для этого нужно, как это работает, и обсудим, может ли DAS заменить сетевые хранилища или системы высокой емкости.

Привет, меня зовут Юрий Алексеев, и я занимаюсь серверами и СХД в Группе компаний X-Com (а именно работаю с клиентами Системного Интегратора). И поэтому я прекрасно знаю, что иногда (и с завидной периодичностью) у любой компании настаёт момент, когда на дисках заканчивается пространство. При этом, если в самом сервере уже нет свободных отсеков для дисков, остается только добавить их извне. Тут можно использовать сетевое хранилище данных, но в последнее время их стало сложно (и дорого) купить, а в некоторых случаях, производители отказываются продлевать лицензии. Поэтому очевидным выбором становится самый простой с технической точки зрения способ расширения дискового пространства сервера – и это система хранения с прямым подключением (DAS = Direct-Attached Storage). Часто такие устройства также называют JBOD (англ. Just a Bunch Of Disks, просто пачка дисков).

Немного теории

Можно сказать, что система DAS – это внешняя дисковая корзина, которая подключена к серверу. Как правило, подключение производится через интерфейс SAS, с помощью соответствующих кабелей. Для этого требуется установить в сервер контроллер SAS (SAS HBA = SAS Host Bus Adapter) с внешними портами SAS или RAID-контроллер (также с внешними портами SAS).

SAS HBA с внешними портами (Broadcom HBA 9500-8e Storage Adapter)

SAS RAID (Broadcom MegaRAID 9580-8i8e)

В первом случае (при подключении дисковой корзины через SAS HBA) каждый установленный в корзину диск будет доступен пользователям сервера как отдельный диск. Во втором случае (при использовании RAID-контроллера) установленные в корзину физические диски можно будет объединить в один или несколько RAID-массивов.

А как же отказоустойчивость?

Конечно, к корпоративной системе хранения предъявляются высокие требования с точки зрения доступности информации и сохранности данных. И здесь, безусловно, RAID является большим плюсом. Разница с сетевой системой будет лишь в том, что массив будет организовывать сам сервер. Поэтому, если речь идет о хранении важных данных, лучше все-таки выбирать RAID-контроллеры, а не SAS HBA. Объединение дисков в RAID-массивы позволяет избежать потери данных при выходе дисков из строя, гарантируя как сохранность данных, так и постоянный доступ к ним.

Cуществует множество вариантов организации RAID-массивов (почитать об этом можно, например, тут). Но поскольку подобные критерии являются одними из самых критических показателей для любой системы хранения данных, необходимо исключить и другие точки отказа. Поэтому для обеспечения отказоустойчивости устройства DAS корпоративного уровня используют по два контроллера – такой подход позволяет также разобраться с проблемой возможного сбоя или отказа контроллера.

DAS Lenovo D1224 (вид сзади)

Благодаря этому доступ к данным сохраняется в случае выхода из строя одного из контроллеров. В таких системах можно устанавливать только диски SAS, так как они имеют два порта (в отличие от дисков SATA, которые имеют только один порт), каждый из которых подключен к одному из контроллеров дисковой корзины. В случае поломки одного из контроллеров хост (т.е. сервер) сохранит доступ к диску через второй контроллер.

Схема подключения дисков SAS к контроллерам

DAS – но не для одного сервера

Большинство моделей DAS поддерживает подключение только к одному серверу (хосту). Для подключения используются двухпортовые SAS HBA (или RAID-контроллеры) — чтобы каждый контроллер имел соединение с хостом.

Сервер подключен к двум контроллерам

Однако модели некоторых производителей могут работать одновременно с двумя и даже более серверами. Например, к системе Lenovo D1224 может быть подключено одновременно до 6 серверов. В результате мы получаем некоторое подобие сетевого хранилища, но гораздо более простого (и доступного).

Но тут есть нюанс – лишних «мозгов» у хранилища нет, и поэтому каждому серверу нужно выделить свою группу дисков. Например, одному серверу – диски в отсеках с четвёртого по седьмой, другому серверу – с восьмого по одиннадцатый, и т.д. Это называется «зонированием» (zoning). Работать с «чужими» дисками сервер не должен.

Это требование вытекает из того, что организация данных на диске определяется хостом (то есть RAID-контроллером и файловой системой сервера-хоста), в случае использования одного диска двумя серверами одновременно любой из серверов может:

  1. Неправильно интерпретировать данные диска при чтении, записанные на диск другим сервером;
  2. Записать свои данные «поверх» данных другого сервера.

Именно поэтому при подключении нескольких хостов к DAS требуется с при помощи зонирования разделять диски между серверами.

Например, ниже в таблице показана возможная схема разделения дисков между хостами (зонирования) при подключении до 6 хостов к DAS Lenovo D1224 (хранилище вмещает 24 диска, нумерация отсеков начинается с 0).

Максимальное количество серверов (хостов)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *