Как настроить дисковую полку

Дисковая полка ETegro Fastor JS300 G3

В наших прошлых обзорах мы уже несколько раз говорили о возможности расширения дискового пространства серверов при помощи дисковых полок. Сегодня мы решили показать, на что, собственно, похожи наши дисковые полки на примере ETegro Fastor JS300 G3.

Но сперва краткий экскурс в терминологию и, собственно, причины существования дисковых полок. Дисковая полка является типичным примером DAS, то есть Directed Attached Storage – накопителя с блочным доступом к данным. С точки зрения работы с данными это более простое устройство, чем NAS, поскольку вся работа на уровне файловой структуры находится вне ведома самого устройства. Хотя, конечно же, DAS уровня Enterprise гораздо сложнее, чем простые домашние NAS.

Для начала напомним, что в мире современных серверов дисковые полки используются в качестве внешней дисковой подсистемы. Подключение к серверам можно организовать довольно гибко. Вот для примера несколько различных нетривиальных вариантов подключения.

Что же касается требований к дисковым полкам, то они очень сильно различаются от класса устройств и как всегда влекут за собой существенную разницу в цене. Мы относим ETegro Fastor JS300 G3 к дисковым полкам High-End уровня, соответственно выполняя необходимые требования: полки обладают дублированными контроллерами и блоками питания с поддержкой горячей замены, не имеют единой точки отказа и обладают мощной избыточной системой вентиляции с возможностью горячей замены всех модулей.

Издалека полка выглядит стандартным металлическим ящиком, то есть мало чем отличается от других стоечных шасси высотой 4U. Вблизи вид уже интересней – дизайн не требует установки крышки, что облегчает горячую замену дисков без полного выдвижения полки из стойки. Большую часть внутреннего пространства корпуса занимают 60 жестких дисков, расположившиеся в 5 рядов по 12 дисков в каждом. Несложно подсчитать, что максимальная емкость одной дисковой полки при заполнении ее 4-ТБ дисками составляет 240 ТБ, то есть почти четверть петабайта.

Все диски размещаются на универсальных металлических салазках (треях), обеспечивающих установку как 3,5-дюймовых, так и 2,5-дюймовых накопителей, так что если вам жизненно необходима полка на SSD – никаких проблем.

Отсутствие верхней крышки – это выгодная конструктивная особенность именно Fastor JS300 G3, то, что отличает его от других предложений на рынке. Взамен крышки верхние панели треев выполнены из металла и снабжены индикацией состояния диска. При этом индикация дублируется на переднюю панель. Т.е. все сделано для простоты нахождения и обслуживания дисков в случае сбоя.

На фото можно оценить, как индикация полки выглядит в темном помещении.

Раз уж зашел разговор про индикацию, то стоит вспомнить и про внешний вид передней панели полки. Большую ее часть занимает решетка системы охлаждения, через которую видна индикация дисков, а на небольшом островке приютились две группы по 5 индикаторов. Одна из них отображает состояние каждой из пяти групп по 10 дисков, а во второй расположились светодиоды состояния всей системы, вентиляторов, блоков питания, SIM и ISIM модулей.

Задняя панель традиционно раскрывает весь набор компонентов устройства. В данном случае мы видим торжество симметрии, говорящее о высокой степени дублированния модулей полки. Ну а характерные ручки очень тонко намекают, что все модули поддерживают горячую замену. Внизу по углам расположилась пара блоков питания, по 1400 Вт каждый, совершенно стандартных для всей нашей продукции (а что поделать, нам и нашим клиентам чертовски нравится слово «взаимозаменяемость»). Между ними расположилась пара SIM (SAS Interface Module) модулей. Именно они отвечают за дублирование канала связи с SAS контроллером сервера. Версия SAS, конечно же, 6 Гбит/с.

Особо внимательные наверняка обратили внимание на надписи «cascade in» и «cascade out». Их существование объясняется просто: к одному серверу можно каскадом подключить сразу две полки Fastor JS300 G3, причем вторая подключается последовательно к первой как раз к порту «cascade out». Впрочем, две полки можно поделить и между двумя серверами, тогда «входящими» портами являются первый и третий, а второй и четвертый становятся в каждом SIM-модуле исходящими. Если же мы используем только одну полку, то ее можно разделить на четыре сервера сразу, сделав все SAS-порты «входящими».

Дополняют структуру контроллеров 4 внутренних модуля ISIM (Internal SAS Interface Module) для обеспечения полной отказоустойчивости доступа к дискам. Они расположены внутри корпуса по центру первых четырех рядов дисков. Как и все остальное, они поддерживают горячую замену, обладают индикацией статуса и идентификационным светодиодом.

И не забудем систему охлаждения. Оно здесь весьма серьезное, ведь 60 дисков под серьезной нагрузкой являются мощным источником тепла. За охлаждение отвечают 4 вентиляторных модуля с горячей заменой, каждый из которых объединяет два внушительных вентилятора.

Ну, а завершим обзор мы уже ставшим традиционным приглашением задавать вопросы в комментариях. Welcome 🙂

Источник

Peter’s blog

Blog about life, the Universe, and everything

Ускоряем базу — 2

Общее

Это статья из цикла “Укорение работы баз данных под управлением СУБД MS SQL“. Сегодня мы рассмотрим дисковые полки и их применение для размещения баз данных.

Что такое дисковая полка

Дисковая полка — это внешний программно — аппаратный RAID-массив (с множеством полезных дополнительных функций), подключенный к хост — машине через высокоскоростную магистраль передачи данных — через SCSI U320 Мбит / сек или оптический интерфейс (Будете выбирать — выбирайте оптику, с проводным кабелем могут выйти проблемы. Разъем не тот, контроллер не тот, терминатор не той системы и не там стоит, шланг длинный слишком и пр. Идут ошибки по магистрали, а откуда?) . Дисковая полка при грамотном планировании может обеспечить Вам готовность 24×7. Вот только грамотное планирование и администрирование такого аппарата — отнюдь не простая задача. Завидую ребятам на mainframe — там есть отдельная группа администраторов внешних устройств, например дисковых, и у Вас голова совершенно не болит об этом деле. Ладно. Полок масса типов. Выбирайте фирменные — HP например. Выбирайте полку с как можно большим количеством дисков. Для небольших контор рекомендую не менее чем 24-х дисковые полки. Почему — объясню далее. Как правило, в полке есть своя встроенная батарея на случай падения питания, и свой интерфейс для управления UPS (и всегда непонятно, как его сопрячь с тем УБП, от которого питается компутер).

Некоторые термины

1. Физический диск (physical drive) — это, собственно, винчестер, с интефейсом SCSI, SAS или SATA, в общем, что побыстрей.
2. Логический диск (logical drive) — это уже результат объединения физических дисков в RAID, так сказать внешняя точка зрения на RAID. BIOS и OS видят RAID именно как логический диск
3. Логический том (Logical volume) — результат объединения нескольких логических или физических дисков в одно целое.
4. Раздел (Partition) — фрагмент логического тома (логического диска, физического диска), имеющий отдельный номер в системе (для SCSI — SCSI-ID\LUN)
5. Диск горячей замены (Hot Spare) — специально выделенный в полке диск, который подключается в случае выхода из строя одного из штатных дисков текущего массива.

Строго говоря, все вышеперечисленные сущности могут иметь отдельный номер. Если с физическими и логическими дисками всем интуитивно все ясно, с логическим томом ясно не всем и не все. Ну это до первого креша. Как только креш случился, сразу понимаешь, зачем нужен логический том…В простых словах: RAID-5, например, переносит падение только одного диска. Если есть резервный диск (Stand-by, Hot Spare) , RAID молча восстановиться и мы ничего не заметим. Но это — при отказе одного диска. Отстой заключается в том, что полку и винты покупают махом, и винты идут все одной серии. Разумеется, они махом и в одно и тоже время и выгорают. Сгорает сразу минимум два накопителя. Это — фатальный отказ. Посему делаем RAID-6 (посмотрите сами, что за RAID-6, ну лениво мне писать) или бацаем логический том. Логический том — это два RAID’а, два логических диска, объедиенных в один накопитель большей емкости. Пусть сгорают два винта. Вероятность, что они сгорят в одном месте, вдвое меньше. Конечно, нужно постараться разнести эти диски в разные стороны, под разные шины, источники питания, даже под разные вентиляторы. Вы уж постарайтесь.

Преимущества полок перед накопителями других типов

1. Полка работает очень быстро. Даже проводная магистраль обеспечивает 360 мегабит в секунду. SCSI-винчестеры тоже очень быстрые.
2. Полка содержит большой объем данных. Одна полка несет от одного до N терабайт памяти. Полки можно объединять в цепочку.
3. На полке можно создать не один, а несколько массивов с разными характеристиками и оптимизировать их по-разному.
4. Диски все можно менять «на ходу» — корзина предусматривает горячую замену. Если массив сконфигурирован соотв. образом и имеет диск Hot-Spare, диск замениться без вашего участия;
5. Полка в высшей степени конфигурируема. Можете создавать разделы, логические диски, логические тома, назначать им разные адреса, в общем, есть где развернуться.
6. К полке прилагается внушающий доверие софт для конфигурирования, поддержки, измерения и прочее. Ведется подробный журнал операций, выписываются ошибки, даются рекомендации.
7. К полкам идет хорошая поддержка со стороны производителя.
8. Если хост-компьютер рухнет, на полке это никак не отразиться
9. Полку можно использовать для создания кластера.

Недостатки полок

Разумеется, есть и недостатки. Куда ж без них…

1. Полку надо поддерживать. Смотреть в лог, настраивать отсылку предупреждений, следить за статистикой. Кроме того, надо регулярно менять сгоревшие винты.
2. Полка тяжело настроить, особенно без подготовки в первый раз. Я, помниться, очень затруднялся. Руководства достаточно убогие. Предполагается, что админ в совершенстве знает, что такое SCSI, LUN, Host mode, разбирается в скоростях, типах, разъемах, терминаторах…(Вообще-то должен)
3. Полке лучше обеспечить бесперебойное питание. Это не так просто, особенно в разрезе синхронизации с компьютером.
4. Сразу настроить полку на максимальное быстродействие не получиться — необходимо поэкспериментировать с разными конфигурациями, причем лучше в условиях, близких к боевым…
5. Полка здорово греется, учитывайте это.
6. Полка чувствительна к электромагнитным возмущениям, поэтому не стоит пихать ее в стойку сразу над ИБП (ибо есть печальные прецеденты. Один мой знакомый перец никак не мог въехать, почему у него в полке выгорает нижний ряд винтов все время. Я ему объяснил, бедняге.)

Полки и SQL — сервер

Слава Богу, добрались до сути дела. Первым делом припоминаем идеальную конфигурацию базы — система (1й диск), данные (2й диск), логи(3й диск). Про оптимальное расположение базы по файлам — см. мою статью про файловые группы. Скажу сразу, парни — даже при такой простой раскладке результат получается отличный. Соображения по поводу выбора RAID’а:

1. Данные надо писать быстро — выбираем RAID 01.
2. Данные надо читать быстро — любой RAID хорошо, RAID 0 лучше всего. RAID 01 — чуть чуть похуже. Проблема с RAID 0 такая, что он не избыточный.
3. Логи — просто зеркалируем, там особого быстродейстия не требуется — RAID1(RAID01). В такой раскладке можно включить в базе Recovery Model в Full. Лог нужно сохранить по-любому.
4. Для остального барахла, временных баз и прочего — RAID5.

По поводу RAID5 — массив хороший, можно сколько хочешь дисков туда напихать, но если накроются два диска сразу — все, привет. Поэтому делаем RAID 01 или RAID6. Последний — просто бетонный. Сверхнадежный, но требует большого расхода дисков. Помимо вышеприведенных соображений, надо еще иметь ввиду, какого рода доступ преимущественно имеет место в базе — последовательный, запись за записью или случайный. RAID’ы ведут себя по-разному. Логи пишутся последовательно;данные могут писаться и читаться в произвольном порядке. В общем, есть поле для экпериментов.

По поводу логических дисков, разделов, партиций и прочего — я слышал о полках, которые считают статистику для логических разделов и делают доступ таким же эффективным как если бы это были разные шпиндели. Сам не проверял, сказать не могу.

Источник

Наращиваем дисковую массу без стероидов. Обзор 102-дисковой полки Western Digital Ultrastar Data102 и конфигурации СХД

Чем хороши большие JBOD’ы?

Новый JBOD Western Digital на 102 диска по 12ТБ получился мощным. При разработке этого JBOD были учтены предыдущий опыт с двумя поколениями 60-дисковых полок.
Data102 получился на редкость для таких гигантов сбалансированным по объему и производительности.

Зачем же нужны такие большие дисковые корзины, когда в мире растет популярность гиперконвергентных систем?

Задачи, при которых требования по объемам хранения значительно превышают требования по вычислительной мощности, могут раздуть бюджет заказчика до невероятных размеров. Вот лишь несколько примеров и сценариев:

1. Replication Factor 2 или 3, применяемый при строительстве Scale-out систем, на нескольких петабайтах данных — решение недешевое.
2. Интенсивные последовательные операции чтения/записи заставляют узел кластера выходить за пределы локального хранилища, что грозит такими проблемами, как long-tail latency. В этом случае следует предельно внимательно отнестись к построению сети.
3. Распределенные системы прекрасно справляются с задачами типа «множество приложений работают с множеством своих файлов» и посредственно справляются с записью и чтением с сильно-связанного кластера, особенно в режиме N-to-1.
4. При задачах типа «увеличить глубину видеоархива в 2 раза» гораздо дешевле накинуть большой JBOD, чем увеличить количество серверов в кластере в 2 раза.
5. Используя внешние СХД с JBOD, мы можем четко выделить для наших приоритетных приложений объем и производительность, зарезервировав для них определенные диски, кэш, порты, и при этом сохранив необходимый уровень гибкости и масштабируемости.

Как правило, дисковые полки уровня Data102 разрабатывается производителями дисков, которые хорошо понимают, как с этими дисками работать и знают все подводные камни. В таких устройствах все в порядке с уровнем вибрации и охлаждением, а энергопотребление соответствует реальным потребностям по хранению данных.

Чем хорош JBOD от Western Digital?

Мы прекрасно понимаем, что модульные системы ограничены по масштабируемости возможностями контроллеров и что сеть всегда создает задержки. Но при этом такие системы обладают более низким стоимостью IOps, GBps и ТБ хранения.

Есть две вещи, за которые инженеры RAIDIX полюбили Data102:

1. JBOD не просто позволяет разместить > 1 PB данных на 4U. Он реально очень быстрый и на потоковых операциях не уступает многим all-flash решениям: 4U, 1PB, 23 ГБ/с — хорошие показатели для дискового массива.
2. Data102 прост в обслуживании и не требует инструментов, вроде отвертки.

Сотрудники нашей группы тестирования ненавидят отвертки, которые уже снятся им по ночам. Когда они услышали, что HGST/WD делает 102-дискового монстра, и представили, как придется иметь дело с 408 мелкими винтиками, в соседнем магазине закончился крепкий алкоголь.

Зря боялись. Заботясь об инженерах, в Western Digital придумали новый способ крепления диска, который позволяет облегчить обслуживание. Диски крепятся к шасси c помощью фиксирующих зажимов, без болтов и винтов. Все диски механически изолируются с помощью эластичных крепежей на задней панели. Новая прошивка сервопривода и акселерометры отлично компенсируют вибрацию.

Что у нас в коробке?

В коробке — корпус корзины, набитый дисками. Купить можно минимум 24 диска, а масштабируется решение наборами по 12 дисков. Делается это для того, чтобы обеспечить правильное охлаждение и бороться с вибрацией наилучшим образом.

Кстати, именно развитие двух вспомогательных технологий — IsoVibe и ArcticFlow — сделали возможным рождение нового JBOD’а.

Состоит IsoVibe из следующих компонентов:

1. Специализированная прошивка дисков, которая с помощью датчиков управляет сервоприводами и предиктивно снижает уровень вибраций.
2. Вибрационно изолированные разъемы на задней панели сервера (рис. 1).
3. Ну и, конечно, специальные крепления дисков, которые не требуют винтов.

Рис. 1. Вибрационно изолированные разъемы

Температура — это второй после вибрации фактор, убивающий жесткие диски. При средней температуре работы выше 55C наработка на отказ жесткого диска будет в два раза меньше расчетной.

От плохого охлаждения особенно страдают серверы с большим количеством дисков и большие дисковые полки. Зачастую задние ряды дисков греются на 20 и более градусов больше, чем диски, находящиеся вблизи от холодного коридора.

ArcticFlow — это запатентованная Western Digital технология охлаждения полки, смысл которой заключается в создании дополнительных воздуховодов внутри шасси, которые позволяют протягивать холодный воздух к задним рядам дисков напрямую из холодного коридора, минуя передние ряды.

Рис. 2. Принцип работы ArcticFlow

Отдельный поток холодного воздуха построен для охлаждения модулей ввода-вывода и блоков питания.

Результат — великолепная термальная карта работающей полки. Разброс температур между передними и задними рядами дисков — 10 градусов. Самый горячий диск — 49C при температуре в «холодном» коридоре +35C. На охлаждение каждого диска тратится 1.6Вт — в два раза меньше, чем у других подобных шасси. Вентиляторы работают тише, вибрация меньше, диски живут дольше и работают быстрее.

Рис. 3. Температурная карта Ultrastar Data 102

Учитывая бюджет по питанию в 12Вт на один диск, полку легко можно сделать гибридной — из 102 дисков 24 могут быть SAS SSD. Их можно установить и использовать как в гибридном режиме, так и настроив SAS Zoning и передав хосту, нуждающемуся в all-flash.

Еще у нас в коробке есть салазки для крепления в стойку. Для установки JBOD нужна парочка физически сильных инженеров. Вот с чем они столкнутся:

• Полка в сборе весит 120 кг, а без дисков — 32 кг
• Глубокая стойка в данном случае начинается от 1200 мм
• Ну и добавляем кабели SAS и питания

.
Крепления и кабелировка JBOD разработаны таким образом, что можно «на горячую» выполнять обслуживание. Отметим также вертикальную установку модуля ввода-вывода (IOM).

Давайте взглянем на эту систему. Спереди все просто и лаконично.

Рис. 4. Ultrastar Data 102. Вид спереди

Одной из самых интересных особенностей JBOD является установка IO-модулей сверху!

Рис. 5. Ultrastar Data 102

Рис. 6. Ultrastar Data 102. Вид сверху

Рис. 7. Ultrastar Data 102. Вид сверху без дисков

Сзади у JBOD для каждого IO-модуля есть по 6 SAS 12G портов. Итого мы получаем 28800 MBps пропускной способности бэкенда. Порты можно использовать как для подключения к хостам, так и частично для каскадирования. Портов для питания системы два (80+ Platinum rated 1600W CRPS).

Рис. 8. Ultrastar Data 102. Вид сзади

Производительность

Как мы и говорили, Data102 не просто огромен — он быстрый! Результаты тестов, проведенных вендором, таковы:

На 12 серверов:
Последовательная нагрузка

• Чтение = 24.2GB/s max. @ 1MB (237 MB/s per HDD max.)
• Запись =23.9GB/s max. @ 1MB (234 MB/s per HDD max.)

Случайная нагрузка

• Чтение 4kB с глубиной очереди = 128: >26k IOps
• Запись 4kB с глубиной очереди 1–128: >45k IOps

На 6 серверов:
Последовательная нагрузка

• Чтение = 22.7GB/s max. @ 1MB (223 MB/s per HDD max.)
• Запись =22.0GB/s max. @ 1MB (216 MB/s per HDD max.)

Случайная нагрузка

• Чтение 4kB с глубиной очереди = 128: >26k IOps
• Запись с глубиной очереди = 1–128: >45k IOps

Рис. 9. Параллельная нагрузка с 12-ти серверов

Рис. 10. Параллельная нагрузка с 6-ти серверов

Управление

Управлять JBOD со стороны софта можно двумя способами:

1. По SES
2. По RedFish

RedFish позволяет находить компоненты, зажигая LED, получать информацию о «здоровье» компонентов, а также обновлять прошивку.
Кстати, шасси поддерживает T10 Power Disabling (Pin 3) для отключения питания и ресета индивидуальных дисков.

Это полезно использовать, если у вас диск подвешивает всю SAS-шину.

Типовые конфигурации

Для того, чтобы использовать возможности такого JBOD с максимальной пользой, нам потребуются RAID-контроллеры или программное обеспечение. Здесь на выручку и приходит ПО RAIDIX.

Для создания отказоустойчивой СХД нам потребуются два узла хранения и одна или более корзин с SAS дисками. Если же мы не хотим внедрять защиту от отказа узла или использовать репликацию данных, то можно подключить к корзине один сервер и использовать SATA диски.

Двухконтроллерная конфигурация

В качестве контроллеров для СХД на основе RAIDIX могут использоваться практически любые серверные платформы архитектуры x86: Supermicro, AIC, Dell, Lenovo, HPE и многие другие. Мы постоянно ведем работу над сертификацией нового оборудования и портируем наш код под различные архитектуры (например, «Эльбрус» и OpenPower).

Для примера возьмем платформу Supermicro и попытаемся достичь максимально возможной пропускной способности и плотности вычислений. При «сайзинге» серверов будем использовать шину PCI-E, куда установим back-end и front-end контроллеры.

Также нам понадобятся контроллеры для подключения дисковой полки, не менее двух AVAGO 9300-8e. Альтернативно: пара 9400-8e или один 9405W-16e, но для последнего понадобится полноценный слот x16.

Следующий компонент — слот для канала синхронизации. Это может быть Infiniband или SAS. (Для задач, где пропускная способность и задержки не критичны, можно обойтись синхронизацией через корзину без выделенного слота.)

Ну и, конечно, нам будут нужны слоты для хост-интерфейсов, которых тоже должно быть никак не менее двух.

Итого: каждому контроллеру нужно иметь от 5 слотов x8 (без запаса для дальнейшего масштабирования). Для построения недорогих систем, ориентированных на производительность в 3–4 ГБ/с на узел, мы можем обойтись всего двумя слотами.

Варианты конфигурации контроллеров

Supermicro 6029P-TRT
Контроллеры можно разместить в двух 2U серверах 6029P-TRT. Они не самые богатые в плане PCI-E cлотов, но зато на них установлена стандартная материнская плата без рейзеров. На этих платах гарантированно «заведутся» NVDIMM-N модули от Micron для защиты кэша от отказов питания.

Для подключения дисков возьмем Broadcom 9400 8e. Грязные сегменты кэша будем синхронизировать через IB 100Gb.

Внимание! Приведенные ниже конфигурации рассчитаны на максимальную производительность и функционирование всех имеющихся опций. Для вашей конкретной задачи спецификация может быть существенно сокращена. Обращайтесь к нашим партнерам.

Конфигурация системы, которая у нас получилась:

№	Наименование	Описание	P/N	Кол-во на один RAIDIX DC
1	Платформа	SuperServer 6029P-TRT	SYS-6029P-TRT	2
2	CPU	Intel Xeon Silver 4112 Processor	Intel Xeon Silver 4112 Processor	4
3	Memory	16GB PC4-21300 2666MHz DDR4 ECC Registered DIMM Micron MTA36ASF472PZ-2G6D1	MEM-DR416L-CL06-ER26	12
4	System Disk	SanDisk Extreme PRO 240GB	SDSSDXPS-240G-G25	4
5	Hot-swap 3.5″ to 2.5″ SATA/SAS Drive Trays	Tool-less black hot-swap 3.5-to-2.5 converter HDD drive tray (Red tab)	MCP-220-00118-0B	4
6	HBA for cache-sync	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
7	HBA for JBOD connection	Broadcom HBA 9400-8e Tri-Mode Storage Adapter	05-50013-01	4
8	Ethernet patchcord	Ethernet patch cord for cache sync 0.5m	1
9	Cable for cache sync	Mellanox passive copper cable, VPI, EDR 1m	MCP1600-E001	2
10	HBA for host connection	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
11	SAS cable	Storage Enclosure Ultrastar Data102 Cable IO HD mini-SAS to HD mini-SAS 2m 2Pack	8
12	JBOD	Ultrastar Data102	1
13	RAIDIX	RAIDIX 4.6 DC/NAS/iSCSI/FC/SAS/IB/SSD-cache/QoSmic/SanOpt/Extended 5 years support/unlimited disks/	RX46DSMMC-NALL-SQ0S-P5	1

Вот примерная схема:

Рис. 11. Конфигурация на базе Supermicro 6029P-TRT

Supermicro 2029BT-DNR
Если мы хотим побороться за пространство в серверной, то за основу контроллеров хранения можно взять Supermicro Twin, например, 2029BT-DNR. Данные системы имеют по 3 PCI-E слота и по одному IOM-модулю. Среди IOM есть нужный нам Infiniband.

Конфигурация:

№	Наименование	Описание	P/N	Кол-во на один RAIDIX DC
1	Платформа	SuperServer 2029BT-DNR	SYS-2029BT-DNR	1
2	CPU	Intel Xeon Silver 4112 Processor	Intel Xeon Silver 4112 Processor	4
3	Memory	16GB PC4-21300 2666MHz DDR4 ECC Registered DIMM Micron MTA36ASF472PZ-2G6D1	MEM-DR416L-CL06-ER26	12
4	System Disk	Supermicro SSD-DM032-PHI	SSD-DM032-PHI	2
5	HBA for cache-sync	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
6	HBA for JBOD connection	Broadcom HBA 9405W-16e Tri-Mode Storage Adapter	05-50044-00	2
7	Ethernet patchcord	Ethernet patch cord for cache sync 0.5m	1
8	Cable for cache sync	Mellanox passive copper cable, VPI, EDR 1m	MCP1600-E001	2
9	HBA for host connection	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
10	SAS cable	Storage Enclosure Ultrastar Data102 Cable IO HD mini-SAS to HD mini-SAS 2m 2Pack	8
11	JBOD	Ultrastar Data102	1
12	RAIDIX	RAIDIX 4.6 DC/NAS/iSCSI/FC/SAS/IB/SSD-cache/QoSmic/SanOpt/Extended 5 years support/unlimited disks	RX46DSMMC-NALL-SQ0S-P5	1

Вот примерная схема:

Рис. 12. Конфигурация на базе Supermicro 2029BT-DNR

Платформа 1U
Часто возникают задачи, где требуется максимальная плотность размещения больших объемов данных, но не требуется, например, полная отказоустойчивость по контроллерам. В этом случае мы берем за основу систему 1U и подключаем к ней максимальное количество дисковых полок.

Scale-Out система

В качестве последнего упражнения в нашей тренировке построим горизонтально-масштабируемую систему на основе HyperFS. Для начала мы выберем 2 типа контроллеров – для хранения данных и для хранения метаданных.

Контроллерами хранения назначим SuperMicro 6029P-TRT.

Для хранения метаданных используем несколько SSD накопителей в корзине, которые мы объединим в RAID и отдадим MDC через SAN. На одну систему хранения мы можем подключить до 4 JBOD каскадом. Итого в одной глубокой стойке размещаем X PB данных с единым пространством имен.

№	Наименование	Описание	P/N	Кол-во на один RAIDIX DC
1	Платформа	SuperServer 6029P-TRT	SYS-6029P-TRT	2
2	CPU	Intel Xeon Silver 4112 Processor	Intel Xeon Silver 4112 Processor	4
3	Memory	16GB PC4-21300 2666MHz DDR4 ECC Registered DIMM Micron MTA36ASF472PZ-2G6D1	MEM-DR416L-CL06-ER26	16
4	System Disk	SanDisk Extreme PRO 240GB	SDSSDXPS-240G-G25	4
5	Hot-swap 3.5″ to 2.5″ SATA/SAS Drive Trays	Tool-less black hot-swap 3.5-to-2.5 converter HDD drive tray (Red tab)	MCP-220-00118-0B	4
6	HBA for cache-sync	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
7	HBA for JBOD connection	Broadcom HBA 9400-8e Tri-Mode Storage Adapter	05-50013-01	4
8	Ethernet patchcord	Ethernet patch cord for cache sync 0.5m	1
9	Cable for cache sync	Mellanox passive copper cable, VPI, EDR 1m	MCP1600-E001	2
10	HBA for host connection	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	2
11	SAS cable	Storage Enclosure Ultrastar Data102 Cable IO HD mini-SAS to HD mini-SAS 2m 2Pack	8
12	JBOD	Ultrastar Data102	1
13	RAIDIX	RAIDIX 4.6 DC/NAS/iSCSI/FC/SAS/IB/SSD-cache/QoSmic/SanOpt/Extended 5 years support/unlimited disks/	RX46DSMMC-NALL-SQ0S-P5	1
14	Платформа (MDC HyperFS)	SuperServer 6028R-E1CR12L	SSG-6028R-E1CR12L	1
15	CPU (MDC HyperFS)	Intel Xeon E5-2620v4 Processor	Intel Xeon E5-2620v4 Processor	2
16	Memory (MDC HyperFS)	32GB DDR4 Crucial CT32G4RFD424A 32Gb DIMM ECC Reg PC4-19200 CL17 2400MHz	CT32G4RFD424A	4
17	System Disk (MDC HyperFS)	SanDisk Extreme PRO 240GB	SDSSDXPS-240G-G25	2
18	Hot-swap 3.5″ to 2.5″ SATA/SAS Drive Trays (MDC HyperFS)	Tool-less black hot-swap 3.5-to-2.5 converter HDD drive tray (Red tab)	MCP-220-00118-0B	2
19	HBA (MDC HyperFS)	Mellanox ConnectX-4 VPI adapter card, EDR IB (100Gb/s), dual-port QSFP28, PCIe3.0 x16	MCX456A-ECAT	1

Вот примерная схема подключения:

Рис. 13. Конфигурация Scale-Out системы

Заключение

Работа с большими объемами данных, особенно на write-intensive паттернах – очень непростая задача для СХД, классическим решением которой является приобретение shared-nothing scale-out систем. Новый JBOD от Western Digital и ПО RAIDIX позволит построить СХД на несколько петабайт и несколько десятков GBps производительности значительно дешевле, чем при использовании горизонтально-масштабируемых систем, и мы советуем обратить ваше внимание на такое решение.

Источник