Хранение данных — обязательная задача любого бизнеса и организаций другого типа. Именно поэтому разработка ПО систем хранения данных пользуется большой популярностью как среди предпринимателей, так и управляющих государственными, бюджетными, социальными и другими структурами.
Назначение и функции СХД
Система (или сервер) хранения данных – совокупность программного обеспечения и устройств, за счет которых обеспечивается хранение информации, ее резервное копирование и управление.
Объем информации в любой организации растет буквально ежедневно. Часть из них нуждается в кратковременном хранении, другая – в более длительном. При этом важно учитывать и то, что данные имеют различный формат, вес и другие характеристики. Именно поэтому построение систем хранения данных должно осуществляться таким образом, чтобы учесть все вводные. Современные системы имеют многоуровневую структуру. Это позволяет рассредоточить данные по разным хранилищам.
Сохранение данных определенным образом в одном месте – не единственная функция СХД. Сегодня также возможна компрессия и дедупликация информации. Оба метода хранения информации позволяют экономить место. При компрессии файлы сжимаются, исключая избыточные данные. При дедупликации информация фильтруется и делится на блоки, повторяющиеся фрагменты размещаются в виде ссылок.
Важно учитывать масштабируемость СХД. Кроме соответствия установленным нормам безопасности рабочая система должна быть адаптируемой к возможным форс-мажорным ситуациям. Сюда в первую очередь входит обеспечение сохранения данных в случае поломки любого из элементов. Важно учесть регулярный рост объемов информации и обеспечить размещение новых данных.
Виды систем хранения данных
В зависимости от типа хранения данных и их доступности выделяют 3 вида систем:
- Файловые СХД. В таких системах данные сортируются по папкам, а те – по каталогам.
- Блочные СХД. Данные хранятся в независимых друг от друга блоках. Каждый блок имеет свой идентификатор. В отличие от файловых систем блочные данные могут иметь несколько путей доступа к данным.
- Объектные. Система делит файл на конкретные объекты и помещает их в общее хранилище. Само же хранилище может быть представлено в виде томов. Для удобства поиска информации томам в хранилище могут быть присвоены идентификаторы с подробными метаданными. Каждый идентификатор должен быть уникален.
Основные принципы работы систем хранения данных
Исходя из требований к будущей СХД, определяются аппаратные компоненты, ПО и протоколы. Эти составляющие определяют такие свойства системы как уровень хранения и методы чтения/записи информации. На основании этих свойств определены 2 типа СХД:
- NAS – тип хранилища с файловой системой. Все данные хранятся в виде определенных файлов, куда сервер добавляет или откуда извлекает нужную информацию.
- DAS и SAN хранилища упаковывают данные в блоки. Скорость обмена данными в такой системе хранения данных существенно выше, чем в файловом хранилище.
NAS
Network Attached Storage или сетевое хранилище представляет собой отдельный сервер с файловой системой. К такому вид хранилища можно подключать дополнительные серверы, дисковые станции и виртуальные машины.
Среди преимуществ можно отметить невысокую стоимость готовой системы, простоту в подключении, обслуживании и использовании, простой доступ к информации на сервере. Вместе с тем NAS система поддерживает далеко не все приложения с сетевыми дисками. В сравнении с локальной системой NAS работает значительно медленнее.
DAS
Direct Attach Storage – система с прямым подключением. В такой СХД существенно меньшее количество элементов. За счет этого управление и пользование хранилищем не требует каких-либо особых навыков. Управляется система собственной встроенной ОС.
Кроме простоты в использовании DAS отличается невысокой стоимостью. Главное преимущество системы – более высокая скорость обмена данными. Есть у DAS и достаточно существенные недостатки. В первую очередь, это невозможность подключения более 2 серверов одновременно. Система требует для себя отдельного сервера.
SAN
SAN – это целая сеть для хранения информации. Обычно такая сеть состоит из нескольких внешних хранилищ. Блочный доступ к системе осуществляется через протоколы iSCSI (Internet Small Computer System Interface) или FC (Fiber Channel).
SAN — это сети хранения данных. Как правило, они представлены в виде внешних хранилищ на нескольких сетевых блочных устройствах и реализованы в виде протокола или. Это блочный доступ непосредственно к устройству хранения — диску или набору дисков в виде RAID-групп или логических устройств.
Из преимуществ следует отметить достаточно высокую скорость обмена данными при минимальной задержке, высокую надежность и гибкую масштабируемость системы. Себестоимость внедрения системы хранения данных SAN существенно выше других, а проектирование требует определенных навыков. Стоит также учесть, что не все приложения работают с iSCSI.
Структура СХД
СХД – целый комплекс физических и виртуальных элементов. Создание систем хранения данных включает в себя наличие нескольких информационных накопителей, серверов, прочей инфраструктуры, специального программного обеспечения. Все элементы взаимосвязаны. Основные элементы, на которых строится работа системы – это накопители, форм-факторы, бэкплейны, контроллеры, сетевой адаптер.
Накопители
Накопитель – один из главных элементов СХД. Сегодня используются 3 группы:
- Дисковые накопители – достаточно распространенный вариант. Чаще всего используются устаревшие модели, что существенно снижает скорость обработки информации. Современные модели более совершенны по всем параметрам, но и цена у них выше.
- Ленточные или кассетные накопители используются реже. Чаще всего такой тип можно встретить в архивах, мультимедийных библиотеках. Ключевым параметром выбора такого накопителя является возможность ограничения физического доступа к имеющимся данным.
- Флэш — полупроводниковые накопители – самый быстрый тип. Скорость обработки данных в сравнении с дисковыми накопителями здесь существенно выше. Если диск обрабатывает запрос за 7 мс, то флэш-накопитель справляется с задачей за 0,1 мс.
Независимо от характеристик каждого из типов большей популярностью сегодня пользуются именно дисковые накопители, а именно HDD и SSD. При выборе накопителя в первую очередь стоит обратить внимание на показатели пропускной способности устройства, интерфейс подключения, форм-фактор. Емкость накопителя – второстепенная характеристика. Ее стоит рассматривать уже после того, как утверждены предыдущие параметры.
Интерфейс подключения определяет пропускную способность СХД, ее будущую масштабируемость, возможность горячей замены в процессе работы и финальную стоимость системы.
Чаще всего используются интерфейсы SATA и SAS. HDD-накопители за счет своей пропускной способности не требуют никаких дополнительных атрибутов. Для SSD-накопителей дополнительно прописывается NVMe протокол. За счет чего удается достичь баланса пропускной способности без каких-либо программных или аппаратных ограничений.
Ниже в таблице можно оценить примерную работоспособность дисковых накопителей при подключенных SATA и SAS интерфейсов.
Форм-фактор
Форм-фактор HDD – диаметр магнитной пластины накопителя, где хранится информация:
- 3.5” – Large Form-Factor (LFF).
- 2.5” – Small Form-Factor (SFF). SSD-накопители, которые базируются на флеш-памяти, ограничиваются SFF.
- Форм-факторы М.2 представляют собой элементы в виде плат. Они подключаются к системе с помощью ключей-контактов. Технически форм-факторы различаются расположением и количеством стыковочных контактов.
- AIC – полноценная управляющая плата с отдельно выделенным контроллером, системами охлаждения и температурными датчиками.
- EDSFF – коммерческий вариант. Форм-фактор для создания систем хранения данных на стойках 1U. Это более сложная, чем AIC система, и может включать в себя большее количество накопителей.
Связь форм-факторов и протоколов можно отследить в таблице:
Контроллеры и бэкплейны
Контроллеры и бэкплейны позволяют обеспечить контроль и связь между накопителями и другими элементами системы, а также защиту и доступ к данным.
Основные функции контроллеров:
- обеспечение бесперебойной пропускной способности накопителей системы;
- организация трафика информации;
- организация пула накопителей;
- расчет контрольных сумм;
- прочие внутренние служебные операции.
Для обеспечения бесперебойной работы зачастую недостаточно одного типа контролеров в единичном экземпляре. Это обязательно стоит учитывать во время построения систем хранения данных. Обычно это целая группа разных контроллеров и дополнительных к ним элементов. Именно поэтому важно понимать, какие именно устройства будут нужны для конкретной системы.
- Дисковые контроллеры HBA позволяют серверу определять все имеющиеся в системе накопители и взаимодействовать с каждым из них отдельно. Это позволяет страховать СХД на случай форс-мажорных ситуаций, подключать дополнительные SAS-накопители, настраивать аппаратный RAID.
- Triple-Mode используется преимущественно для NVMe-накопителей. В то же время можно одновременно подключать и SAS, и SATA-накопители к одной плате.
- RAID-контроллер обеспечивает параллельную запись информации на накопители. Благодаря такой записи удается сохранить весь объем данных при выходе из строя одного или сразу нескольких дисков.
- Платформенные контроллеры – обособленная единица сервера. Используется такая единица обычно для внешних пользователей. Это может быть отдельный физический компьютер со всем необходимым электронным содержимым и ПО.
- Двухконтроллерные СХД используются в целях увеличения производительности. В зависимости от целей интеграции системы возможно использование большего количества контроллеров. Такая система защищена от потери данных. Если один из контрольных узлов выйдет из строя, второй продолжит работу в резервном режиме.
- С помощью бэкплейнов можно подключать дополнительные накопители к уже интегрированной системе. К плате бэкплейна подключается аппаратный контроллер. На плату устанавливается специальный чип – экспандер. Он позволяет снизить нагрузку и упорядочить движение нулей и единиц.
Сетевые адаптеры и вычислительные ресурсы
При разработке ПО систем хранения данных важно учитывать не только наличие определенных элементов, но и их совместимость по ряду характеристик. Особенно, если речь идет о достаточно больших объемах используемой информации.
Заключительным и одним из самых важных элементов любой СХД является сетевой адаптер. Именно с его помощью осуществляется перемещение битов как внутри системы, так и за ее пределы. При выборе сетевого адаптера следует ориентироваться в первую очередь на параметры будущей системы и ее задач.
Способы подключения
Как и в любом другом электронном устройстве, важно следить за правильным подключением всех компонентов. Выделяют 3 типа подключений:
- Внутреннее. При таком типе подключения накопители размещаются внутри сервера (Serial ATA, SCSI, Serial Attached SCSI, Fibre Channel).
- Внешнее. Этот тип подключения подразумевает присоединение накопителей к серверу с помощью специальной шины (Fibre Channel over Ethernet, FC, iSCSI, SCSI).
- Кластерное. Здесь подключение осуществляется с помощью подсетей – кластеров (Infiniband). Преимущество такого типа подключения в возможности высокоскоростной передачи информации благодаря оптимально настроенной маршрутизации.
Создание систем хранения данных – процесс трудоемкий и требующий определенных знаний. Многослойная структура СХД должна быть выстроена с учетом не только возложенных на нее задач, но и с соблюдением правильной архитектуры, включая емкость и мощность всех комплектующих. Важно помнить о возможном расширении системы параллельно росту объемов используемой в конкретном случае информации.
Грамотный подход инженеров к внедрению систем хранения данных позволит обеспечить безопасное хранение информации и высокую скорость ее обработки.
