Виртуализация хранения. Группы функций, реализуемых в системе хранилищ данных
Контрольная работа
Виртуализация хранения. Группы
функций реализуемые в системе хранилищ данных
Содержание
Введение
Общие понятия о виртуализации систем хранения
Хранение данных на уровне сервера
Хранение данных на уровне системы хранения
Хранение на уровне коммутатора SAN
Поставщики решений виртуализации
Повышенная производительность виртуализации
Управление виртуализацией
Группы функций реализуемые в системе хранения данных
Использование виртуализации хранения данных на базе
университета СПбГУМФ
Вывод
Литература
Глоссарий терминов
виртуализация коммутатор
сервер хранение данные
Введение
Профессионалы в области информационных технологий всегда находятся в
поиске более совершенных способов защиты данных и доступа к ним. Организации
ищут технологии, позволяющие снизить стоимость и повысить управляемость систем
хранения, требования к емкости которых постоянно растут.
Стремясь контролировать большие массивы данных, необходимых для
проведения ответственных деловых операций, компании начали использовать RAID-
массивы, сети хранения (Storage Area Network SAN) и резервное копирование на
магнитную ленту. Виртуализация относится к числу наиболее перспективных и
выгодных решений в области организации систем хранения.
Итак, современный этап эволюции систем хранения данных проходит под
знаком виртуализации. Слово это звучит и заманчиво, и красиво, но есть в нем и
настораживающий оттенок.
Как и многие другие модные термины, понятие «виртуализация» чаще всего
употребляют не в ясном техническом контексте, а как броский маркетинговый
лозунг, удачно подходящий к условиям неопределенности. В итоге само это слово
оказалось затертым от слишком частого и не всегда корректного употребления. Его
используют и в тех случаях, когда никакой ирреальности или замены одной
реальности другой не наблюдается.
Словосочетания virtual memory и virtual storage появились в 1959 году для
обозначения виртуальной по своей сути внешней памяти на дисках, используемой
для расширения внутренней памяти, которую в ту пору собирали из магнитных
сердечников. В этом решении действительно присутствовал элемент виртуальности:
маленькую и дорогую память подменяли прозрачным для процессора способом более
дешевой и несравненно большего размера. В современных системах хранения никакой
подмены нет, и было бы точнее вести речь об интеграции хранения, замене
физических адресов и номеров устройств логическими адресами и логическими
номерами устройств и о более эффективных методах управления.
Общие понятия о виртуализации систем
хранения
Виртуализация систем хранения обычно определяется, как прозрачное (т.е.
незаметное для компьютера) представление системы хранения на уровне блоков,
когда логический адрес блока никак не привязан к его реальному, физическому
адресу.
Фактически виртуализация разделяет логический и физический уровни доступа
к данным, позволяя объединять физические устройства хранения в виртуальные пулы
дисков. Из пулов могут выделяться отдельные виртуальные диски, подключаемые при
необходимости к включенным в сеть серверам в качестве логических устройств
(аналогичны логическому устройству, или номеру логического устройства LUN в
протоколе SCSI). Виртуальные хранилища данных позволяют обойтись без
дополнительного взаимодействия между серверами и устройствами хранения.
Процессы взаимодействия с физическими дисками и распределения емкости
производятся на уровне контроллера RAID, становятся прозрачными для серверов и
приложений и не требуют их участия.
Внутри распределенной среды хранения существуют три уровня, на которых
может реализовываться виртуализация: уровень сервера, уровень коммутатора сети
хранения данных (SAN fabric level) и уровень системы хранения. Указанные уровни
могут быть задействованы все сразу или по отдельности в зависимости оттого,
какой вариант окажется более выгодным для пользователей.
Хранение данных на уровне сервера
На уровне сервера виртуализация может быть реализована при помощи
запущенного на нем программного обеспечения и не зависеть от устройств
хранения. При использовании данного ПО операционная система взаимодействует с
виртуальным дисковым устройством (реально не существующим) так, как если бы он
взаимодействовал с физическим устройством определенного типа, SCSI и др. (хотя
в реальности взаимодействие происходит с виртуальным диском, который, в свою
очередь и взаимодействует с физическими устройствами). Виртуализация на уровне
сервера может быть реализована в однородных сетях хранения и в среде, не
являющейся сетью хранения. Эта технология совместима с ограниченным кругом
программных и аппаратных компонентов.
Хранение данных на уровне системы
хранения
На уровне системы хранения технология виртуализации реализуется на уровне
контроллеров RAID без участия хост-компьютера. При
помощи специального управляющего ПО RAID-контроллерам предоставляется возможность создания виртуальных дисков,
дополнительных резервных образов и физических копий дисковых разделов (на
которые часто ссылаются, как на Business Continuous Volume — BCV). Управление процессом виртуализации хранилища данных
производится через веб-браузер при помощи системы управления SAN Management Appliance. Виртуализация с использованием
контроллера отдельной системы хранения представляет собой революционный шаг
вперед по сравнению с традиционной технологией массивов RAID. Виртуализация на этом уровне
является идеальным решением для систем, требующих высокой производительности,
постоянной доступности данных, эффективного управления хранилищем, репликации
данных и поддержки кластеров.
Хранение на уровне коммутатора SAN
Более популярной является технология виртуализации на уровне коммутатора
SAN, которое идеально подходит для внедрения в среде открытых сетей хранения,
использующих как обычные, так и виртуализованные системы хранения. Технология
Compaq VersaStor™ разрабатывается для использования на всех уровнях сетей
хранения (включая уровень коммутатора SAN) и не имеет аналогов среди других
реализаций, охватывающих всю сеть хранения.
· Уровень сервера – идеально подходит для сетевых хранилищ
начального уровня.
· Уровень коммутатора сети хранения данных технологии
виртуализации, охватывающие всю сеть хранения (хост-компьютер – SAN –
дисковая система) и повышающие эффективность разработки, администрирования и
эксплуатации сетей хранения.
· Уровень системы хранения – виртуализация мощных систем
хранения без снижения их производительности и надежности; дополнительные
функции, такие как Virtually Capacity-Free Snapshot для массивов RAID любого
типа.
Поставщики решений виртуализации
Как это случается во всякой новой области, множество решений предлагают
небольшие начинающие фирмы, в том числе DataCore Software, TrueSAN Networks,
Bridgewater и ряд других. Практически все крупные производители аппаратного и
программного обеспечения также включились в гонку виртуализации. Каждая из этих
компаний имеет собственную стратегию в данной области, заслуживающую детального
описания. Если попытаться ограничиться несколькими словами, можно дать
следующую, не претендующую на полноту характеристику их деятельности.
1. Compaq
Из числа производителей «первой шеренги» у Compaq, по всей видимости,
наибольший опыт и спектр решений, связанных с виртуализацией систем хранения.
Корпорация поставляет несколько взаимодополняющих технологий виртуализации,
которые относятся ко всем трем уровням. На уровне сервера предлагается хорошо
известное программное обеспечение SANworks Virtual Replicator. На уровне
системы хранения Compaq производит StorageWorks Enterprise Virtual Array. На
уровне сети хранения - Compaq VersaStor, выделенное устройство, обеспечивающее
установление соответствия между физическими и логическими адресами хранения.
VersaStor выполняет вычисления, необходимые для автоматического перемещения
данных в пуле хранения, и пересылает информацию о таблицах отображения агентам,
используемым при обращении к данным. В первых версиях агентов были реализованы
дополнительные платы, устанавливаемые в серверы; в последующем это будут
программные решения.
2. Hewlett-Packard
Стратегия HP в области управления ресурсами хранения данных носит
название Federated Storage Area Management (FSAM). В ее рамках компания
анонсировала устройство для сетевой виртуализации HP SANlink, позволяющее
хранить данные в виде централизованного логического пула. В значительной мере
нынешние предложения HP основываются на продуктах недавно купленной компании
StorageApps, входившей в круг небольших фирм, которые проявляли наибольшую
активность в области виртуализации. В сочетании с собственным набором
инструментов управления средствами хранения данных в составе HP OpenView
продукт HP SANlink позволяет построить многофункциональную сеть хранения
данных, создать новую сеть хранения или расширить уже существующие. SANlink
исполняется в стандартной стойке HP41U, а для удаленного мониторинга
подключенных к сети систем хранения данных используется отдельно поставляемая
система HP SANmaster.
3. IBM
IBM поддерживает четыре уровня виртуализации. Первый - аппаратный, его
можно обнаружить в корпоративных серверах; он позволяет серверам, работающим
под управлением ОС Unix или Windows, а также системам AS/400 и S/390 получать
доступ к дисководам, не зная их физического адреса.
Второй уровень - уровень логических номеров устройств LUN; он
поддерживается продуктом Mass Storage Server. Третий реализуется средствами
Tivoli SANergy, позволяющими серверам иметь распределенный доступ к файлам в
SAN и через шлюз работать с NAS. Четвертый уровень - инициатива Storage
Tank.Tank сочетает в себе черты распределенного решения с особенностями
асимметричного пула. И по сравнению с традиционным подключением серверов и рабочих
станций к сети хранения по Fibre Channel или iSCSI отличается наличием двух
компонентов:
· Storage Tank Server - сервер, администрирующий обмен данными и хранящий
метаданные (в данном контексте он выступает именно в роли сервера, снабжающего
систему метаданными);
· Installable File System (IFS) - дополнительный компонент файловой
системы, устанавливаемый на каждом из подключенных серверов и рабочих станций
(эти компьютеры служат клиентами, потребляющими метаданные).
4. Veritas Software
Эта компания выпускает программные средства виртуализации, рассчитанные
на системы высокой готовности. Комплекс продуктов SANPoint Foundation Suite HA
поддерживает виртуализацию на уровне томов и файлов. Он включает продукт
Veritas Volume Manager, позволяющий множеству узлов сети обращаться к одним и
тем же томам. Поддерживаются метаданные и информация об отображении,
используемая пользовательскими приложениями. На файловом уровне Veritas
поддерживает виртуализацию посредством системы кластеризации файлов Cluster File
System, которая позволяет нескольким серверам обращаться к одним и тем же
файлам. SANPoint Foundation Suite HA работает на платформе Solaris. Есть еще
инструментарий Veritas SANPoint Direct, позволяющий нескольким серверам,
оснащенным Windows 2000, обращаться к одним и тем же файлам.
5. Sun Microsystems
Собственно слово «виртуализация» в документах Sun отнюдь не доминирует,
но идея интегрированного управления корпоративной системой хранения, реализации
которой подчинены все механизмы виртуализации, в полном объеме отражена в
инициативе Storage One. Эта инициатива ставит своей целью предложить «полное
решение» в области хранения, содержащее в себе все необходимое для надежной и
эффективной работы. Storage One состоит из трех уровней; на нижнем уровне находятся
дисковые массивы со встроенной кэш-памятью, интерфейсы и коммутаторы,
составляющие инфраструктуру сети хранения. Второй уровень образуют средства
организации данных, в том числе менеджеры томов и файловые системы. Третий
уровень - программные средства управления, обеспечения надежности и готовности.
В развитие StorEdge T3 выпущены две новые дисковые системы - StorEdge
3900 и StorEdge 6900; последняя отличается наличием внутреннего механизма
виртуализации. Для этого в StorEdge 6900 установлена пара контроллеров Vicom
Storage Virtualization Engine (SVE) производства компании Vicom. Этот тип
контроллера построен на основе фирменной архитектуры Vicom Independent
Distributed Routing.
Повышенная производительность
виртуализации
Специалисты компании Compaq придерживаются точки зрения о том, что более
высокая производительность является одним из важнейших преимуществ, которое
можно получить за счет использования виртуализации на уровне системы хранения.
Основным фактором повышения производительности перераспределение нагрузки за
счет устранения перегретых дисков (имеющие высокую нагрузку ввода/вывода). Это
может происходить из-за того, что они содержат информацию, к которой часто
обращаются, или из-за перегрузки, возникающей благодаря особенностям
используемого типа массива RAID. Виртуализация позволяет распределить данные по
большему количеству дисков, что приводит к заметному повышению
производительности. В этом случае более не требуется организовывать диски в
традиционные массивы RAID согласно их емкости и типу защиты RAID. Вместо этого
определяется виртуальный”диск, черпающий необходимую емкость из пула
хранения. Благодаря виртуализации пулов хранения, массив Enterprise Virtual
Array позволяет объединять в одном пуле многочисленные виртуальные диски
различной емкости, организованные в разные типы массивов RAID. В дополнение к
этому, данные на всех входящих в пул виртуальных дисках будут распределяться по
всем физическим дискам, составляющим этот пул. Например, для организации
обычного массива RAID-1 (зеркалированного) емкостью 36 Гбайт нужны два диска по
36 Гбайт каждый (рис. 2). Таким образом, при записи или считывании данных,
которые могут быть необходимы для работы высокопроизводительного приложения,
используются лишь два диска, что естественным образом снижает
производительность. При помощи виртуализации те же самые 36 Гбайт, необходимые
для создания массива RAID-1, будут распределены по четырем, шести, восьми или
еще большему количеству дисков, входящих в пул. За счет использования большего
количества физических дисков можно добиться существенного повышения
производительности. Виртуализация позволяет перераспределить данные по
физическим дискам в случае возникновения каких-либо обстоятельств, вызывающих
изменение данных на виртуальных дисках или структуры самого пула. Как
следствие, массив Enterprise Virtual Array может использовать алгоритм
регулировки в режиме реального времени, чтобы перераспределять нагрузку без
прерывания выполняемых задач.
Данный процесс равномерно распределяет блоки каждого виртуального диска
по максимальному числу физических дисков, допускаемому типом избыточности
виртуального диска. Процесс регулировки запускается каждый раз, когда массив Enterprise Virtual Array обнаруживает возможность оптимизации коэффициента
загруженности (например, при изменении числа дисков в пуле).
Управление виртуализацией
Упрощенное управление хранилищем является еще одним серьезным
преимуществом виртуализации на уровне системы хранения. Администраторы получают
возможность работать со свойствами хранилища, а не управлять его физической
частью. Виртуализация позволяет создавать единую модель управления хранилищем,
вне зависимости от используемого типа RAID. Таким образом, исчезает
необходимость в выполнении задач по ручному размещению данных.
Все это упрощает внедрение систем хранения, позволяет администраторам
управлять устройствами хранения как единым целым и переносит акценты в
управлении системой хранения с отдельных устройств на уровень пула. Все эти
функции существенно упрощают управление системой хранения и сводят к минимуму
требования к подготовленности занимающегося этим персонала. Использование
системы управления сетью хранения SAN Management Appliance позволяет
администраторам управлять всеми массивами Enterprise Virtual Array, входящими в
сеть хранения данных. Наличие такого централизованного пункта позволяет
управлять большей емкостью, чем это было возможно в предыдущих разработках.
Группы функций реализуемые в системе
хранения данных
· Multipathing.
· Replication.
· Snapshots.
· Volume Management.
· File System.
· Clustering.
Проблема
У каждого вендора своя реализация технологий, обычно не совместимые друг
с другом. Иногда технологии могут явно конфликтовать друг с другом.
Multipathing
· Отказоустойчивость.
· Улучшает масштабирование.
· Рост производительности.
Snapshots
Существует два типа снапшотов:
· С выделением места при первой записи (allocate-on-first-write).
· Полное копирование (Full-copy). Первый тип производится
быстрее, но обычно ограничен глубиной вложенности и зависит от исходной копии.
Второй тип производится медленнее, но абсолютно автономен.
Replication
Репликация (Replication) построена на основе full-copy snapshot,
при этом источник и приемник разнесены между собой. Репликация бывает
синхронной и асинхронной
Использование виртуализации хранения
данных на базе университета СПбГУМФ
Термин "виртуализация хранения", как
правило, означает маскировку, или сокрытие сложной организации систем хранения.
Виртуализация позволяет сделать прозрачной для IT-администраторов некоторые
специфичные комбинации и конфигурации устройств хранения данных.
Сегодня разные производители активно развивают и
продвигают виртуализацию систем хранения данных. За рубежом преимуществами
данной технологии пользуются уже давно, в России - это одно из первых крупных
внедрений. Сейчас виртуализация стала действительно массовой технологией. Ей
стали доверять, использование виртуализации вошло в привычку. Сегодня
выполняется множество проектов внедрения прикладных систем, в которых
использование виртуализации принимается как само собой разумеющийся шаг,
способный значительно снизить смету на оборудование и ПО. Перед вычислительным
центром университета ставятся следующие основные задачи:
• Предоставление высокопроизводительных и
распределенных вычислительных ресурсов разного типа по заявкам.
• Обеспечение бесперебойной работы оборудования,
системного и прикладного программного обеспечения.
• Распределение ресурсов центра между пользователями с
целью максимально эффективного выполнения научно-образовательных работ.
• Постоянный мониторинг и сбор статистики
использования ресурсов.
• Обновление и предоставление документации и
инструкций для пользователей.
• Оперативная поддержка пользователей, как непосредственно,
так и дистанционно (через Интернет, по электронной почте).
Также иногда возникает необходимость проводить занятия
с предоставлением пользователям полного доступа к операционной системе (с
правами администратора системы), например для слушателей, обучающихся по
направлениям администрирования и управления операционными системами. В этом
случае технология виртуализации позволяет организовывать виртуальные
компьютерные классы, создавая необходимое количество виртуальных машин по числу
студентов. По завершении обучения созданные виртуальные машины можно просто
удалить и создать новые, подготовив виртуальный класс к занятиям следующей
группы студентов.
Вывод
Технология виртуализации является естественным ответом
на всевозрастающее многообразие программных решений, их усложнение и, как
следствие, постоянно меняющихся требований к аппаратной части и ИТ -
инфраструктуре в целом.
В настоящее время, под виртуализацией, как правило,
понимают процесс использования нескольких виртуальных машин, в зависимости от круга
решаемых задач и потребностей бизнеса. Но это лишь малая часть потенциала
технологий виртуализации. Уже кажется вполне реальным подход к формированию
виртуальной ИТ - инфраструктуры.
Сложно усмотреть существенные недостатки в подобном
подходе, который помимо гибкости, масштабируемости и надежности также обещает
простоту в управлении и сокращение издержек. Пожалуй, единственным сдерживающим
фактором может быть недостаток квалифицированного персонала для формирования и
сопровождения подобной инфраструктуры.
Я рассмотрела в рамках данной курсовой работы понятие
виртуализации систем хранения данных, поставщиков виртуализации, группы функций
реализуемые в СХД, управление виртуализацией, производительность виртуализации.
Важным представляется следующий вывод: виртуализация
сегодня, это уже не просто интересная тема и альтернативная возможность
организации работы; виртуализация - уже совершенный "шаг", переход от
классической инфраструктуры к виртуализированной уже осуществлен с
концептуальной и технологической точек зрения и большего преимущества смогут
добиться те, кто раньше остальных осуществит переход фактический.
Литература
1. Научная статья “Storage News” январь 2002
www.storagenews.ru
2.Virtualize It: Making Enterprise Data Storage
Immediately Accessible. OTG Software
.Roy Slicker, Jim Wheeler, Storage Virtualization
Means More Than One Media. Pegasus Disk Technologies
.Леонид Черняк, SAN в коробке. "Computerworld Россия", 2002, № 05
http://citforum.ru/nets/storage/virtualization/
.A New Method of SAN Storage Virtualization, Raidtec
Corp.
.SanBlast: intelligent switch/router unleashed, SYRED
.Mark Blunden, Mik Berx-Debeys, Daeseop Sim, Storage
Networking Virtualization What's it all about? Red Books, 2000
http://www.slideshare.net/Cameroon45/storage-networking-virtualization
.The Computer as a Communication Device. J.C.R.
Licklider. Science and Technology. April 1968. .Электронный ресурс.
http://memex.org/licklider.pdf.
.Обзор
«Edison HP Storage Administrator Workload Survey: HP, EMC, CLARiiON, and NetApp
FAS storage arrays», Craig Norris and Barry Cohen, The Edison Group, Февраль 2009.
10.Виртуализация систем хранения данных
http://www.trinitygroup.ru/solution/infrastucture/virtualization/storage/
.Мир информационных технологий IT Manager №5
.Маклаков С. Хранилища данных и их проектирование с помощью
CA ERwin// КомпьютерПресс. [Текст]-2001. - № 1. - 342 с. - ISBN 5-86404-210-2.
.М.П. Малыхина «Базы данных: основы, проектирование,
использование» «БХВ-Петербург» 2004 г.
.Повышев В.В. Хранилища Данных, - СПб.: СПбГИТМО(ТУ), 2003.
15. Ralph Kimball. The Data Warehouse Toolkit: [Текст] Practical Techniques for Building
Dimensional Data Warehouses//John Wiley & Sons, 1996 - 225 с. - ISBN 5-85232-423-2.
Глоссарий терминов
1. RAID (англ. redundant array of independent disks - избыточный массив независимых
жёстких дисков) - массив из нескольких дисков, управляемых контроллером,
взаимосвязанных скоростными каналами и воспринимаемых внешней системой как
единое целое. В зависимости от типа используемого массива может обеспечивать
различные степени отказоустойчивости и быстродействия. Служит для повышения
надёжности хранения данных и/или для повышения скорости чтения/записи
информации (RAID 0).
2. Сеть хранения данных, СХД (англ. Storage Area Network, SAN) - представляет собой
архитектурное решение для подключения внешних устройств хранения данных, таких
как дисковые массивы, ленточные библиотеки, оптические приводы к серверам таким
образом, чтобы операционная система распознала подключённые ресурсы как локальные.