Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

АЛГОРИТМ РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ ДАННЫХ ДЛЯ ПРОГРАММНЫХ РЕШЕНИЙ ПО АВТОМАТИЗАЦИИ ДЕЯТЕЛЬНОСТИ СУБЪЕКТОВ МАЛОГО И СРЕДНЕГО ПРЕДПРИНИМАТЕЛЬСТВА В ОБЛАКЕ

Тотмелина Н.Л. 1 Анашкин Р.В. 1 Кирьянов А.А. 1 Сироткин В.Ю. 1
1 Общество с Ограниченной Ответственностью "СмарТел"
В статье рассмотрены вопросы, связанные с разработкой кэширующей распределенной системы хранения данных на основе высокопроизводительного нереляционного журналируемого хранилища данных типа «ключ-значение» Redis для экспериментального образца программного обеспечения для автоматизации деятельности субъектов малого и среднего предпринимательства в облаке, позволяющего обмениваться хранимыми данными между субъектами и использовать свободные ресурсы рабочих станций. Проанализированы результаты имитационного моделирования процесса распределенного хранения и обмена файлами на примере двух транспортно идентичных имитационных моделей: модели распределенного хранилища данных на основе сетевой файловой системы типа NFS и модели распределенного кэширующего хранилища данных с использованием Redis, для моделирования применен САПР AnyLogic Proffesional. Описан разработанный алгоритм распределённого хранения данных, использующий журналируемое хранилище.
имитационное моделирование
сетевая файловая система типа NFS
хранилище Redis
систем распределенного хранения и обработки данных
облачные вычисления
алгоритм распределённого хранения файлов
1. Беневоленский С. Б., Кирьянов А. А. Особенности построения cloud-сервиса хранения информационных ресурсов // Фундаментальные исследования. – 2012. – № 6 (часть 3). – С. 631-632; URL: www.rae.ru/fs/?section=content&op=show_article&article_id=9999307 (дата обращения: 22.05.2013).
2. Кирьянов А. А., Ковзалина А. А., Сироткин В. Ю. Разработка функционально-структурной схемы программного обеспечения для поддержки групповой работы пользователей с помощью облачных технологий // Современные проблемы науки и образования. – 2012. – № 4.
3. Мельник Ольга. Время пионеров. Облачные решения для среднего и малого бизнеса // CRN/RE Регулярный выпуск № 14 (391), 15 октября 2012 года. – URL: http://www.crn.ru/numbers/reg-numbers/number.php?NUMBER_ID=3038 (дата обращения 22.05.2013 г.).
4. Cloud здесь и сейчас. – URL: http://saas-market.net/cloud-zdes-i-sejchas/ (дата обращения 22.05.2013 г.).
5. National Institute of Standards and Technology. – URL: http://www.nist.gov/index.html (дата обращения 22.05.2013 г.).

Введение

По опубликованным в первом квартале 2012 г. данным совместного исследования EdgeStrategies и Microsoft, наиболее перспективными потребителями облачных услуг в России являются представители среднего и малого бизнеса (далее – СМБ) – 52 % опрошенных считают, что в ближайшее время облачные платформы и технологии станут основой ИТ-инфраструктуры их компаний [1]. При этом в сегменте СМБ наиболее популярны облачные сервисы финансового и бухгалтерского учета (22 % респондентов); облачные инструменты удаленной совместной работы занимают второе место (17 % респондентов); примерно одинаковы по популярности бизнес-почта, бизнес-аналитика, резервное копирование и хранение данных [2].

На сегодня наиболее востребованным современным российским бизнесом типом информационных систем являются системы удалённой совместной работы и распределенного хранения и обработки данных, работающие на принципах облачных вычислений. Создание такого рода систем предполагает формирование единого пула ресурсов хранения с заданными требованиями к его производительности, что позволяет существенно сократить временные затраты на создание и расширение ресурсов хранения компании, а значит, в долгосрочной перспективе позволит снизить затраты на администрирование автоматизированной системы поддержки бизнеса и минимизировать удельную стоимость хранения бизнес-данных.

Целью исследования является разработка экспериментального образца программного обеспечения для автоматизации деятельности субъектов малого и среднего предпринимательства в облаке, позволяющего обмениваться хранимыми данными между субъектами и использовать свободные ресурсы рабочих станций.

Материалы и методы исследования

Фундаментом рассматриваемого облачного программного решения является механизм распределённого хранения данных на имеющихся незадействованных вычислительных мощностях, в частности, с использованием свободного дискового пространства рабочих станций предприятия. При разработке алгоритмических и программных решений применены технологии виртуализации, позволяющие реализовать предоставление ресурса физической емкости нескольких разнородных накопителей информации (устройств и систем хранения) в виде единого хранилища данных (виртуального или логического пула), управление которым осуществляется централизованно. Структура системы хранения инкапсулирована, скрыта, при этом обеспечен прозрачный доступ к образующим её отдельным гетерогенным устройствам независимо от их технических особенностей и территориального расположения.

Теоретические исследования существующих облачных программных решений для построения систем распределенного хранения и обработки данных показали, что применение для этих целей кэширующего высокопроизводительного нереляционного журналируемого хранилища данных типа «ключ-значение» Redis обеспечивает скорость доступа к непосредственному носителю информации в сотни раз большую при чтении и в тысячи раз большую при записи, чем аналогичные решения на основе сетевой файловой системы типа NFS. При этом, как и решения на основе NFS, Redis использует ресурсы хранения на жестких дисках. Высокая скорость работы Redis обеспечивается за счет того, что данные хранятся в оперативной памяти и сохраняются на диск либо через равные промежутки времени, либо при превышении определённого количества не сохранённых запросов. Таким образом, при использовании Redis существует вероятность потерять результаты нескольких последних запросов, однако, потерь можно избежать через избыточность, т.к. Redis поддерживает неблокирующую master-slave репликацию на несколько узлов [3]. Таким образом, поскольку использование такого рода кэширующей распределенной системы хранения данных позволяет обеспечить доступ к оперативным данным со скоростью обращения к ОЗУ рабочих станций, участвующих в хранении, то можно предположить, что это позволит увеличить производительность электронного документооборота компании за счет обеспечения высокоскоростного доступа к оперативным документам.

В целях оптимизации разрабатываемых алгоритмов и программных решений для автоматизации деятельности субъектов малого и среднего предпринимательства в облаке, позволяющих обмениваться хранимыми данными между субъектами и использовать свободные ресурсы хранения данных рабочих станций [4,5], осуществлено имитационное моделирование процесса распределенного хранения и обмена файлами и разработаны две транспортно идентичные имитационные модели: модель распределенного хранилища данных на основе сетевой файловой системы типа NFS (рис.1) и модель распределенного кэширующего хранилища данных с использованием Redis (рис. 2). Для моделирования обмена данными использованы инструменты многоподходного имитационного моделирования САПРAnyLogicProffesional, предназначенной для разработки сложных имитационных моделей (включая модели из IT-сферы).

Рис. 1. Имитационная модель распределенного хранилища данных на основе сетевой файловой системы типа NFS

На схеме модели (см. рис. 1) представлены источник-генератор заявок на чтение/запись данных и получающий терминатор заявок. Слева направо вторым и предпоследним элементами являются операторы формирования стэков протоколов транспортного уровня TCP/IP. Коммутаторы – элементы физической транспортировки данных в локальной сети предприятий. Адресация при распределении заявок происходит в элементе распределения. Сам адрес назначается сервером каталогизации сетевой файловой системы типа NFS. Каждый из элементов распределенного хранения представлен как консолидированный объект типа service, объединяющий в себе элементы очереди-стэка, задержки – функции записи/чтения, и блока хранения.

На рис. 2 представлена имитационная модель хранилища транспортно идентичная хранилищу на основе NFS, но с использованием кэширующего хранилища Redis.

Рис. 2. Имитационная модель распределенного хранилища данных с использованием Redis

На рис. 3 представлена укрупненная модель узла сетевого хранилища, организованного с использованием Redis.

Рис. 3. Укрупненная модель узла хранилища, организованного с использованием Redis

На рис. 2–3 обозначено хранилище ОЗУ и показана связь, позволяющая при переполнении хранилища ОЗУ осуществить передачу запроса в хранилище, реализованное на жестком диске.

Результаты исследования и их обсуждение

Результаты расчетов и имитационного моделирования процесса распределенного хранения файлов для обеих моделей сетевого хранилища при установленном моделируемом времени 60 мс приведены на рис. 4-5. Горизонтальная ось гистограммы – количество генерируемых заявок в тысячах, вертикальная ось – среднее время обслуживания одной заявки в микросекундах.

Рис. 4. Гистограмма результатов расчетного моделирования системы распределенного хранения на основе топологии NFS

Рис. 5. Гистограмма результатов расчетного моделирования системы распределенного хранения на основе топологии с использованием Redis

График на рис. 6 представляет собой дифференцированные значения результатов моделирования для хранилищ на основе NFS и Redis.

Рис. 6. Дифференцированные значения результатов моделирования для хранилищ на основе NFS и Redis

При анализе полученных результатов на графике (рис. 6) выделено несколько характерных участков, в частности:

а) на отрезке от 1 до 8 тысяч заявок в минуту наблюдается относительный рост скорости обслуживания заявок за счет использования кэша жестких дисков;

б) на отрезке от 9 до 13 тысяч заявок в минуту наблюдается значительный рост производительности, обусловленный переполнением кэша жестких дисков;

в) на отрезке от 13 до 17 тысяч заявок в минуту наблюдается стабилизация высокого прироста производительности;

г) на отрезке от 17 до 20 тысяч заявок в минуту наблюдается падение производительности в результате переполнения ОЗУ используемого Redis;

д) на отрезке от 21 тысяч заявок в минуту и более производительность уравнивается, что обусловлено прекращением эффективного использования ОЗУ Redis’ом.

Таким образом, становится очевидным, что использование топологии хранилища данных на основе Redis для организации системы распределенного хранения обеспечивает прирост производительности при скорости генерации заявок не более 20 тысяч заявок в минуту.

На основе результатов имитационного моделирования разработана общая архитектура экспериментального образца облачной информационной системы поддержки бизнеса, позволяющей обмениваться хранимыми данными между субъектами, используя для этого свободные ресурсы хранения парка рабочих станций компании, которая состоит из трёх уровней:

1) уровень виртуальной файловой системы (FUSE – файловая система в пространстве пользователя, платформа построения виртуальной файловой системы, реализована в виде модуля для ядер UNIX-подобных операционных систем с открытым исходным кодом и относится к свободному программному обеспечению);

2) уровень описания структуры и распределения объектов файловой системы (rdfs), реализованный на базе сервера реляционной БД MySQL;

3) уровень хранения (система распределенного хранения на основе топологии с использованием Redis).

Если проводить аналогию с традиционной файловой системой, то можно отметить, что файлы пользователей хранятся в хранилище на основе топологии Redis, а таблица распределения файлов – в БД MySQL.

Алгоритм идентификации и обработки отказа при записи файла показан на рис. 7.

Рис. 7. Алгоритм идентификации и обработки отказа при записи файла

Разработанный на основе результатов имитационного моделирования алгоритм распределенного хранения файлов для реализации облачных программных решений показан на рис. 8.

Рис. 8. Алгоритм распределенного хранения для сетевого хранилища на основе Redis

Заключение

Таким образом, использование кэширующей распределенной системы хранения данных на основе высокопроизводительного нереляционного журналируемого хранилища данных типа «ключ-значение» Redis позволяет обеспечить доступ к оперативным данным со скоростью обращения к ОЗУ рабочих станций, участвующих в хранении, что позволит увеличить производительность электронного документооборота компании за счет высокоскоростного доступа к оперативным документам.

В статье использованы материалы, полученные в ходе НИР, выполняемой при финансовой поддержке Минобрнауки России в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007–2013 годы» (госконтракт №14.514.11.4003).

Рецензенты:

Марсов Вадим Израилевич, д-р техн. наук, профессор кафедры «Автоматизация производственных процессов» Московского автомобильно-дорожного государственного технического университета, г. Москва.

Суминов Игорь Вячеславович, д-р техн. наук, профессор, проректор по научной работе, ФГБОУ ВПО «МАТИ-РГТУ» им. К. Э. Циолковского, г. Москва.


Библиографическая ссылка

Тотмелина Н.Л., Анашкин Р.В., Кирьянов А.А., Сироткин В.Ю. АЛГОРИТМ РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ ДАННЫХ ДЛЯ ПРОГРАММНЫХ РЕШЕНИЙ ПО АВТОМАТИЗАЦИИ ДЕЯТЕЛЬНОСТИ СУБЪЕКТОВ МАЛОГО И СРЕДНЕГО ПРЕДПРИНИМАТЕЛЬСТВА В ОБЛАКЕ // Современные проблемы науки и образования. – 2013. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=9404 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674