S3 Хранилище Закрома

Хранение и организация управления накопленных данных – нетривиальная задача и особая головная боль руководителя компании любого уровня. Чем больше объемы и меньше степень структуризации информации, тем сложнее манипулировать созданным информационным богатством.

На рынке представлено достаточно решений для хранения. Есть из чего выбрать под конкретные нужды. Интересен опыт создания на базе объектной модели и внедрения системы корпоративного хранилища файлов и документов Закрома.Хранение.

Когда данных много, они поступают из разных приложений, то невозможно разобраться что, где храниться и как часто используется в хаотичном наборе файлов. Такое положение вещей мало похоже на стройную систему, а скорее напоминает неопрятную помойку. Метаданные объектного хранилища упорядочивают доступ, дают владельцу понимание откуда файл, для чего, как часто востребован и т.д. Возможность менять конфигурацию метаданных позволяеторганизовывать аналитические, статистические, прогнозные выкладки.

Кроме упорядочивания хранимой информации, принцип построения объектной модели позволяет проще и эффективнее решать другие актуальные задачи:

• Противодействие вирусам, которые ориентированы в первую очередь на файловую систему. Например,вредоносные шифровальщики не смогут получить доступ к объектам, потому что программ-вирус должназапуститься как сторонний процесс, а объектная модель исключает такую возможность.
• Организация хранения разнообразных архивов: баз данных, слепков виртуальных машин, тяжелого медиаконтента, крупных (от террабайта) массивов сканов документов и пр. Объектно-ориентированная архитектура наиболее эффективна для этой категории, плюс поддерживается версионность с возможностью удалять устаревшие экземпляры.
• Ускорение разработки. Над файловым хранилищем располагается REST API, а большинство приложений уже умеют работать с пользовательским интерфейсом, который обеспечивает быстрый доступ к объектам.
• Объединение распределенных хранилищ позволяет создать DataLike. Выбрать инструмент для, например, аналитики или прогнозных наработок и использовать данные из разных источников для моделирования, исследований, проверки гипотез и т.д.
• Тотальное протоколирование. Обращения к данным записываются в журнал с последующим анализом для принятия управленческих решений.

На основе опыта работы с различными объектными хранилищами появилась потребность преодолеть их ограничения, объединив преимущества. И “Петабайтные объемы” могут отфильтровать большую часть потенциальных клиентов, так в среднем, к продукту начинают обращаться с запросом хранения информации от 10-50 ТБ и выше.

Закрома. Хранение может работать к с MINIO, так и с Cerph и с другими S3 хранилищацми. И даже выступать как S3-хранилище.

В разработке компонентов продукта применен Go, один из самых быстрых языков программирования. Реализован алгоритм подгрузки больших файлов, объемом свыше 5 террабайт, путем дробления его на части. Такой подход позволил делать манипуляции с неограниченным объемом файла с обеспечением высокой скорости обработки хранимой информации.

Созданная надстройка параллельно была адаптирована под еще одну СХД Red Hat Ceph. Это более сложное решениепромышленного уровня. Требует значительных ресурсов на обслуживание и высокого уровня компетенций службы поддержки.

Есть специальное веб-приложение для администрирования и настройки подключения. Однако, весь функционал управления возможно реализовать через REST API сторонними средствами. Дополнительно клиенту предоставлена возможность оперировать событиями (webhooks) о перемещении данных: фиксировать трафик и обмениваться между бизнес-приложениями с целью более тесной интеграции с хранилищем.

В Back-end может быть, как любой S3-совместимый storage облачного типа, так и любая файловая система. В случае организации хранения через каталоги с файлами, Закрома.Хранение само выступает в роли S3-хранилища.

Механизм синхронной репликации обеспечивает параллельную запись информации в несколько хранилищ. Если storage расположен удаленно и оснащен медленным каналом связи, используется асинхронный способ (запись происходит в момент минимальной нагрузки на соединение). Количество мест хранения и порядок дублирования задается администратором.

При чтении данные берутся с любого доступного места. Если есть возможность подключения к нескольким источникам, выбирается ближайший доступный и оптимальный по скорости. При прерывании загрузки происходит автоматическая смена хранилища с обеспечением возобновления загрузки с места остановки.

На базе статистики система рассчитывает интенсивность использования данных. Те файлы, которые чаще востребованы автоматически переносятся в более скоростные хранилища. Редко используемая или «ледяная» информация размещается на мощностях с меньшей стоимостью хранения. Тем самым оптимизируются расходы клиента.

Настройка условий хранения производится с помощью системы администрирования, которая реализована в виде веб-консоли. Кроме интенсивности, правила использования можно сформировать по таким параметрам как: размер и расширение файла, состояния метаданных, степень загруженности storage и др. Реализован механизм исключения дублирования объектов.

Кроме аудита логов, центр предоставляет следующие возможности:

• Защита от удаления по установленным администраторам правилам.
• Адаптация разнообразных систем аутентификации с помощью открытого решения Keycloak. В том числе через Active Directory или любой другой LDAP-совместимый вариант.
• Отказоустойчивость на нескольких уровнях. Для корпоративных клиентов предлагается контейнерная среда на базе OpenShift, Kubernete и др.
• Recovery-режим для аварийных ситуаций. Автоматическое восстановление с помощью сканирования хранилищ.

Мониторинг метрик состояния и событий на базе Grafana.

Посыл рынку СХД от создателей продукта – не нужно на базе MinIO, Ceph или других аналогов создавать большие, монстрообразные программно-аппаратные комплексы, где задействовано множество серверов или даже ЦОД. Такой подход усложняет администрирование и снижает надежность системы. Более продуктивно решает проблему гибкая система, состоящая из небольших самостоятельных кластеров, объединенных под общей крышей в виде технологичного решения Закрома.Хранение.

Технологии
Благодаря поддержке методов S3 и использования современных технологий и принципов построения, таких как: микросервисная архитектура, ориентация на облачные storage, собственные и опенсорсные компоненты, Закрома.Хранение реализует востребованные типовые решения:

• Объединение данных разных систем.
• Быстрое расширение объемов хранения.
• Миграция между хранилищами.
• Построение DataLike.
• Шаринг данных между системами.
• Автопереключение при сбоях и др.

Опыт
Адаптивность продукта и гибкая архитектура построения позволила реализовать ряд значимых проектов, среди них:

• Создание архива ФГУП «Росгеолфонд». Решена задача управления информацией обо всех геологических объектах России. По каждому миллионы терабайтных файлов. Объем данных более 7 петабайт. Свыше 10 тыс. пользователей, работающих в разных точках страны.
• Единый цифровой архив Росбанка. Внедрение новой системы для хранения и обмена контентом различных баз данных взамен устаревшего решения на основе Hadoop. Более 25 систем-источников данных. Бесшовная поэтапная миграция без необходимости их доработки.

Кроме организации хранения, продукт Закрома предоставляет клиенту свободу от вендоров и поставщиков оборудования. В силу последних событий логистические цепочки нарушены. Новые схемы и сама сущность серого или параллельного импорта мало того, что увеличивают время обработки заявок, но еще и не гарантируют сроки поставки.Возможность подключения к любому облаку для временного хранения с последующей миграцией на доставленное железо решает эту проблему.

Аналогов объединения под одной крышей разнообразных типов хранилищ на сегодня нет не только на российском рынке, но и в мире. Дополнительное преимущество – Закрома.Хранение внесена в Единый реестр российских программ для электронных вычислительных машин и баз данных. Регистрация в Минцифре дает льготы и преференции в части уплаты налогов и возможности работы с государственными структурами.