Где и как хранят данные современные ИТ-сервисы

Сегодня приложения генерируют огромное количество данных, которые надо где-то хранить. Такие объемы нельзя залить на один сервер или диск, поэтому понадобились более сложные технологические решения. Так возникло несколько основных подходов к хранению данных приложений. Разберемся, в чем их особенности.

Современные способы хранения данных тесно связаны с облаками: в облаке можно почти неограниченно увеличивать объем хранения без дополнительных закупок оборудования и утилизировать оплаченные ресурсы на 100%.

Базовый уровень хранения данных в облаках — это блочные хранилища. По аналогии с дисками физических компьютеров, «блочка» — это виртуальные диски виртуальных машин, так что почти любые облачные сервисы имеют «под капотом» блочные хранилища.

 

В основе части облачных хранилищ данных, о которых ниже пойдет речь, лежат блочные хранилища. 

Базы данных — вспомогательные средства почти для любого приложения. В них хранятся и обрабатываются данные, которые могут занимать большой объём. В роли фрагментов данных, хранимых в базе, может выступать число, фрагмент текста, даже файл. Видов баз данных великое множество: для обработки транзакций, хранения неструктурированных данных, кэширования информации и многих других задач.

Базы данных оптимальны для постоянных типовых операций. Например, в базу данных записывается информация о заказах, поступающих в интернет-магазин, на основе которой приложение автоматически выписывает счет на оплату.

Базы данных развёртывают на собственных серверах или в виде облачного сервиса, который в общем случае называется DBaaS. Облачные базы данных выполняют те же функции, что и обычные, однако у них есть несколько преимуществ: 

Файловые хранилища, как ясно из названия, оперируют файлами. В таком хранилище файлы организованы в каталоги и подкаталоги (папки), каждый файл можно найти по имени и пути вложенных друг в друга каталогов. Файлы можно добавлять, удалять, перезаписывать, читать, исполнять. Такие файловые системы мы привыкли видеть на своих ПК и ноутбуках.

Файловые хранилища удобны, когда с файлами собираются работать непосредственно люди: работа с файлами в дереве каталогов многим привычна. Файловые хранилища используют и некоторые приложения, если основной объект их работы — файлы и каталоги. 

Когда файлов немного, файловое хранилище хорошо справляется. Однако при большом числе файлов структура каталогов становится громоздкой, поиск в ней и обращение к файлам замедляется. Поэтому файловые хранилища подходят для простых офисных задач — совместной работы небольшого числа сотрудников, файлового обмена, хранения архивов. Но они плохо подходят для больших массивов разнородных данных, которые надо быстро обрабатывать.

Как и базы данных, файловые хранилища развёртывают как на физическом оборудовании, так и в облачном варианте, на виртуальных дисках. Облачные хранилища вмещают больше файлов, к ним проще организовать удаленный доступ сотрудников. Их можно арендовать у облачных провайдеров, при этом обычно тарифицируется зарезервированный объём файлового хранилища. 

Данные в объектном хранилище размещаются без иерархии папок, принятой в файловом хранилище. Все данные хранятся в виде объектов, причём в роли объекта может быть что угодно: документ, изображение, тяжёлый исходник видео, фрагмент кода.

Объектные хранилища изначально облачные, их либо арендуют у провайдеров публичных облаков, либо строят в своём частном облаке. В обоих случаях преимущество перед файловыми хранилищами в том, что скорость доступа к любому объекту не зависит от числа объектов. Размещение миллиарда объектов не приводит к падению скорости — ситуация, немыслимая для файлового хранилища.

В виде публичного сервиса объектное хранилище дополняется ещё несколькими уникальными преимуществами: 

В частных облаках все эти свойства для объектного хранилища приходится обеспечивать дополнительно.

Объектные хранилища созданы для встраивания в приложения, поэтому их основной интерфейс — программный (API), то есть, команды, которые хранилище и приложения передают друг другу. Один из распространённых API — S3 (Simple Storage Service), а поддерживающие его объектные хранилища, называют S3-хранилищами. У объектных хранилищ бывает и «человеческий» интерфейс (UI), через который можно, к примеру, загрузить объект и настроить доступ к нему.

Примеры использования объектного хранилища:

Иногда объектные хранилища всё же используют в роли файловых систем, когда работать нужно с файлами в иерархии каталогов, но хочется сохранить преимущества объектного хранилища по надёжности и масштабируемости. В этом случае можно использовать дополнительные утилиты, например Диск-О, чтобы создать дерево каталогов и имитировать работу с объектами хранилища как с файлами. Использовать эти утилиты несложно, поэтому в некоторых случаях объектным хранилищем вполне можно заменить файловое.

Развернуть объектное хранилище можно в собственном центре обработки данных (ЦОД) в составе частного облака или воспользоваться услугой облачных провайдеров. Провайдеры обычно тарифицируют объём хранения, трафик и запросы к хранилищу, стоимость которых может отличаться в разных тарифах.

Большинство современных приложений в какой-то форме используют базы данных, файловые или объектные хранилища. 

Хранение на собственном физическом оборудовании оправдано при хорошо предсказуемом будущем объёме хранения и когда у вас достаточно рук, чтобы это хранилище обслуживать. 

Для запуска небольших приложений и тестирования бизнес-гипотез проще задействовать облачные хранилища, которые легко свернуть, если приложение не выстрелит, и масштабировать, если клиентская база начнёт безудержно расти.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!