Amazon Web Services. Эпизод первый: хранилище Glacier

Что такое длительное хранение данных, в каких случаях оно будет уместно и полезно, и правда ли стоимость хранения начинается чуть ли не от одного цента за гигабайт. Рассмотрим на примере хранилищ Glacier от облачного сервиса Amazon Web Services.

Хранилище судного дня

Северный ледовитый океан, архипелаг Шпицберген – самая северная точки Норвегии. Здесь находится открытое Правительством Норвегии в 2008 году всемирное хранилище семян. На глубине в 130 метров, в вечной мерзлоте оборудовано уникальное строение, основная цель которого – сохранить семена сельскохозяйственных растений на случай мирового апокалипсиса. По оценкам ученых, в созданных условиях семена сохранятся в течение нескольких тысяч лет. Каждой стране выделен свой отсек для хранения.

В случае, сами понимаете, чего можно будет снова разжиться семенами картошки. Хранилище устроено по всем требованиям безопасности – имеет шлюзовую структуру, выдерживает прямое попадание ядерной бомбы, а в случае отключения холодильных установок резервное поддержание минусовой температуры берет на себя вечная мерзлота.

Недавно помимо семян в хранилище стало можно поместить и цифровую информацию. Данные сперва загружаются на серверы, откуда их записывают на пленку, выдерживающую износ в 1000 лет. Неофициальное название бункера – «хранилище судного дня». И оно полностью соответствует назначению. Находится за полярным кругом, на архипелаге, посреди океана, глубоко под землей – далеко, безопасно, глубоко. Нормальное такое место для хранения резервных копий.

Что такое Amazon Web Services

Необычное вступление, когда семена вперемежку с it-сервисом, но оно здесь важно. Как видите, требования к длительному хранению и безопасности самого сервиса на первых позициях. И все, что применимо к хранилищу на Шпицбергене, можно также перенести на требования по хранению цифровых данных. Например, – на облачный сервис резервного хранения Glacier от компании Amazon.

С 2006 года Amazon развивает сервис Amazon Web Services (дальше буду сокращать до AWS), содержащий в себе более 175 различных it-продуктов, – работа с базами данных, интернет вещей, мобильные и сетевые технологии, вычислительные сервисы, машинное обучение.

Одна из услуг – это как раз хранилище данных – Amazon Simple Storage Service (S3) Glacier.

Что такое Glacier

В первую очередь, это хранилище облачное, как и все службы AWS в принципе. Многие уже давно работают с облачными сервисами и на себе знают все тонкости общения с ними – объемы хранения, тарифные планы, способы загрузки. Главное отличие того же Google Drive или Яндекс.Диска от Glacier это соотношение объема хранимой информации и цены за эту услугу. Плюс хранение в популярных (даже, наверное, повседневных) облачных хранилищах – это регулярное их использование. Загрузить фотографии, поделиться ими с друзьями, коллегами, расшарить доступ к документам для совместной работы. Все это привычные и, что важно, постоянно используемые функции. Сегодня загрузили, завтра удалили.

К использованию в качестве «хранилища судного дня» такие сервисы не подходят. Как минимум из-за частой перезаписи информации. В этом главное отличие Glacier – сервис предназначен для длительного хранения. Когда данные созданы, изменения в них не будут вноситься и нужно сохранить данные на много дней/месяцев/лет вперед. Стоимость хранения при таком подходе будет всего 1$ за терабайт в месяц. Заметили? За терабайт, а не гигабайт. С другой стороны, оно и понятно. Цели использования у сервисов разные, поэтому и цены отличаются.

Как работает сервис

Загрузить для хранения можно любые форматы файлов, упакованные в архивы. Максимальный размер каждого архива – 40 терабайт. Опять же – не гигабайт, а терабайт. В Glacier привычнее оперировать объемами в терабайты, нежели гигабайты. Сколько архивов будет у вас – не ограничено. Минимальный объем хранимой информации тоже без ограничений, хоть 1 байт.

Затем архивы загружаются в хранилища, и каждому архиву присваивается свой идентификатор. Amazon заявляет о надежности хранения в 99,999999999%. Это достигается, в первую очередь, тем, что с ваших данных создаются резервные копии, которые хранятся в нескольких центрах обработки данных. Помимо этого, данные шифруются в автоматическом режиме 256-битными ключами – а это надежный стандарт шифрования.

Обновлять информацию в архиве нельзя, для этого нужно создать новый архив с новыми данными. Это тоже гарант того, что загруженная вами информация останется в неизменном виде. Здесь плавно подошли к интересному моменту, а у кого вообще есть необходимость хранения больших (очень больших) объемов данных, да еще и на длительный срок?

Кому будет актуально хранить много и очень много

Будем исходить из основного и главного здесь момента – данные загружаются в своем финальном виде, без необходимости внесения в них изменений. Поэтому использовать Glacier в качестве сетевого диска для совместной работы будет как минимум дорого и как максимум странно. Загружать туда будем данные, которые нужно где-то хранить, а держать их у себя накладно. В первую очередь, из-за их объема.

Итак, идеи такие:

• фото или видеоархив;
• научные данные (или результаты исследований);
• медицинские данные;
• библиотечный фонд (сканы, само собой);
• большие базы данных.

Во всех случаях хранение будет хоть и длительным, но с необходимостью обратной выгрузки. Насколько частой будет такая необходимость – зависит от обстоятельств.

Как извлекать информацию

Эта процедура несколько отличается от работы с сетевыми дисками. Просто так войти в аккаунт и скачать нужный архив не получится. Нужно создать запрос на получение данных. Как только он будет выполнен и информация восстановлена (помним, что данные в архиве, архив в хранилище, хранилище зашифровано), только тогда можно будет загрузить данные себе. И то в течение суток, потом все сначала.

Glacier предлагает 3 варианта извлечения данных:

• стандартное;
• ускоренное;
• пакетное.

Отличаются они скоростью восстановления и стоимостью за это удовольствие.

Стандартное извлечение занимает 3-5 часов и стоит 0,01$ за 1 ГБ.

Ускоренное извлечение – когда вам нужно забрать небольшие архивы (до 250 МБ). На него уйдет 1-5 минут времени и 0,03$ денег за 1 ГБ.

Пакетное извлечение – самый экономичный способ. С его помощью можно забирать обратно огромные объемы данных (до нескольких петабайт). По времени это займет 5-12 часов и 0,0025$ за 1 ГБ.
При этом приятный момент, что каждый месяц можно бесплатно забирать обратно 10 ГБ данных. Все, что больше этого объема, – будет платно. Насколько именно платно, можно посмотреть здесь.

Преимущества Glacier

Это достаточно надежно. 99,999999999% – приятный и успокаивающий показатель. Одновременное сохранение данных в нескольких центрах обработки данных тоже добавляет уверенности, что информация будет в целости и сохранности. Шифрование, опять же. Ну, и цена за хранение таких больших объемов – вне конкуренции. Гигабайты, терабайты, петабайты данных будут в надежном месте. Такая вот банковская ячейка для ваших резервных копий. Загрузить в облако не так сложно, как забрать обратно.

Поэтому если у вас накопилось много-много данных, которые сейчас лежат частями на внешних жестких дисках, облачных сетевых дисках (Google Drive, Яндекс.Диск, Dropbox), флешках или прямо на диске в компьютере – присмотритесь к Glacier. Будет хорошая возможность приобщиться к известному сервису. Amazon – достаточно известная компания, не так ли? Ее наработки по части корпоративных решений активно используются мировыми брендами – Sony или вот SoundCloud, например.

Есть способ сэкономить

В прошлой статье про Okta я рассказал о программе TeploDigital, с помощью которой можно получить бесплатный (или с приличной скидкой) доступ к популярным сервисам. У TeploDigital такие партнеры называются донорами, и их там 17. Так вот среди них есть и Amazon Web Services! Можно подать заявку и получить промо-кредиты для оплаты облачных сервисов AWS.

При такой схеме можно свести затраты на хранение в облаке к минимуму. Для верности вот ссылка на условия участия в программе поддержки. В итоге можно уже сейчас подсчитать ваш объем данных для загрузки, вычислить стоимость хранения и расходы на обратную выгрузку. Если общая сумма в течение года будет в пределах 2000$, то – супер! – вы укладываетесь в годовой грант. На следующий год можно подать заявку снова.

Почитайте, посмотрите, подсчитайте. Если ваши запасы информации уже перешагнули рубеж в несколько терабайт данных, которые нужно где-то приберечь, то Glacier будет вам кстати.