Быстрый перенос данных в Amazon S3 с помощью AWS Import Export

Если у вас дома есть сотни гигабайт или даже терабайт данных в локальной сети, вероятно, все они хранятся на компьютере, внешнем жестком диске или устройстве NAS (сетевое хранилище). Наличие резервных копий ваших данных чрезвычайно важно, но хранить их все в одном месте никогда не бывает хорошей идеей.

Я понял это сам, когда увидел, что на моем локальном NAS хранится более 2 ТБ фотографий, видео, резервных копий и т. д . Конечно, у него 4 жестких диска, и если один из них выйдет из строя, ни одна из моих данных не будет потеряна. Однако, если мой дом сгорит или будет затоплен, все пропадет вместе с NAS . Поэтому я решил сделать резервную копию данных в облаке.

Я проверил Dropbox , SkyDrive , Google Drive , CrashPlan, Amazon S3(CrashPlan and Amazon S3) и Glacier, прежде чем окончательно остановился на Amazon S3 . Почему Амазон(Amazon) ? Что ж(Well) , у них есть классная услуга, где вы можете отправить внешний жесткий диск(hard drive) размером до 16 ТБ и загрузить его непосредственно на свои серверы, тем самым избегая серьезной проблемы с попыткой загрузить эти данные через ваше медленное интернет-соединение(Internet connection) .

ох

С AT&T в моем районе я получаю колоссальную скорость загрузки 1,4 Mbytes/secЗагрузка 2,5 ТБ данных, хранящихся на NAS , заняла много месяцев . С помощью Amazon Import/Export вы можете заплатить 80 долларов за обслуживание(service fee) , и они загрузят все эти данные для вас за один день. В итоге я сделал видеоруководство(video tutorial) , которое проведет вас через весь процесс от регистрации в Amazon Web Services до упаковки вашего жесткого диска и отправки его в Amazon .

Вот полная расшифровка видео:

Привет всем(Hey everyone) . Это Асим Кишор(Aseem Kishore) из Online Tech Tips . Я собираюсь сделать что-то новое сегодня. Я собираюсь сделать видеоруководство(video tutorial) по функциям импорта и экспорта (Import Export feature)Amazon Web Services . Так что же такое функция импорта-экспорта(Import Export feature) ? По сути, это способ получить большой объем данных в корзину Amazon S3(Amazon S3 bucket) или в хранилище Glacier(Glacier vault) . Amazon S3 и Glacier(Amazon S3 and Glacier) — это, по сути, два варианта хранения, которые у вас есть для резервного копирования и(backup and data) архивирования данных с помощью Amazon . Итак, почему вы хотите использовать эту услугу от Amazon ?

Ну, в основном это позволяет очень быстро перемещать большие объемы данных в облако . (Cloud)Если вы похожи на меня, у вас могут быть сотни гигабайт фотографий и видео, хранящихся локально на вашем компьютере или на внешнем жестком диске. Попытка загрузить 100 гигабайт, 500 гигабайт или даже терабайт данных в облако(Cloud) займет у вас недели, если не месяцы, при медленном соединении(upload connection) для загрузки . Вместо этого вы можете скопировать эти данные на внешний жесткий диск, который может иметь размер до 16 терабайт, и просто отправить их в Amazon, где они доставят их в свой центр обработки данных и загрузят(center and upload) прямо в вашу корзину или хранилище(bucket or vault) , а затем вы можете пойти дальше и получить доступ к этому из Интернета.

Итак, чтобы начать, первое, что вам нужно сделать, это создать учетную запись Amazon Web Services(Amazon Web Services Account) . Для этого вам нужно перейти на aws.amazon.com и нажать кнопку « Зарегистрироваться»(Sign Up button) . Введите свой адрес электронной почты и выберите «Я новый пользователь», если у вас еще нет учетной записи Amazon(Amazon account) . Если вы это сделаете, выберите «Я постоянный пользователь», и вы сможете использовать свою текущую учетную запись Amazon(Amazon account) для регистрации в Amazon Web Services .

После создания учетной записи Amazon Web Services(Amazon Web Services Account) вам необходимо загрузить инструмент Import Export(Import Export tool) . Этот инструмент очень прост в использовании. Это требует небольшой настройки, которую я собираюсь объяснить. Но вы можете видеть на экране, что есть ссылка(load link) для скачивания , которую я собираюсь добавить в заголовок внизу этого видео. Итак, скачайте его, а затем распакуйте в каталог на своем компьютере.

Теперь, когда вы загрузили этот инструмент и распаковали его, у вас должен быть каталог, который выглядит следующим образом. На этом этапе нам нужно будет отредактировать файл под названием «Учетные данные AWS». Он содержит два значения: идентификатор ключа доступа и секретный ключ(Access Key ID and Secret Key) . По сути(Basically) , это два значения, которые Amazon использует для привязки к вашей учетной записи. Вы можете получить эти два значения из своей учетной записи Amazon Web Services(Amazon Web Services Account) , перейдя по следующему адресу. Это aws.amazon.com/securitycredentials. На странице «Учетные данные безопасности»(Security Credentials page) нажмите « Ключи доступа(Access Keys) » .

Теперь это становится немного запутанным здесь. Если вы уже использовали Amazon Web Services и ранее уже создавали ключи, вы не сможете увидеть здесь свой секретный ключ. Это своего рода новый интерфейс от Amazon , и для того, чтобы увидеть свои существующие секретные ключи, вам нужно щелкнуть ссылку Security Credentials , которая приведет вас на старую страницу Legacy(Legacy page) .

Если вы только что создали новую учетную запись, вы сможете создать новый корневой ключ(root key) . Эта кнопка будет активной. В этот момент вы получите идентификатор ключа(Key ID) доступа и секретный ключ, который даст вам оба значения. А это страница Legacy Security,(Legacy Security page) где вы можете получить доступ к своим секретным ключам, если вы уже создали идентификатор ключа доступа(Access Key ID) для Amazon Web Services . Итак, как вы можете видеть здесь, у меня есть два ключа доступа, и если я хочу пойти дальше и увидеть свой секретный ключ, я могу нажать кнопку « Показать»,(Show button) а затем я могу скопировать эти два значения в файл учетных данных AWS,(AWS Credentials file) который я показал . ты раньше. Итак, вы хотите продолжить и вставитьПолучите доступ к ID-ключу(Access ID key) здесь и вставьте здесь секретный ключ(Secret key) .

На этом этапе, если вы запутались в идентификаторе ключа доступа(Access Key ID) и секретном ключе доступа(Secret Access key) , ничего страшного. Вам действительно не нужно знать, что они собой представляют, или каким-либо образом(way whatsoever) заботиться о них . Все, что вам нужно сделать, это подписать и получить значения, скопировать и вставить их в этот файл.

Следующее, что мы собираемся сделать, это создать задание импорта(import job) . Теперь следующие две части — две самые сложные части всей этой процедуры. Чтобы создать задание импорта(import job) для Amazon S3 , мы собираемся создать файл манифеста. Этот файл манифеста в основном содержит некоторую информацию о вашем устройстве. Где бы вы ни хотели хранить данные и куда вы хотите вернуть устройство.

Теперь приятно то, что нам не нужно создавать этот файл манифеста самостоятельно. Он уже создан для нас, нам просто нужно его заполнить. Итак, что вам нужно сделать, это зайти в каталог, где у вас есть инструмент импорта и экспорта, и нажать(import export tool and click) « Примеры». Здесь вы собираетесь открыть манифест импорта S3 . (S3 import)Как вы можете видеть здесь, я уже заполнил информацию для моего задания на импорт(import job) . Итак, давайте продолжим и посмотрим на это немного подробнее.

Как видите, первое, что вам нужно сделать, это снова ввести идентификатор ключа доступа. Вам нужно избавиться от квадратных скобок, и вы просто можете вставить его сразу после двоеточия. Следующее, что вам нужно сделать, это ввести имя корзины(bucket name) . Вам нужно будет создать корзину, которую я собираюсь показать после этого, но сейчас введите любое имя, которое вы хотите, где будут ваши данные. хранится. Поэтому, если вы создадите папку с именем « Резервное копирование»(Back Up) , все, что у вас есть на вашем устройстве, любые папки или что-либо там, будет находиться под этим именем корзины(bucket name) .

Следующее, что вам нужно сделать, это ввести идентификатор вашего устройства. По сути, это уникальный идентификатор вашего внешнего жесткого диска. Это может быть серийный номер, указанный на задней панели жесткого диска. Если у вас нет серийного номера на задней панели жесткого диска, вы можете просто создать свой собственный номер или создать идентификатор. Просто(Just) напишите это на чем-нибудь, на наклейке, которую вы можете наклеить на свое устройство, а затем просто введите это значение здесь. Просто это должно быть что-то одинаковое на устройстве и в этом файле. Erase device , для него уже установлено значение «Нет», так что вы его оставите. Вы можете оставить следующий. Уровень сервиса(Service level) стандартный, можно оставить. И обратный адрес(return address), вы собираетесь заполнить свой адрес, как я сделал здесь. В исходном файле есть несколько необязательных полей. Вы должны пойти дальше и удалить их, если вы не собираетесь их использовать. Таким образом, вы можете просто удалить эти строки.

Итак(Okay) , следующее, что мы собираемся сделать после заполнения файла манифеста, — сохранить его в соответствующем каталоге. Для этого мы продолжим и нажмем File , Save As и вернемся обратно в каталог import export Web Services Tool(Tool directory) . Это также расположение того файла свойств(property file) точки, который мы заполнили ранее. Здесь вы можете пойти дальше и назвать свой файл «мой импортный манифест.txt(import manifest.txt) . «Поскольку ваш тип файла для (Type)сохранения(Save As) уже имеет значение txt, вам не нужно вводить его в имя файла(file name) . Продолжайте и нажмите Сохранить(Save) .

Теперь, когда мы отредактировали файл учетных данных AWS(AWS Credentials file) и указали имя файла My Import Manifest(My Import Manifest file) , мы можем приступить к созданию корзины в Amazon S3 . Это очень просто сделать. Что вы собираетесь сделать, так это перейти на aws.amazon.com, и вы собираетесь пойти дальше и щелкнуть консоль «Моя учетная запись»(My Account console) , а затем нажать « Консоль управления AWS(AWS Management Console) » . После входа в систему вы должны увидеть экран со всеми различными веб- (Amazon Web) сервисами(Services) Amazon . На данный момент все, что нас интересует, это Amazon S3 , который находится внизу слева. Нажмите(Click) на это, и он загрузит консоль S3 .(S3 console). И, как вы можете видеть здесь, на самом деле ничего особенного, кроме ведер. Итак, у меня есть два ведра, это моя резервная копия моего Synology NAS, который является устройством хранения сетевого типа(network type storage device) .

Что вам нужно сделать, так это нажать « Создать корзину(Create Bucket) » и подумать, что вы собираетесь продолжить и дать своей корзине имя(bucket name) корзины . Вы также можете выбрать другой регион, но я предлагаю вам просто перейти к региону, который он заполняет для вас автоматически. Имя корзины(bucket name) может состоять только из точек и должно быть уникальным во всем регионе, где оно хранится. Поэтому, если у кого-то уже есть это имя ведра(bucket name) , это выдаст вам ошибку. Например, если я скажу nasbackup и создаю, это выдаст мне ошибку, что запрошенное имя корзины(bucket name)не доступен. В этом случае вы можете использовать точки, чтобы вы могли поставить «точку» и все, что хотите, и нажать «Создать», и если это уникально, а затем он продолжит и создаст это имя корзины(bucket name) . Итак, вы можете пойти дальше и создать корзину, то есть мы будем хранить данные на всем этом внешнем жестком диске.

На этом этапе вам может быть интересно, что еще нужно сделать. Итак, давайте посмотрим, что мы уже сделали. Мы зарегистрировались в сервисе AWS(AWS service) . Мы скачали и извлекли инструмент. Мы отредактировали файл и ключи редактора(file and editor keys) . Мы пошли дальше и создали файл манифеста, сохранили его в манифесте импорта в том же каталоге, что и файл учетных данных, и создали корзину на Amazon S3 . Так что осталось сделать еще пару вещей, чтобы это сделать.

Следующее, что нам нужно сделать, это создать запрос на работу(job request) с помощью инструмента командной (Java command) строки(line tool) Java . Это немного технически, и это, вероятно, самая техническая вещь, которую вам придется сделать, но на самом деле это не так уж сложно. Теперь, чтобы создать этот запрос на работу(job request) , мы должны запустить команду Java(Java command) в командной строке(command prompt) . Но для этого у нас должен быть установлен комплект для разработки Java . (Java development)Это отличается от среды выполнения Java(Java runtime) , которая обычно устанавливается на большинстве компьютеров, но не позволяет запускать команды Java(Java command) в командной строке(command prompt) .

Для этого вам нужно зайти в Google и просто выполнить поиск Java SE , а это Java Standard Edition . Нажмите на первую ссылку здесь, и вы попадете на эту страницу. Здесь вы можете прокрутить вниз, и вы увидите три варианта: сервер JDK(JDK server) , JRE и JRE . Нам не нужно беспокоиться об этих двоих здесь. Мы продолжим и загрузим JDK(JDK) . На следующей странице нажмите « Принять лицензионное соглашение(Accept License Agreement) », после чего вы сможете загрузить файл, соответствующий спецификациям вашей системы. В моем случае я загрузил исполняемый файл для 64(Windows 64) - битной Windows.

Теперь, когда вы установили комплект исполняемых файлов Java , мы можем приступить к выполнению команды (Java)Java(Java command) , и вы можете продолжить и увидеть эту команду здесь, в документации, которую я выделил здесь. И, кстати, если вам нужно добраться до этой документации, самый простой способ — зайти в Google и выполнить поиск «Документы импорта и экспорта(export docs) AWS ». Затем нажмите «Создать задание импорта(import job) » , а затем нажмите «Создать первое задание импорта Amazon S3(Amazon S3 import) », и вы попадете на эту страницу.

Теперь мы можем продолжить и запустить команду, перейдя в командную строку(command prompt) . Для этого мы нажимаем «Пуск(Start) », набираем CMD и нажимаем «Enter(CMD and press Enter) » . Теперь, когда у нас есть командная строка(command prompt) , нам нужно перейти в каталог, где находится инструмент (export tool)импорта и экспорта Amazon(Amazon import) . В нашем случае это Downloads , а затем папка Import Export Web Service Tool . Итак, чтобы перемещаться по каталогам в командной строке(command prompt) , вы вводите «cd», затем я собираюсь ввести «downloads», затем я снова набираю «cd», и я собираюсь введите « инструмент (service tool)импорта экспорта(import export) веб- сервиса», что является именем каталога(Directory) . Теперь, когда я в этом каталоге(Directory) , я просто скопирую эту команду и вставлю(command and paste) ее в командную строку(command prompt) .

Вы могли заметить, что в команде, которую мы только что скопировали и вставили, имя файла манифеста — My S3 Import Manifest.txt . Я думаю, что это проблема с документацией, потому что, когда я пытался запустить ее таким образом, я получил сообщение об ошибке, в котором говорилось, что файл должен называться My Import Manifest.txt . Так что просто переместите курсор и удалите часть S3(S3 part) , и вы сможете запустить команду. Теперь я не собираюсь запускать команду прямо сейчас, потому что уже запускал ее раньше. Но когда вы продолжите и нажмете Enter , вы должны получить что-то вроде этого, созданное задание, идентификатор задания, адрес доставки AW(AW shipping) и содержимое файла подписи(Signature File Contents) .

Содержимое файла подписи(signature file) — это, по сути, файл, созданный в корневом каталоге(root directory) здесь, в инструменте Import Export Web Services , вызываемом (tool call) Signatures . Это будет создано, когда вы запустите фактическую команду. Если все пойдет хорошо(Okay) , вы можете взять этот файл и скопировать его в корень жесткого диска.
Мы почти дошли до конца. Следующее, что нам нужно сделать, это скопировать файл подписи(Signature File) в корень жесткого диска. Мы можем найти файл с именем Signature в каталоге инструментов (Tool Directory)импорта и экспорта веб- (Import Export Web) служб(Services) после запуска команды Java(Java command) .

Предпоследний шаг — распечатать упаковочный лист и заполнить его. Вот так выглядит упаковочный лист. Это очень простой документ. Вы идете дальше и указываете дату, идентификатор своей учетной записи электронной почты, свой контактный номер, ваше имя и номер телефона(name and phone number) , идентификатор задания и идентификатор, который вы указали для своего устройства. Опять же, вы можете найти этот документ здесь вне документации.

И, наконец, последний шаг — просто упаковать жесткий диск и отправить(drive and ship) его на Amazon . Есть несколько мелочей, на которые вы должны обратить внимание. Во- первых(Firstly) , вам необходимо включить блок питания(power supply) и все кабели питания и любые интерфейсные кабели, поэтому, если это USB 2.0 , 3.0, esata, вам необходимо включить кабель USB или кабель esata(USB cable or esata cable) . Если нет, они пойдут вперед и вернут его обратно к вам. Вам также нужно будет заполнить упаковочный лист, о котором я упоминал ранее, и положить его в коробку. И, наконец, вы собираетесь отправить пакет на адрес, который вы получили из команды создания ответа(create response command) , которую мы запустили.

Есть еще две небольшие вещи, на которые стоит обратить внимание при отправке. Во-первых, вы должны убедиться, что на транспортной этикетке(shipping label) есть этот идентификатор задания. Если нет, то вернут обратно. Таким образом, вам нужно убедиться, что у вас есть идентификатор задания на транспортной этикетке(shipping label) . Во-вторых, вы также должны заполнить обратный адрес доставки(return shipping address) . Он будет отличаться от обратного адреса доставки(return shipping address) , который мы указали в файле манифеста. Если они по какой-то причине не обработают ваш жесткий диск, если возникнет проблема или что(problem or something) -то в этом роде , они вернут жесткий диск по адресу доставки,(shipping address) указанному на этикетке доставки .(shipping label). Если они обработают ваш жесткий диск и смогут передать все данные, они вернут жесткий диск на адрес доставки(shipping address) , указанный в сообщении об этом. Поэтому важно также указать адрес обратной доставки(return shipping address) на этикетке. Вы можете выбрать любого оператора связи. Я выбрал УПС(UPS) . Хорошо иметь номер для отслеживания(tracking number) , и они могут сделать все это для вас без проблем.

И это все. Это несколько шагов, и это займет немного времени в первый раз, когда вы это сделаете. Но после этого это довольно быстро, и это отличный способ сохранить много данных в облаке(Cloud) , Amazon также дешев для хранения. Поэтому, если вам нужно хранить тонны данных в день, и вы хотите сделать резервную копию не дома или на внешнем жестком диске, тогда Amazon Web Services S3 — отличный вариант.

Надеюсь, вам понравилось это руководство Online Tech Tips . Пожалуйста(Please) , вернитесь и посетите.



Алина Разумовская

About the author

Я компьютерный техник с более чем 10-летним опытом, в том числе 3 года в качестве 店員. У меня есть опыт работы с устройствами Apple и Android, и я особенно хорошо разбираюсь в ремонте и обновлении компьютеров. Я также люблю смотреть фильмы на своем компьютере и использовать свой iPhone для съемки фотографий и видео.


Related posts