от
У меня есть около 50 ТБ данных в S3 ведро, ведро не имеет каких-либо перегородок. Файлы файлы JSON приблизительно 100кб каждый в размер. Мне нужно сделать разделение на эти данные и поместить его в другое ведро S3, чтобы сохранить его в структуре гггг/ММ/ДД/именем.JSON или добавление пользовательского поля метаданных в файлы, которые первоначально lastmodifieddate на сам файл и переместить его в другое ведро. Я посмотрел на варианты, как Делаю это с кластера Spark, монтаж как ведра, слова песен и затем делаем преобразование и скопировать в целевую корзину. Я также пытался писать лямбда-функция, которая может сделать то же самое на данный файл и вызывать его из другой программы. 1000 файлов займет около 15 секунд, чтобы скопировать. Я тоже посмотрел в создания запасов S3 и выполнение задания по нему, но он не настраиваемый, чтобы добавить метаданные или создать структура раздела так сказать. Есть очевидный выбор, который я, возможно, отсутствует или есть лучшие способы сделать это ?

Ваш ответ

Отображаемое имя (по желанию):
Конфиденциальность: Ваш электронный адрес будет использоваться только для отправки уведомлений.
Анти-спам проверка:
Чтобы избежать проверки в будущем, пожалуйста войдите или зарегистрируйтесь.
...