This is done in the AWS console.
Copying within an S3 packet (about 3GB) used to take about 5 minutes, but yesterday (2024/09/16) it took about 30 minutes.
Also, it sometimes stops with an error.
Error code
char 'd' is not expected.:1:3 Deserialization error: to see the raw response, inspect the hidden field {error}.$response on this object.
When setting up the copy, it was normal before the "Other copy settings" field was created.
(It is normal as of 2024/09/13)
Have there been any changes to the specifications or default values?
Please let me know the solution.
AWSコンソールでの操作です。
S3パケット内でのコピー(3GB程度)が以前は5分程度で終了していましたが、
昨日(2024/09/16)実施すると30分程度かかります。
また、その際にエラーで止まってしまうこともあります。
エラーコード
char 'd' is not expected.:1:3 Deserialization error: to see the raw response, inspect the hidden field {error}.$response on this object.
コピー設定をする際に、「その他のコピー設定」という欄が出来る前は正常でした。
(2024/09/13時点では正常)
何か仕様の変更や規定値の変更などがあるのでしょうか。
解決策などご教授ください。
AWS公式更新しました 7ヶ月前
回答ありがとうございます。 本件では同バケット内で、画像データが8000件ほどのオブジェクトを、新規作成したオブジェクトへコピーを実施しました。
汎用バケット１内の オブジェクトA →AAAフォルダ ・画像1000件 →BBBフォルダ ・画像1500件 ・・・
上記オブジェクトAを オブジェクトB内に作成した日付フォルダへコピーを行いました。
当方AWS自体に詳しくなく、バケット内でのコピーに速度制限などはあるのでしょうか？
内容を見る限りだとオブジェクト数が多くて失敗しているのではないかと思いました。(8000件くらいであれば処理できそうな気もしますが...) 大量のオブジェクトを移動したりコピーしたりする場合はバッチレプリケーションなどのご利用を検討してください。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/s3-batch-replication-batch.html
ちなみにAWS CLIコマンドの「aws s3 sync」コマンドなどでコピーしても同じようなエラーになりますか？ https://repost.aws/ja/knowledge-center/move-objects-s3-bucket
ありがとうございます。 一度cliで実施したところ通常成功時以上の速度(2.3分程度)で完了しました。
そこでかなり初歩的な質問になりますが、 ①コンソールからの実施とCLIからの実施でここまで差が出ることはあるのでしょうか？
②コピー元と先のフォルダをコンソールから"合計サイズを計算する"を実施すると、オブジェクトの合計数に差異がありました。中のデータについては問題なくコピー出来ていたのですが、合計数の表示に差異が出る場合もありますでしょうか。
③CLI コマンドについてです ☆コピーターゲット "Copy Folder" バケットA/"Copy Folder"/AAAやBBBのフォルダ ☆コピー先 "YYYYMMDD" バケットA/"Copy Folder_Backup"/"YYYYMMDD"
上記をターゲットに以下のコマンドを実施しました。 aws sync s3://バケットA/"Copy Folder" s3://バケットA/"Copy Folder_Backup"/"YYYYMMDD"
結果として "YYYYMMDD"/AAAやBBB となったのですが、 "YYYYMMDD"/"Copy Folder"/AAAやBBBとコピーしたい場合、 コマンドはどのようにすればいいのか分かりますでしょうか。
パフォーマンスの差については聞いたことがありません。
正常にコピーができているのであれば同数になると思います。 何かしら重複してコピーされてるのかコピーに失敗したのではないかと思います。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/using-folders.html
以下のように「"Copy Folder"」を末尾に付ければその配下にオブジェクトがコピーされます。
ご連絡が遅くなり、申し訳ございません。 こちら一旦CLIでの操作で解決できる目途が立ちました。
GUIでの操作についてはサポートレベルを上げれそうであれば、AWSテクニカルサポートで確認を行ってみようと思います。 アドバイスをいただきありがとうございました。