Wie verwende ich Amazon S3 Batch Operations, um Objekte zu kopieren, die größer als 5 GB sind?
Ich möchte Amazon Simple Storage Service (Amazon S3)-Objekte, die größer als 5 GB sind, von einem Bucket in einen anderen kopieren.
Kurzbeschreibung
Um Amazon S3-Objekte, die größer als 5 GB sind, von einem Bucket in einen anderen zu kopieren, verwende S3 Batch Operations mit einer AWS Lambda-Funktion. Weitere Informationen findest du unter Kopieren von Objekten, die größer als 5 GB sind, mit Amazon S3 Batch Operations.
Hinweis: Du kannst auch die mehrteilige Upload-API verwenden, um Amazon S3-Objekte zu kopieren, die größer als 5 GB sind. Weitere Informationen findest du unter Objekt mithilfe eines mehrteiligen Uploads kopieren.
Lösung
Bevor du beginnst, stelle sicher, dass du einen Ziel-S3-Bucket erstellt hast, in den du die Objekte kopieren möchtest.
Eine Lambda-Funktion erstellen
Führe die folgenden Schritte aus:
-
Öffne die Lambda-Konsole.
-
Wähle Funktion erstellen aus.
-
Wähle Ohne Vorgabe erstellen.
-
Gib als Funktionsname einen Namen für die Funktion ein, zum Beispiel S3BatchCopy.
-
Wähle die Laufzeit-Dropdown-Liste und wähle dann Python 3.9.
-
Wähle für Architektur x86_64 aus und wähle dann Funktion erstellen aus.
-
Gib im integrierten Code-Editor den Lambda-Funktionscode ein.
Beispiel für einen Lambda-Funktionscode:import boto3 import os from urllib import parse from botocore.client import Config from boto3.s3.transfer import TransferConfig target_bucket = os.environ['destination_bucket'] new_prefix = os.environ['destination_bucket_prefix'] metadata_copy = os.environ['copy_metadata'] tagging_copy = os.environ['copy_tagging'] storage_class = os.environ['copy_storage_class'] # Added storage class s3Client = boto3.client('s3', config=Config(retries={'max_attempts': 3})) def lambda_handler(event, context): task = event['tasks'][0] s3Key = parse.unquote_plus(task['s3Key'], encoding='utf-8') s3VersionId = task['s3VersionId'] s3Bucket = task['s3BucketArn'].split(':')[-1] try: copy_source = {'Bucket': s3Bucket, 'Key': s3Key} if s3VersionId: copy_source['VersionId'] = s3VersionId newKey = f"{new_prefix}/{s3Key}" if new_prefix else s3Key myargs = { 'ACL': 'bucket-owner-full-control', 'StorageClass': storage_class # Added storage class to copy arguments } # Add metadata if enabled if metadata_copy == 'Enable': get_metadata = s3Client.head_object(Bucket=s3Bucket, Key=s3Key, VersionId=s3VersionId if s3VersionId else None) for key in ['CacheControl', 'ContentDisposition', 'ContentEncoding', 'ContentLanguage', 'Metadata', 'WebsiteRedirectLocation', 'Expires']: if value := get_metadata.get(key): myargs[key] = value # Add tagging if enabled if tagging_copy == 'Enable': get_obj_tag = s3Client.get_object_tagging(Bucket=s3Bucket, Key=s3Key, VersionId=s3VersionId if s3VersionId else None) if tag_set := get_obj_tag.get('TagSet'): myargs['Tagging'] = "&".join([f"{parse.quote_plus(d['Key'])}={parse.quote_plus(d['Value'])}" for d in tag_set]) response = s3Client.copy(copy_source, target_bucket, newKey, ExtraArgs=myargs) result = {'resultCode': 'Succeeded', 'resultString': str(response)} except Exception as e: result = {'resultCode': 'PermanentFailure', 'resultString': str(e)} return { 'invocationSchemaVersion': event['invocationSchemaVersion'], 'treatMissingKeysAs': 'PermanentFailure', 'invocationId': event['invocationId'], 'results': [{'taskId': task['taskId'], **result}] } -
Wähle Bereitstellen aus.
Eine IAM-Rolle für die Lambda-Funktion erstellen
Führe die folgenden Schritte aus:
-
Öffne die AWS Identity and Access Management (IAM, Identitäts- und Zugriffsmanagement)-Konsole.
-
Wähle im Navigationsbereich Rollen und dann Rolle erstellen aus.
-
Wähle für Typ vertrauenswürdiger Entitäten die Option AWS-Service aus.
-
Wähle die Dropdown-Liste Anwendungsfall und dann Lambda aus.
-
Wähle Weiter aus.
-
Wähle die Richtlinie AWSLambdaBasicExecutionRole aus und klicke dann auf Weiter.
-
Gib als Rollenname einen Namen ein, zum Beispiel LambdaS3BatchRole.
-
Füge die folgende Richtlinie hinzu:
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetObject", "s3:GetObjectAcl", "s3:GetObjectTagging", "s3:GetObjectVersion", "s3:GetObjectVersionAcl", "s3:GetObjectVersionTagging", "s3:ListBucket*" ], "Resource": "*", "Effect": "Allow" }, { "Action": [ "s3:PutObject", "s3:PutObjectAcl", "s3:PutObjectTagging", "s3:PutObjectLegalHold", "s3:PutObjectRetention", "s3:GetBucketObjectLockConfiguration", "s3:ListBucket*", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-destination-bucket", "arn:aws:s3:::amzn-s3-demo-destination-bucket/*" ], "Effect": "Allow" } ] } -
Wähle Rolle erstellen.
Hinweis: Wenn du einen vom Kunden verwalteten AWS Key Management Service (AWS KMS)-Schlüssel verwendest, um den Bucket zu verschlüsseln, muss die IAM-Rolle zusätzliche Berechtigungen gewähren. Anweisungen findest du unter Mein Amazon S3-Bucket verfügt über eine Standardverschlüsselung mithilfe eines benutzerdefinierten AWS-KMS-Schlüssels. Wie kann ich Benutzern erlauben, aus dem Bucket herunterzuladen und in den Bucket hochzuladen?
Eine Berechtigungsrichtlinie für Batch Operations erstellen
Führe die folgenden Schritte aus:
-
Öffne die IAM-Konsole.
-
Wähle im Navigationsbereich Rollen und dann Rolle erstellen aus.
-
Wähle für Typ vertrauenswürdiger Entitäten die Option „AWS-Service“ aus.
-
Wähle die Dropdown-Liste Anwendungsfall und dann S3 aus.
-
Wähle S3 Batch Operations.
-
Wähle Weiter aus.
-
Gib als Rollenname einen Namen ein, zum Beispiel S3BatchOperationsRole.
-
Füge die folgende Richtlinie hinzu:
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetObject", "s3:GetObjectVersion", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-manifest-bucket", "arn:aws:s3:::amzn-s3-demo-manifest-bucket/" ], "Effect": "Allow" }, { "Action": [ "s3:PutObject", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-completion-report-bucket", "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/" ], "Effect": "Allow" }, { "Action": [ "lambda:InvokeFunction" ], "Resource": "arn_of_lambda_function_created_in_step1", "Effect": "Allow" } ] } -
Wähle Rolle erstellen.
Einen Batch Operations-Auftrag erstellen
Führe die folgenden Schritte aus:
- Öffne die Amazon-S3-Konsole.
- Wähle im Navigationsbereich Batch Operations und dann Aufgabe erstellen aus.
- Wähle für Manifestformat entweder S3 inventory report (S3-Inventarbericht) oder CSV aus.
- Wähle für Manifestobjekt die Option Browse S3 (S3 durchsuchen) aus.
- Wähle den Quell-Bucket aus, aus dem die Objekte kopiert werden sollen.
- Wähle die Objekte im Quell-Bucket aus, und wähle dann Pfad auswählen.
- Wähle Weiter aus.
- Wähle für Operation auswählen die Option Kopieren.
- Wähle für Ziel kopieren die Option Browse S3 (S3 durchsuchen) aus.
- Wähle den Ziel-Bucket aus, in den die Objekte kopiert werden sollen, und wähle dann Pfad auswählen.
- Wähle I acknowledge that existing objects with the same name will be overwritten (Ich bestätige, dass vorhandene Objekte mit demselben Namen überschrieben werden) und wähle dann Weiter.
- Wähle für Berechtigungen die Dropdown-Liste IAM-Rolle aus, und wähle dann deine S3BatchOperationsRole-IAM-Rolle aus.
- Wähle Weiter und dann Aufgabe erstellen.
Kontoübergreifender Zugriff
Wenn sich der Ziel-S3-Bucket in einem anderen AWS-Konto befindet, musst du dem Bucket eine ressourcenbasierte Richtlinie hinzufügen.
Beispiel für eine ressourcenbasierte Richtlinie:
{ "Version": "2012-10-17", "Id": "Policy1541018284691", "Statement": [ { "Sid": "Allow Cross Account Copy", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::SourceAccountNumber:role/LambdaS3BatchRole" }, "Action": [ "s3:PutObject", "s3:PutObjectAcl", "s3:PutObjectTagging" ], "Resource": "arn:aws:s3:::DESTINATION_BUCKET/*" } ] }
Weitere Informationen findest du unter Wie kopiere ich Amazon S3-Objekte von einem anderen AWS-Konto?
Ähnliche Informationen
Wie behebe ich Probleme mit Amazon S3 Batch Operations?
Wie kopiere ich alle Objekte von einem Amazon S3-Bucket in einen anderen Bucket?
- Sprache
- Deutsch

Relevanter Inhalt
AWS OFFICIALAktualisiert vor 2 Jahren
AWS OFFICIALAktualisiert vor einem Jahr