Direkt zum Inhalt

Wie verwende ich Amazon S3 Batch Operations, um Objekte zu kopieren, die größer als 5 GB sind?

Lesedauer: 5 Minute
0

Ich möchte Amazon Simple Storage Service (Amazon S3)-Objekte, die größer als 5 GB sind, von einem Bucket in einen anderen kopieren.

Kurzbeschreibung

Um Amazon S3-Objekte, die größer als 5 GB sind, von einem Bucket in einen anderen zu kopieren, verwende S3 Batch Operations mit einer AWS Lambda-Funktion. Weitere Informationen findest du unter Kopieren von Objekten, die größer als 5 GB sind, mit Amazon S3 Batch Operations.

Hinweis: Du kannst auch die mehrteilige Upload-API verwenden, um Amazon S3-Objekte zu kopieren, die größer als 5 GB sind. Weitere Informationen findest du unter Objekt mithilfe eines mehrteiligen Uploads kopieren.

Lösung

Bevor du beginnst, stelle sicher, dass du einen Ziel-S3-Bucket erstellt hast, in den du die Objekte kopieren möchtest.

Eine Lambda-Funktion erstellen

Führe die folgenden Schritte aus:

  1. Öffne die Lambda-Konsole.

  2. Wähle Funktion erstellen aus.

  3. Wähle Ohne Vorgabe erstellen.

  4. Gib als Funktionsname einen Namen für die Funktion ein, zum Beispiel S3BatchCopy.

  5. Wähle die Laufzeit-Dropdown-Liste und wähle dann Python 3.9.

  6. Wähle für Architektur x86_64 aus und wähle dann Funktion erstellen aus.

  7. Gib im integrierten Code-Editor den Lambda-Funktionscode ein.
    Beispiel für einen Lambda-Funktionscode:

    import boto3
    import os
    from urllib import parse
    from botocore.client import Config
    from boto3.s3.transfer import TransferConfig
    
    target_bucket = os.environ['destination_bucket']
    new_prefix = os.environ['destination_bucket_prefix']
    metadata_copy = os.environ['copy_metadata']
    tagging_copy = os.environ['copy_tagging']
    storage_class = os.environ['copy_storage_class']  # Added storage class
    
    s3Client = boto3.client('s3', config=Config(retries={'max_attempts': 3}))
    
    def lambda_handler(event, context):
        task = event['tasks'][0]
        s3Key = parse.unquote_plus(task['s3Key'], encoding='utf-8')
        s3VersionId = task['s3VersionId']
        s3Bucket = task['s3BucketArn'].split(':')[-1]
    
        try:
            copy_source = {'Bucket': s3Bucket, 'Key': s3Key}
            if s3VersionId:
                copy_source['VersionId'] = s3VersionId
    
            newKey = f"{new_prefix}/{s3Key}" if new_prefix else s3Key
            myargs = {
                'ACL': 'bucket-owner-full-control',
                'StorageClass': storage_class  # Added storage class to copy arguments
            }
    
            # Add metadata if enabled
            if metadata_copy == 'Enable':
                get_metadata = s3Client.head_object(Bucket=s3Bucket, Key=s3Key,
                                                  VersionId=s3VersionId if s3VersionId else None)
                for key in ['CacheControl', 'ContentDisposition', 'ContentEncoding',
                           'ContentLanguage', 'Metadata', 'WebsiteRedirectLocation', 'Expires']:
                    if value := get_metadata.get(key):
                        myargs[key] = value
    
            # Add tagging if enabled
            if tagging_copy == 'Enable':
                get_obj_tag = s3Client.get_object_tagging(Bucket=s3Bucket, Key=s3Key,
                                                         VersionId=s3VersionId if s3VersionId else None)
                if tag_set := get_obj_tag.get('TagSet'):
                    myargs['Tagging'] = "&".join([f"{parse.quote_plus(d['Key'])}={parse.quote_plus(d['Value'])}"
                                                for d in tag_set])
    
            response = s3Client.copy(copy_source, target_bucket, newKey, ExtraArgs=myargs)
            result = {'resultCode': 'Succeeded', 'resultString': str(response)}
    
        except Exception as e:
            result = {'resultCode': 'PermanentFailure', 'resultString': str(e)}
    
        return {
            'invocationSchemaVersion': event['invocationSchemaVersion'],
            'treatMissingKeysAs': 'PermanentFailure',
            'invocationId': event['invocationId'],
            'results': [{'taskId': task['taskId'], **result}]
        }
  8. Wähle Bereitstellen aus.

Eine IAM-Rolle für die Lambda-Funktion erstellen

Führe die folgenden Schritte aus:

  1. Öffne die AWS Identity and Access Management (IAM, Identitäts- und Zugriffsmanagement)-Konsole.

  2. Wähle im Navigationsbereich Rollen und dann Rolle erstellen aus.

  3. Wähle für Typ vertrauenswürdiger Entitäten die Option AWS-Service aus.

  4. Wähle die Dropdown-Liste Anwendungsfall und dann Lambda aus.

  5. Wähle Weiter aus.

  6. Wähle die Richtlinie AWSLambdaBasicExecutionRole aus und klicke dann auf Weiter.

  7. Gib als Rollenname einen Namen ein, zum Beispiel LambdaS3BatchRole.

  8. Füge die folgende Richtlinie hinzu:

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Action": [
                    "s3:GetObject",
                    "s3:GetObjectAcl",
                    "s3:GetObjectTagging",
                    "s3:GetObjectVersion",
                    "s3:GetObjectVersionAcl",
                    "s3:GetObjectVersionTagging",
                    "s3:ListBucket*"
                ],
                "Resource": "*",
                "Effect": "Allow"
            },
            {
                "Action": [
                    "s3:PutObject",
                    "s3:PutObjectAcl",
                    "s3:PutObjectTagging",
                    "s3:PutObjectLegalHold",
                    "s3:PutObjectRetention",
                    "s3:GetBucketObjectLockConfiguration",
                    "s3:ListBucket*",
                    "s3:GetBucketLocation"
                ],
                "Resource": [
                    "arn:aws:s3:::amzn-s3-demo-destination-bucket",
                    "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
                ],
                "Effect": "Allow"
            }
        ]
    }
  9. Wähle Rolle erstellen.

Hinweis: Wenn du einen vom Kunden verwalteten AWS Key Management Service (AWS KMS)-Schlüssel verwendest, um den Bucket zu verschlüsseln, muss die IAM-Rolle zusätzliche Berechtigungen gewähren. Anweisungen findest du unter Mein Amazon S3-Bucket verfügt über eine Standardverschlüsselung mithilfe eines benutzerdefinierten AWS-KMS-Schlüssels. Wie kann ich Benutzern erlauben, aus dem Bucket herunterzuladen und in den Bucket hochzuladen?

Eine Berechtigungsrichtlinie für Batch Operations erstellen

Führe die folgenden Schritte aus:

  1. Öffne die IAM-Konsole.

  2. Wähle im Navigationsbereich Rollen und dann Rolle erstellen aus.

  3. Wähle für Typ vertrauenswürdiger Entitäten die Option „AWS-Service“ aus.

  4. Wähle die Dropdown-Liste Anwendungsfall und dann S3 aus.

  5. Wähle S3 Batch Operations.

  6. Wähle Weiter aus.

  7. Gib als Rollenname einen Namen ein, zum Beispiel S3BatchOperationsRole.

  8. Füge die folgende Richtlinie hinzu:

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Action": [
                    "s3:GetObject",
                    "s3:GetObjectVersion",
                    "s3:GetBucketLocation"
                ],
                "Resource": [
                    "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
                    "arn:aws:s3:::amzn-s3-demo-manifest-bucket/"
                ],
                "Effect": "Allow"
            },
            {
                "Action": [
                    "s3:PutObject",
                    "s3:GetBucketLocation"
                ],
                "Resource": [
                    "arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
                    "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/"
                ],
                "Effect": "Allow"
            },
            {
                "Action": [
                    "lambda:InvokeFunction"
                ],
                "Resource": "arn_of_lambda_function_created_in_step1",
                "Effect": "Allow"
            }
        ]
    }
  9. Wähle Rolle erstellen.

Einen Batch Operations-Auftrag erstellen

Führe die folgenden Schritte aus:

  1. Öffne die Amazon-S3-Konsole.
  2. Wähle im Navigationsbereich Batch Operations und dann Aufgabe erstellen aus.
  3. Wähle für Manifestformat entweder S3 inventory report (S3-Inventarbericht) oder CSV aus.
  4. Wähle für Manifestobjekt die Option Browse S3 (S3 durchsuchen) aus.
  5. Wähle den Quell-Bucket aus, aus dem die Objekte kopiert werden sollen.
  6. Wähle die Objekte im Quell-Bucket aus, und wähle dann Pfad auswählen.
  7. Wähle Weiter aus.
  8. Wähle für Operation auswählen die Option Kopieren.
  9. Wähle für Ziel kopieren die Option Browse S3 (S3 durchsuchen) aus.
  10. Wähle den Ziel-Bucket aus, in den die Objekte kopiert werden sollen, und wähle dann Pfad auswählen.
  11. Wähle I acknowledge that existing objects with the same name will be overwritten (Ich bestätige, dass vorhandene Objekte mit demselben Namen überschrieben werden) und wähle dann Weiter.
  12. Wähle für Berechtigungen die Dropdown-Liste IAM-Rolle aus, und wähle dann deine S3BatchOperationsRole-IAM-Rolle aus. 
  13. Wähle Weiter und dann Aufgabe erstellen.

Kontoübergreifender Zugriff

Wenn sich der Ziel-S3-Bucket in einem anderen AWS-Konto befindet, musst du dem Bucket eine ressourcenbasierte Richtlinie hinzufügen.
Beispiel für eine ressourcenbasierte Richtlinie:

{
    "Version": "2012-10-17",
    "Id": "Policy1541018284691",
    "Statement": [
        {
            "Sid": "Allow Cross Account Copy",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::SourceAccountNumber:role/LambdaS3BatchRole"
            },
            "Action": [
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:PutObjectTagging"
            ],
            "Resource": "arn:aws:s3:::DESTINATION_BUCKET/*"
        }
    ]
}

Weitere Informationen findest du unter Wie kopiere ich Amazon S3-Objekte von einem anderen AWS-Konto?

Ähnliche Informationen

Wie behebe ich Probleme mit Amazon S3 Batch Operations?

Wie kopiere ich alle Objekte von einem Amazon S3-Bucket in einen anderen Bucket?

Was ist der beste Weg, um große Datenmengen von einem Amazon S3-Bucket in einen anderen zu übertragen?

AWS OFFICIALAktualisiert vor 2 Jahren