Wie erstelle ich eine reine AWS-DMS-Validierungsaufgabe?

Lesedauer: 4 Minute
0

Ich möchte eine AWS-DMS-Aufgabe (AWS Database Migration Service) für Validierungszwecke erstellen, beispielsweise, um eine Vorschau von Daten anzuzeigen und Daten zu validieren.

Kurzbeschreibung

AWS DMS ermöglicht das Erstellen reiner Validierungsaufgaben – entweder über die AWS DMS-Konsole oder mithilfe der AWS Command Line Interface (AWS CLI). Mit reinen Validierungsaufgaben können Sie Ihre Daten ohne Migration oder Datenreplikation validieren. Bei reinen Validierungsaufgaben entsteht kein Mehraufwand für Ihre vorhandene Migrationsaufgabe, da die Validierung von der Migration entkoppelt ist.

Es gibt zwei Arten von reinen Validierungsaufgaben: reine Validierungsaufgaben mit vollständigem Laden und reine Validierungsaufgaben mit Erfassung geänderter Daten.

  • Reine Validierungsaufgaben mit vollständigem Laden sind deutlich schneller als das Äquivalent mit Erfassung geänderter Daten, wenn zahlreiche Fehler gemeldet werden. Im Modus mit vollständigem Laden werden allerdings Änderungen am Quell- oder Zielendpunkt als Fehler gemeldet, was ein Nachteil sein kann.
  • Reine Validierungsaufgaben mit Erfassung geänderter Daten verzögern die Validierung basierend auf der durchschnittlichen Latenz. Anschließend werden Fehler mehrmals erneut versucht, bevor sie gemeldet werden. Wenn die meisten Datenvergleiche Fehler ergeben, ist eine reine Validierungsaufgabe mit Erfassung geänderter Daten sehr langsam, was ein potenzieller Nachteil ist.

Weitere Informationen zur Verwendung reiner Validierungsaufgaben finden Sie in den entsprechenden Anwendungsfällen unter Reine Validierungsaufgaben.

Lösung

Hinweis: Wenn Sie beim Ausführen von AWS-CLI-Befehlen Fehler erhalten, stellen Sie sicher, dass Sie die neueste Version des AWS CLI verwenden.

Erstellen einer reinen Validierungsaufgabe über die AWS DMS-Konsole

1.    Öffnen Sie die AWS DMS-Konsole, und wählen Sie im Navigationsbereich die Option Database migration tasks (Datenbankmigrationsaufgaben) aus.

2.    Wählen Sie Create task (Aufgabe erstellen) aus, und geben Sie unter Task configuration (Aufgabenkonfiguration) die Details für Ihre Aufgabe ein.

3.    Wählen Sie unter Migration type (Migrationstyp) die Option Replicate data changes only (Nur Datenänderungen replizieren) aus.

4.    Wählen Sie unter Task settings (Aufgabeneinstellungen) die Option JSON editor (JSON-Editor) aus, und ändern Sie die folgenden Einstellungen:

"EnableValidation": true,
"ValidationOnly": true,

5.    Wählen Sie für Migration Type (Migrationstyp) eine der folgenden Optionen aus:

  • Wenn Sie eine reine Validierungsaufgabe mit vollständigem Laden verwenden möchten, wählen Sie die Option Migrate existing data (Vorhandene Daten migrieren) aus.
  • Wenn Sie eine reine Validierungsaufgabe mit Erfassung geänderter Daten verwenden möchten, wählen Sie die Option Replicate data changes only (Nur Datenänderungen migrieren) aus.

6.    Wählen Sie unter Migration task startup configuration (Startkonfiguration der Migrationsaufgabe) die Option Manually later (Manuell später) aus. Dadurch können Sie die Aufgabeneinstellungen vor dem Starten der Aufgabe überprüfen.
Hinweis: Der Standardwert von TargetTablePrepMode ist auf DO_NOTHING gesetzt. Wenn TargetTablePrepMode geändert wurde, setzen Sie TargetTablePrepMode auf DO_NOTHING.

7.    Wählen Sie Create task (Aufgabe erstellen) aus.

Erstellen einer reinen Validierungsaufgabe mithilfe der AWS CLI

1.    Führen Sie in Linux- und Windows-Umgebungen den Befehl create-replication-task aus, um eine reine Validierungsaufgabe zu erstellen. Sie können auch eine Startzeit für die Erfassung geänderter Daten (cdc-start-time) angeben. Dies kann hilfreich sein, wenn die Validierung ab einem bestimmten Zeitstempel erfolgen soll. Beispiele:

Linux:

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn
arn:aws:dms:us-east-1:xxxxxxxxxxx:rep:ABCDEFGH12346 --source-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxx:endpoint:KSXGO6KATGOXBDZXKRV3QNIZV4 --target-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxxxxx:endpoint:7SIYPBZTE2X3CZ7FPN7KKOAV6Q --migration-type
cdc --cdc-start-time "2022-06-08T 00:12:12" --table-mappings file://Table-mappings.json

Windows:

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn

2.    Öffnen Sie die AWS DMS-Konsole, und wählen Sie im Navigationsbereich die Option Database migration tasks (Datenbankmigrationsaufgaben) aus.

3.    Vergewissern Sie sich, dass die Aufgabe, die Sie mithilfe der AWS CLI erstellt haben, erstellt wurde.

4.    Erweitern Sie im Abschnitt Overview details (Übersichtsdetails) den Bereich Task settings (JSON) (Aufgabeneinstellungen (JSON)), und vergewissern Sie sich, dass die folgenden Einstellungen vorhanden sind:

"EnableValidation": true,
"ValidationOnly": true,
"TargetTablePrepMode": "DO_NOTHING",

In diesen Beispielen wird eine reine Validierungsaufgabe mit Erfassung geänderter Daten erstellt. Die gleichen Einstellungen können für eine reine Validierungsaufgabe mit vollständigem Laden verwendet werden. In diesem Fall muss beim Ausführen des Befehls „create-replication-task“ lediglich die Einstellung --migration-type in full-load geändert werden.


Verwandte Informationen

Beispiel für Aufgabeneinstellungen

Einschränkungen

AWS OFFICIAL
AWS OFFICIALAktualisiert vor einem Jahr