Global outage event

If you're experiencing issues with your AWS services, then please refer to the AWS Health Dashboard. You can find the overall status of ongoing outages, the health of AWS services, and the latest updates from AWS engineers.

AWS DMS を使用してソースデータベースを Amazon Redshift に移行する場合、データレプリケーションの問題と CDC 障害をトラブルシューティングする方法を教えてください。

所要時間2分

AWS Database Migration Service (AWS DMS) を使用してソースデータベースを Amazon Redshift に移行すると、データレプリケーションの問題と変更データキャプチャ (CDC) 障害が発生します。

解決策

CDC 障害

CDC 障害が発生した場合は、AWS DMS タスクログで特定のテーブルに関連するエラーメッセージがないか確認してください。AWS DMS タスクの CDCLatencySource と CDCLatencyTarget Amazon CloudWatch メトリクスを確認することもできます。

表示されたエラーメッセージに応じて次のいずれかの手順を実行します。

ソーステーブルにプライマリキーがあることを確認します。PostgreSQL ソースの場合、AWS DMS が DELETE および UPDATE オペレーションを処理するには、キャプチャされたテーブルにプライマリキーが必要です。
ソースデータベースの変更ログの保持期間を 24 時間以上に設定していることを確認します。
AWS DMS が使用する AWS アカウントに、ソースデータベースとターゲットデータベースの両方に必要なアクセス許可があることを確認します。

データの不一致

データの不一致を解決するには、次の手順を実行します。

ソースとターゲットの間で一致しないレコードを識別するための検証専用タスクを作成します。詳細については、「Redshift validation performance」(Redshift 検証パフォーマンス) を参照してください。
ターゲットデータベースの awsdms_validation_failures_v1 テーブルにクエリを実行して、不一致を確認します。
ターゲットデータベースの awsdms_apply_exceptions テーブルで、移行の失敗に関する詳細なエラー情報がないか確認します。
複製されたすべてのターゲットテーブルにプライマリキーまたは一意のインデックスがあることを確認します。
注: Amazon Redshift では、一意のキー、プライマリキー、および外部キーの制約は適用されません。そのため、重複が発生する可能性があります。
PostgreSQL をソースとして使用する場合、ソーステーブルとターゲットテーブルのプライマリキーを定義する必要があります。
テーブルに矛盾がある場合は、AWS DMS タスクを使用してテーブルを再ロードします。

タイプ変換の問題

タイプ変換の問題を解決するには、次の手順を実行します。

AWS DMS タスクログを確認して、データ切り捨てに関連するエラーや、データ定義言語 (DDL) の長さを超える文字列の長さがないかどうかを確認します。
awsdms_apply_exceptions テーブルで移行の失敗がないか確認します。
ターゲットの Redshift データベースの列データ型を調整して、より大きなデータに対応できるようにします。例えば、長さの問題がある列の場合は varchar を text に変更します。
次の例に示すように、より大きなデータサイズを処理するには、タスク設定で MaxLobSize パラメータを変更します。
```
{
  "TargetMetadata": {
    "MaxLobSize": 32
  }
}
```
サポートされているデータ型を使用していることを確認し、ソースとターゲットを正しくマップしていることを確認します。

パフォーマンスの問題と高レイテンシー

パフォーマンスを向上させ、レイテンシーを減らすには、次のアクションを実行します。

AWS DMS タスクの CDCLatencySource と CDCLatencyTarget CloudWatch メトリクスを確認します。値がレイテンシーを示している場合は、次のドキュメントを参照してください。
AWS DMS タスクの高いターゲットレイテンシーをトラブルシューティングする方法を教えてください。
AWS DMS タスクでソースレイテンシーが高い場合のトラブルシューティング方法を教えてください。
ワークロードに適したレプリケーションインスタンスのサイズと構成を使用していることを確認します。
フルロードタスクと CDC タスクには、ParallelLoadThreads、ParallelLoadBufferSize、ParallelApplyThreads、ParallelApplyBufferSize のマルチスレッドタスク設定を使用します。

次の例に示すように、メモリ設定を増やして、AWS DMS がトランザクションをメモリに長く保持できるようにします。

{
  "ChangeProcessingTuning": {
    "MemoryLimitTotal": 20240,
    "MemoryKeepTime": 120
  }
}

重複レコード

レコードの重複を防ぐには、次の操作を行います。

複製されたターゲットテーブルにプライマリキーまたは一意のインデックスがあることを確認します。
プライマリキーを使用してターゲット上にテーブルを手動で作成し、タスク設定で TargetTablePrepMode を DO_NOTHING または TRUNCATE_BEFORE_LOAD に設定します。
primary-key-def AWS DMS テーブルマッピングルールを使用して、プライマリキーを明示的に定義します。

データが欠落している、または不完全

欠落しているデータや不完全なデータを解決するには、次の操作を行います。

AWS DMS タスクログで、特定のテーブルに関連する警告やエラーがないか確認します。
CDCIncomingChanges メトリクスを確認して、AWS DMS がソースからのすべての変更をキャプチャするかどうかを判断します。
AWS DMS が使用するソースデータベースのユーザーアカウントに、必要なすべてのテーブルとスキーマへのアクセスに必要なアクセス許可があることを確認します。
不一致レコードを識別するための検証専用タスクを作成します。詳細については、「Redshift validation performance」(Redshift 検証パフォーマンス) を参照してください。
問題が一貫しているテーブルの場合は、個別の AWS DMS タスクを作成して、より詳細なトラブルシューティングを行うことができます。