AWS Glue Data Quality ルールを作成し、そのパフォーマンスを最適化する方法を教えてください。
新しい AWS Glue Data Quality を作成し、そのパフォーマンスを最適化したいです。
解決策
AWS Glue Data Quality ルールを実装し、ルールセットを作成する
ルールレコメンデーションまたは Data Quality Definition Language (DQDL) を使用してルールを作成し、定義します。次に、ルールセットを作成してルールをグループ化します。
AWS Glue Data Quality ルールを最適化する
データパイプラインを分析して、ルールの実行時間、リソースの使用状況、エラー発生率などのパフォーマンスメトリクスを収集します。詳細については、「抽出、変換、ロード (ETL) パイプラインでの AWS Glue Data Quality のパフォーマンスを測定する」を参照してください。
AWS Glue Data Quality ルールのパフォーマンスを監視することがベストプラクティスです。Amazon CloudWatch を使用して AWS Glue Data Quality のアラートと通知を設定します。
パフォーマンスメトリクスをレビューして非効率性や潜在的なボトルネックを特定し、次のアクションを実行します。
- ルールを簡素化します。
- データ形式を最適化します。
- データを分割します。
- ルールをスケジュールします。
AWS Glue Data Quality ルールを最適化する方法の詳細については、「ベストプラクティス」を参照してください。
ルールを簡素化する
処理能力を必要とする可能性のある複雑なルールを単純化することがベストプラクティスです。次の手順を実行します。
- 既存の AWS Glue Data Quality ルールをレビューし、結合、集約、複数のステップを含むルールをすべて書き留めておきます。
- ルールを、特定のデータ品質チェックに対応する小さなルールに分割します。
- 簡素化したルールを実装し、そのパフォーマンスを以前のルールと比較します。
データフォーマットを最適化する
データセットのデータ形式を決定し、データを Parquet などのより効率的な形式に変換します。データパイプラインや処理ロジックに必要な変更を行ったことを確認してください。詳しくは、「ファイル形式とデータ圧縮」を参照してください。
データを分割する
データを列に分割して並列処理を実現します。
次の手順を実行します。
- 構造とアクセスデータパターンを分析し、日付、場所、製品などの区分基準を特定します。
- データインジェストを変更し、特定した基準に応じてデータを列に分割します。
- パーティション化されたデータ構造を使用するために、AWS Glue Data Quality ルールを更新します。
詳細については、「AWS Glue で分割データを操作する」を参照してください。
ルールをスケジュールする
Data Quality ルールにスケジュールを設定し、重要度、影響、リソース要件に基づいて優先順位を付けます。
