Amazon EMR Serverless アプリケーションを作成して Amazon EMR Serverless アプリケーションを実行する手順を教えてください。

解決策

EMR Serverless アプリケーションを作成して Spark ジョブを実行する手順は、次のとおりです。

1. Amazon EMR コンソールを開きます。
2. ナビゲーションペインで [EMR Serverless] を選択します。
3. 新しい EMR Studio を作成するか、既存の Studio を選択します。
   Studio をお持ちでない場合は、[使用を開始する] を選択し、次いで [EMR Studio の作成と起動] を選択します。
   Studio をお持ちの場合は、その Studio を選択し、次いで [アプリケーションの管理] を選択します。
4. アプリケーションページで [アプリケーションの作成] を選択します。
5. アプリケーションの名前を入力し、[アプリケーションの作成と起動] を選択します。
   注:アプリケーションを設定するときに、[タイプ] で Spark を選択し、[リリースバージョン] で、使用する Amazon EMR バージョンを選択します。
6. アプリケーションのステータスが開始済み に変わったら、アプリケーションの名前を選択します。
7. [バッチジョブの実行を送信] を選択します。
8. ジョブ設定で、ジョブの名前と Amazon Simple Storage Service (Amazon S3) バケットスクリプトの場所を入力します。その後、ランタイムロールを選択します。
9. (オプション) サンプルジョブとして Spark の単語数カウントジョブを実行する場合は、[スクリプトの場所] に s3://example-region.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py を設定し、スクリプト引数として s3://example-bucket/example-output を設定します。
   注:ランタイムロールがない場合は、[新しいロールを作成]、[ロールの作成] の順に選択します。詳細については、「Job runtime roles for Amazon EMR Serverless」を参照してください。
10. [ジョブの実行を送信] を選択します。
11. [バッチジョブの実行] タブで、Spark ジョブが実行されていることを確認します。
12. [実行ステータス] が成功に変わったら、ジョブの結果を確認できます。Spark の単語数カウントジョブを実行した場合は、ジョブの結果が Amazon S3 パスにあるか確認してください。
13. Spark UI を表示するには、ジョブ実行名を選択します。次いで、以下のアクションを実行します。
    [アプリケーション UI の表示] を選択します。
    [Spark UI (実行中のジョブ)] または [Spark 履歴サーバー (完了したジョブ)] を選択します。
    注: Spark UI の [エグゼキュター] タブで、対応するドライバーとランタイムログを取得することができます。ジョブ実行を送信するときに、EMR Serverless がアプリケーションログを保存して提供する方法を選択できます。

関連情報

How do I use alternative storage options for EMR Serverless?