タグ付けされた質問 AWS Glue
AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.
コンテンツの言語: 日本語
Select up to 5 tags to filter
並べ替え 最新
以下に記載されている質問と回答を閲覧したり、フィルタリングして並べ替えて結果を絞り込んだりできます。
9件の結果
Glueでデータカタログを使用してRedshiftからデータを取得する場合、VPCーサブネットを経由するためIPを消費します。（IPが割り当てられるためIPが枯渇することがあります）
一方、LambdaからRedshit data APIを使用してクエリを使用する際はVPCの設定が必要ありません。IPの割り当ても必要としないようです。
この違いはどこにあるのでしょうか？
CrawlerでOracleデータベースのDataCatalogを作成する際、
スキーマの指定が出来ません。
仮に同一インスタンス内にある複数のスキーマで
物理名が同じテーブルが複数あった場合、
正しくDataCatalogは作成されるのでしょうか。
また上記の状態の場合、
特定スキーマに定義されているテーブルを指定して、
Crawlerを作成し、DataCatalogを作成する事は可能でし...
タイトルの通りです。
まず、前提の状況として、redshiftはprivate subnetに存在しています。
クエリエディタv2で、きちんと動作しています。
また、quick...
AWS Glueを使用してOpenSearchとのデータ同期処理を実装しています。
公式が公開しているチュートリアルを参考にし、マネコン上でOpenSearch用のGlue...
Glue...
Glueでデータテーブルを作成して、Athenaでデータを取得するときに１度目は問題なくクエリを叩くことができます。
2回目にクエリを叩こうとすると以下のエラーが発生して結果を取得することができません。
```
HIVE_BAD_DATA: Not valid Parquet file: s3://bucket-name/Unsaved/2023/08/24/UUID.txt.metadata...
チュートリアルにならってCrawlerを作成しようとすると画像のようなエラーが出てしまい、
Crawlerが作成できません。
Prepare your account for AWS...
Glueのjobを実行するとjob開始時に
ResourceNumberLimitExceededException
が発生してjobが実行できません。
jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。
アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。
AWS Service...
・S3 → AWS Glue 抽出/変換/送信 → Redshift...