All Content tagged with AWS Glue

AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.

コンテンツの言語: 日本語

Select up to 5 tags to filter
並べ替え 最新
66件の結果
Glueでデータカタログを使用してRedshiftからデータを取得する場合、VPCーサブネットを経由するためIPを消費します。(IPが割り当てられるためIPが枯渇することがあります) 一方、LambdaからRedshit data APIを使用してクエリを使用する際はVPCの設定が必要ありません。IPの割り当ても必要としないようです。 この違いはどこにあるのでしょうか?
1
回答
0
投票
75
ビュー
質問済み 1ヶ月前
CrawlerでOracleデータベースのDataCatalogを作成する際、 スキーマの指定が出来ません。 仮に同一インスタンス内にある複数のスキーマで 物理名が同じテーブルが複数あった場合、 正しくDataCatalogは作成されるのでしょうか。 また上記の状態の場合、 特定スキーマに定義されているテーブルを指定して、 Crawlerを作成し、DataCatalogを作成する事は可能でしょ...
0
回答
0
投票
300
ビュー
質問済み 6ヶ月前
タイトルの通りです。 まず、前提の状況として、redshiftはprivate subnetに存在しています。 クエリエディタv2で、きちんと動作しています。 また、quick sightへの取り込みもできてる状態です。 やりたいこととしては、redshiftのデータカタログを作成した上で、それをathenaでクエリするということです。 なお、s3をソースにしたデータカタログについてはathe...
0
回答
0
投票
225
ビュー
質問済み 1年前
AWS Glueを使用してOpenSearchとのデータ同期処理を実装しています。 公式が公開しているチュートリアルを参考にし、マネコン上でOpenSearch用のGlue Connectionを作成することができたのですが、これをTerraformで管理する方法がわからずにいます。 https://docs.aws.amazon.com/glue/latest/dg/tutorial-elas...
1
回答
0
投票
487
ビュー
質問済み 1年前
Glue jobのVisualで二つ目の部品(Kinesis)を追加すると、どこかにエラーがあるが、どこでエラーになっているか確認することできますか。赤丸で一個エラーになるしかわからない スクリプトをunlockすることもできますが、Visualがつかえなくなってしまいます。 ![ここに画像の説明を入力してください](/media/postImages/original/IMxjFhVO6KTR...
1
回答
0
投票
429
ビュー
質問済み 1年前
Glueでデータテーブルを作成して、Athenaでデータを取得するときに1度目は問題なくクエリを叩くことができます。 2回目にクエリを叩こうとすると以下のエラーが発生して結果を取得することができません。 ``` HIVE_BAD_DATA: Not valid Parquet file: s3://bucket-name/Unsaved/2023/08/24/UUID.txt.metadata ...
1
回答
0
投票
575
ビュー
質問済み 1年前
チュートリアルにならってCrawlerを作成しようとすると画像のようなエラーが出てしまい、 Crawlerが作成できません。 Prepare your account for AWS GlueでAWSGlueServiceRoleは設定しています。 それ以外に事前にユーザやロールに着けておくポリシー等があるのでしょうか。 解決方法をご教示いただけると幸いです。 よろしくお願いします。 ![エラ...
1
回答
0
投票
561
ビュー
質問済み 1年前
Glueのjobを実行するとjob開始時に ResourceNumberLimitExceededException が発生してjobが実行できません。 jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。 アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。 AWS Service Quotasで確認してもjob数の上限...
承認された回答AWS Glue
1
回答
0
投票
481
ビュー
質問済み 1年前
・S3 → AWS Glue 抽出/変換/送信 → Redshift のフローを考えております。 ・1日1回の頻度で上記フローを実行します。 ・S3のデータをGlueでRedshiftにデータを送信し、「蓄積」していきたいです。 質問① Redshiftにデータ蓄積機能はあるか? 質問② Glueでデータを送信する際、Redshiftに保存されている前回までのデータが上書きされたり、 またはRe...
1
回答
1
投票
461
ビュー
質問済み 1年前