All Content tagged with AWS Glue
AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development.
コンテンツの言語: 日本語
Select up to 5 tags to filter
並べ替え 最新
66件の結果
Glueでデータカタログを使用してRedshiftからデータを取得する場合、VPCーサブネットを経由するためIPを消費します。(IPが割り当てられるためIPが枯渇することがあります)
一方、LambdaからRedshit data APIを使用してクエリを使用する際はVPCの設定が必要ありません。IPの割り当ても必要としないようです。
この違いはどこにあるのでしょうか?
CrawlerでOracleデータベースのDataCatalogを作成する際、
スキーマの指定が出来ません。
仮に同一インスタンス内にある複数のスキーマで
物理名が同じテーブルが複数あった場合、
正しくDataCatalogは作成されるのでしょうか。
また上記の状態の場合、
特定スキーマに定義されているテーブルを指定して、
Crawlerを作成し、DataCatalogを作成する事は可能でしょ...
タイトルの通りです。
まず、前提の状況として、redshiftはprivate subnetに存在しています。
クエリエディタv2で、きちんと動作しています。
また、quick sightへの取り込みもできてる状態です。
やりたいこととしては、redshiftのデータカタログを作成した上で、それをathenaでクエリするということです。
なお、s3をソースにしたデータカタログについてはathe...
AWS Glueを使用してOpenSearchとのデータ同期処理を実装しています。
公式が公開しているチュートリアルを参考にし、マネコン上でOpenSearch用のGlue Connectionを作成することができたのですが、これをTerraformで管理する方法がわからずにいます。
https://docs.aws.amazon.com/glue/latest/dg/tutorial-elas...
Glue jobのVisualで二つ目の部品(Kinesis)を追加すると、どこかにエラーがあるが、どこでエラーになっているか確認することできますか。赤丸で一個エラーになるしかわからない
スクリプトをunlockすることもできますが、Visualがつかえなくなってしまいます。
![ここに画像の説明を入力してください](/media/postImages/original/IMxjFhVO6KTR...
Glueでデータテーブルを作成して、Athenaでデータを取得するときに1度目は問題なくクエリを叩くことができます。
2回目にクエリを叩こうとすると以下のエラーが発生して結果を取得することができません。
```
HIVE_BAD_DATA: Not valid Parquet file: s3://bucket-name/Unsaved/2023/08/24/UUID.txt.metadata ...
チュートリアルにならってCrawlerを作成しようとすると画像のようなエラーが出てしまい、
Crawlerが作成できません。
Prepare your account for AWS GlueでAWSGlueServiceRoleは設定しています。
それ以外に事前にユーザやロールに着けておくポリシー等があるのでしょうか。
解決方法をご教示いただけると幸いです。
よろしくお願いします。
![エラ...
Glueのjobを実行するとjob開始時に
ResourceNumberLimitExceededException
が発生してjobが実行できません。
jobは、S3に数件のCSVを保存してParquetに変換してS3に書き出す、という内容です。
アカウントは数年前に作成して初めてGlueを使っています。クローラは普通に動きました。
AWS Service Quotasで確認してもjob数の上限...
・S3 → AWS Glue 抽出/変換/送信 → Redshift のフローを考えております。
・1日1回の頻度で上記フローを実行します。
・S3のデータをGlueでRedshiftにデータを送信し、「蓄積」していきたいです。
質問①
Redshiftにデータ蓄積機能はあるか?
質問②
Glueでデータを送信する際、Redshiftに保存されている前回までのデータが上書きされたり、
またはRe...