标记有以下标签的问题: AWS Glue
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
【以下的问题经过翻译处理】 我在 RedShift 查询编辑器中运行以下命令
```
create external schema customer_schema
from data catalog database 'customer' region 'us-west-2'
iam_role...
1
回答
0
点赞数
48
检视次数
【以下的问题经过翻译处理】 我有一个场景,我想将数据从 DynamoDB 复制到 S3(用于备份,稍后用于分析处理)。我不需要实时数据更新或有关 DDB 项目更改的任何通知。
使用 DDB Streams、Lambda、Kinesis Firehouse 和 S3...
1
回答
0
点赞数
30
检视次数
从Spark程序中访问Glue数据目录lg...
【以下的问题经过翻译处理】 客户按照 <http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-glue.html> 中的指示创建了 EMR 集群,并在 Glue 中创建了数据目录。然而,客户尝试使用下面的代码访问表时遇到了错误:“ops.eventnote” table doesn’t...
1
回答
0
点赞数
1
检视次数
【以下的问题经过翻译处理】 我正在尝试在 lambda 里运行 Glue...
1
回答
0
点赞数
26
检视次数
【以下的问题经过翻译处理】 我要将存储在 S3 上的包含一些邮政编码(大约 200000)的CSV文件加载到 DynamoDB 表中。我遵循两种方法,一种基于 Lambda,一种基于 Glue Studio。
在 *Glue Studio* 案例中,可视化的ETL图表非常简单,就两个节点,其中第一个节点从 S3 加载数据,第二个节点指定写入选项到自定义节点;primary key...
1
回答
0
点赞数
50
检视次数
【以下的问题经过翻译处理】 我有一个 Glue 作业,没有在 VPC中运行,目前作业工作正常。不过,我想问:
1. 将Glue Job移动到VPC里面有什么好处?
2、如果我继续在VPC外运行Job,会不会面临数据泄露等安全问题?
太感谢了!
1
回答
0
点赞数
26
检视次数
【以下的问题经过翻译处理】 每小时将文件上传到 S3 存储桶。我目前有一个 Glue ETL 作业读取 S3 存储桶、转换数据并插入到 Glue 数据目录中。此外,我还见过使用Glue Crawler的例子:基于Glue Crawler读取 S3,将元数据写入 Data Catalog,然后 ETL 作业从表中读取转换,然后写回另一个表(或其它目标)。我应该使用Glue...
1
回答
0
点赞数
39
检视次数
【以下的问题经过翻译处理】 大家好,
我正在尝试找出是否可以从Glue脚本调用Redshift中的存储过程。
感谢任何建议。
1
回答
0
点赞数
30
检视次数
【以下的问题经过翻译处理】 我有一个客户想要在 Glue 作业中覆盖 Redshift 中的一个表。
看了之后,目前Glue DynamicFrameWriter中好像没有mode=overwrite这个选项。
客户可以为此使用哪些解决方法?
1
回答
0
点赞数
36
检视次数
【以下的问题经过翻译处理】 我们的作业需要与OnPrem进行通信,当通信失败时,需要自动重新执行作业以保证数据完整性。但目前我们还没有找到一种可行的失败后重试的方法。
是否有任何方式可以实现这一点?比如使用 AWS Eventbridge 或相关的解决方法?
1
回答
0
点赞数
19
检视次数
【以下的问题经过翻译处理】 使用 EMR 上的 Spark 读取 Aurora Postgres 表。已成功抓取 Aurora Postgres 表,并已创建 Glue 数据目录中的相应表。 EMR 集群已经配置了 Glue Data Catalog for Spark...
1
回答
0
点赞数
44
检视次数
【以下的问题经过翻译处理】 我已经使用 Docker 容器执行了一些 AWS Glue 3.0 版作业测试,详见 [此处](https://aws.amazon.com/blogs/big-data/develop-and-test-aws-glue-version-3-0...
1
回答
0
点赞数
75
检视次数