标记有以下标签的问题: Extract Transform & Load Data
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
如何在Glue Job 中调用存储过程lg...
【以下的问题经过翻译处理】 团队您好,
我希望在glue job结束时(在gluejob内部),调用我的存储过程,
能否在不使用py4j的情况下,从pyspark glue Job 连接 mySQL...
1
回答
0
点赞数
29
检视次数
【以下的问题经过翻译处理】 IHAC正在为他们的数据湖进行底层设计。他们希望尽可能都使用AWS原生服务。他们对AWS上的ETL编排最佳实践有疑问。他们正在查看Step函数,但自2019年6月以来,Glue Workflow已经可用,他们想知道该使用哪种或组合使用。当然,他们正在寻找简单的方式。以下是他们的主要要求:
1. ETL编排-Step函数 vs. Glue Workflow
1....
1
回答
0
点赞数
17
检视次数
【以下的问题经过翻译处理】 Athena表可以从拥有基于crawlers的模式的Glue表创建。
**是否可以使用Glue表的结构生成与Redshift兼容的`CREATE TABLE`语句吗?**
我在Athena中尝试了`SHOW CREATE TABLE encounter;`。我尝试将生成的`CREATE...
1
回答
0
点赞数
5
检视次数
【以下的问题经过翻译处理】 应用场景如下:
我们有一个增量数据源,需要从中识别匹配的记录。为此,我们使用AWS Glue 2.0运行Find Matches。
这是我在初始源上运行FindMatches时,针对源生成以下结果。注意每条记录生成的match_id。
![Find Matches...
1
回答
0
点赞数
46
检视次数
【以下的问题经过翻译处理】 目前我使用 [CreateExportTask](https://docs.aws.amazon.com/ko_kr/AmazonCloudWatchLogs/latest/APIReference/API_CreateExportTask.html) API...
1
回答
0
点赞数
9
检视次数
【以下的问题经过翻译处理】 我将JSON数据存储在S3上,然后在其上创建Glue表。这些数据被分区,我使用Glue爬虫更新表分区。然后,我将这些数据作为Glue作业中的Glue DynamicFrame加载。我使用Glue...
1
回答
0
点赞数
10
检视次数
当没有数据时,如何不执行ETL作业脚本?lg...
【以下的问题经过翻译处理】 我有一个 Glue ETL 脚本,最终将通过S3 event trigger和Lambda执行。但目前我只是定期运行它。如果没有新数据,脚本运行会生成错误,因为我的转换过程有空的 DataFrames。
我用的是Bookmarks。我的摄取和导出部分都在使用转换上下文。但我的普通转换代码没有包装在任何 if...
1
回答
0
点赞数
7
检视次数
在全量加载期间源端点出现了额外的文件lg...
【以下的问题经过翻译处理】 当DMS数据迁移任务被配置为Full-Load并连接到类型为S3 Bucket的目标端点时,运行任务时会在一些表中添加一些幻影文件。这些额外的文件以时间戳命名,而不是LOAD00000X(如下图所示)。
![Extra...
1
回答
0
点赞数
49
检视次数
【以下的问题经过翻译处理】 大家好,
我有一个通过 SFTP 传输接受 20 个 CSV 文件的 s3 存储桶,我想将这 20 个文件移动到另一个 s3 存储桶以进行处理,并且仅当所有 20 个文件都已加载到第一个存储桶中时。
在所有 20 个文件都完全加载到第一个存储桶中以触发传输到第二个存储桶的情况下,进行该传输的最佳选择是什么?
如果我使用 lambda 监听 s3...
1
回答
0
点赞数
60
检视次数
使用Lambda轮询Marketolg...
【以下的问题经过翻译处理】 大家好,
我正在查询Marketo批量API。这就是从Marketo获取数据的方法:
1. 设置工作任务
2. 将工作任务排队
3. 持续检查工作任务状态是否已完成
4. 一旦完成,下载文件/数据
我对如何完成第3步有疑问。下面是我的思路:
* 设置lambda每天触发一次
* 完成第2步,并将工作ID设置为SQS,延迟10分钟
*...
1
回答
0
点赞数
34
检视次数
【以下的问题经过翻译处理】 我正在使用亚马逊S3中的新DynamoDB数据导入功能,它非常强大.
然而我的DynamoDB table的每个属性都被设置为了string类型,我期望有些属性为number和boolean。例如:
```
my_string,my_number,my_bool
"ABCDEFG",21,true
```
…变成了…
```
{
"my_string":...
1
回答
0
点赞数
34
检视次数
截断DynamoDB表格lg...
【以下的问题经过翻译处理】 你好呀,
我有一个配置了 GSI 的 DynamoDB。如下我的表信息。
|Item Count |Table size |Average item size |
| --- | --- | --- |
| 11,023 | 44.4 MB | 4,028.76 B...
1
回答
0
点赞数
24
检视次数