标记有以下标签的问题: 提取变换和加载数据
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
【以下的问题经过翻译处理】 尝试从单一的源加载表.. 源表包含 EMP NAME, ADDRESS 的数据... 目标表 A 包含 EMP ID(自动生成的主键)和 EMP NAME... 表 B 包含 EMP ID(外键)、ADDRESS ID(自动生成的主键)和 ADDRESS...
现在如何使用 AWS Glue 加载这些表?
没有找到合适的相关说明... 有人能帮忙解答一下吗?
1
回答
0
点赞数
71
检视次数
【以下的问题经过翻译处理】 初次接触Glue和Athena。我跟着AWS社区创建者的一个很好的示例来学习。但是,在我的实际用例中,我想从EventBridge事件的“ detail”部分捕获所有字段,并创建列。这是多层嵌套的。我无法弄清schema 发现过程。我尝试将一个文本文件发布到S3并让Glue Crawler程序工作,但没有成功。
1
回答
0
点赞数
70
检视次数
【以下的问题经过翻译处理】 我正在尝试使用AWS Glue执行ETL作业。
我们的数据存储在MongoDB Atlas中,位于VPC内。
我们的AWS通过VPC peering连接到我们的MongoDB Atlas。
为了在AWS Glue中执行ETL作业,我首先使用VPC详细信息和mongoDB Atlas URI以及密码和用户名创建了一个连接。此连接由AWS Glue ...
1
回答
0
点赞数
71
检视次数
一些关于Redshift的问题lg...
【以下的问题经过翻译处理】 请问能否为我解惑一下?
1. 聚簇索引和SORTKEY之间有什么区别?
2. 在Redshift中,索引的概念已经被SORTKEY所取代了,是吗?
3. 我可以像在事务性数据库中那样对Redshift表进行分区吗?
4. 在选择SORTKEY或DISTKEY时,我应该考虑什么?
1
回答
0
点赞数
48
检视次数
【以下的问题经过翻译处理】...
1
回答
0
点赞数
49
检视次数
【以下的问题经过翻译处理】 我需要将从Redshift读取的表创建dynamicFrame插入到RDS中,并且该框架包括一个带有韩语字符串值的列。目标数据库的默认编码不是utf-8,因此在编写该框架时需要传递编码选项。我尝试了下面的代码,但是在MySQL中,发现韩语字母仍然无法正确显示。
为什么带有编码参数的jdbc...
1
回答
0
点赞数
77
检视次数
【以下的问题经过翻译处理】 我正在使用Redshift的Python连接器来查询我的数据库。查询工作得很可预测,直到我尝试使用WHERE关键字。例如,运行查询:
"select * from dev.public.test_host WHERE first_column = git"
返回以下错误:
>redshift_connector.error.ProgrammingError:...
1
回答
0
点赞数
43
检视次数
【以下的问题经过翻译处理】 我在我的redshift集群中有一个表格,我想创建一个脚本,每天每小时运行一次,并扫描此表格以获取基于某些条件的一些数据,然后将其转储到dynamo DB的一个表格中。
我在AWS Glue作业部分中检查了源和目标选项,但当我将Redshift作为源选项时,在目标选项中没有Dynamo DB选项。
有什么方法可以实现这个吗?
1
回答
0
点赞数
41
检视次数
客户如何将自建数据库中的数据导入AWS?lg...
【以下的问题经过翻译处理】 我们正在使用一种相当复杂的解决方案将客户自建数据库的数据提取转换加载到我们的API/DB系统中,反之亦然。我想知道是否有类似AWS Glue的工具可以帮助处理这个问题。我们没有直接的DB访问权限,通常选择使用CSV格式的每晚数据文件进行操作。
1
回答
0
点赞数
42
检视次数
【以下的问题经过翻译处理】 我使用Glue作业编辑器创建了一个简单的作业,数据源使用了SQL Server 数据库,并通过列进行了过滤(SQL查询),并将其输出到了一个S3存储桶中,以便我可以使用Athena进行查询,一切都可以完美地运行。
现在想要同样的作业用于其他多个表格,所以我编辑了代码,只是复制了以“job =...
1
回答
0
点赞数
74
检视次数
【以下的问题经过翻译处理】 如何解决从Amazon Glue到Redshift执行作业的问题?报错信息:"JobName:s3-redshift and JobRunId:jr_30d8ac0c6b35d44f641b7d5b55819365897b18e6244c8a5559bff53efc8e23c1 failed to execute with exception At least one...
1
回答
0
点赞数
35
检视次数
【以下的问题经过翻译处理】 我正在遵循以下链接中概述的步骤:
<https://aws.amazon.com/blogs/big-data/introducing-native-delta-lake-table-support-with-aws-glue-crawlers/>
(1) 使用Amazon Athena查询Delta Lake表没有问题,可以查询出数据。
(2) AWS Glue...
1
回答
0
点赞数
35
检视次数