All Content tagged with 提取变换和加载数据

内容语言: 中文 (简体)

选择要筛选的标签
排序方式 最新
87 条结果
【以下的问题经过翻译处理】 尝试从单一的源加载表.. 源表包含 EMP NAME, ADDRESS 的数据... 目标表 A 包含 EMP ID(自动生成的主键)和 EMP NAME... 表 B 包含 EMP ID(外键)、ADDRESS ID(自动生成的主键)和 ADDRESS... 现在如何使用 AWS Glue 加载这些表? 没有找到合适的相关说明... 有人能帮忙解答一下吗?
1
回答
0
点赞数
95
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 初次接触Glue和Athena。我跟着AWS社区创建者的一个很好的示例来学习。但是,在我的实际用例中,我想从EventBridge事件的“ detail”部分捕获所有字段,并创建列。这是多层嵌套的。我无法弄清schema 发现过程。我尝试将一个文本文件发布到S3并让Glue Crawler程序工作,但没有成功。
1
回答
0
点赞数
98
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在尝试使用AWS Glue执行ETL作业。 我们的数据存储在MongoDB Atlas中,位于VPC内。 我们的AWS通过VPC peering连接到我们的MongoDB Atlas。 为了在AWS Glue中执行ETL作业,我首先使用VPC详细信息和mongoDB Atlas URI以及密码和用户名创建了一个连接。此连接由AWS Glue Crawler用于从...
1
回答
0
点赞数
98
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 请问能否为我解惑一下? 1. 聚簇索引和SORTKEY之间有什么区别? 2. 在Redshift中,索引的概念已经被SORTKEY所取代了,是吗? 3. 我可以像在事务性数据库中那样对Redshift表进行分区吗? 4. 在选择SORTKEY或DISTKEY时,我应该考虑什么?
1
回答
0
点赞数
67
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 目标是创建一个ETL作业,可以由我们组织中非技术用户进行修改和执行,这就是为什么我们坚持只用可视化而不是代码的原因。 问题是,节点似乎不会更新输出模式,除非我点击“数据预览”,然后“使用数据预览模式”,这看起来一点也不直观。这是个bug吗? 例如,假设我的数据源是包含A、B和C列的CSV文件的S3存储桶。然后我有一个第二个节点(节点2),名为“添加当前时间戳”。 ...
1
回答
0
点赞数
66
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我需要将从Redshift读取的表创建dynamicFrame插入到RDS中,并且该框架包括一个带有韩语字符串值的列。目标数据库的默认编码不是utf-8,因此在编写该框架时需要传递编码选项。我尝试了下面的代码,但是在MySQL中,发现韩语字母仍然无法正确显示。 为什么带有编码参数的jdbc url无法按照预想的那样工作? **代码** ``` write_fram...
1
回答
0
点赞数
99
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在使用Redshift的Python连接器来查询我的数据库。查询工作得很可预测,直到我尝试使用WHERE关键字。例如,运行查询: "select * from dev.public.test_host WHERE first_column = git" 返回以下错误: >redshift_connector.error.ProgrammingError: {'...
1
回答
0
点赞数
58
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我在我的redshift集群中有一个表格,我想创建一个脚本,每天每小时运行一次,并扫描此表格以获取基于某些条件的一些数据,然后将其转储到dynamo DB的一个表格中。 我在AWS Glue作业部分中检查了源和目标选项,但当我将Redshift作为源选项时,在目标选项中没有Dynamo DB选项。 有什么方法可以实现这个吗?
1
回答
0
点赞数
59
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我们正在使用一种相当复杂的解决方案将客户自建数据库的数据提取转换加载到我们的API/DB系统中,反之亦然。我想知道是否有类似AWS Glue的工具可以帮助处理这个问题。我们没有直接的DB访问权限,通常选择使用CSV格式的每晚数据文件进行操作。
1
回答
0
点赞数
57
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我使用Glue作业编辑器创建了一个简单的作业,数据源使用了SQL Server 数据库,并通过列进行了过滤(SQL查询),并将其输出到了一个S3存储桶中,以便我可以使用Athena进行查询,一切都可以完美地运行。 现在想要同样的作业用于其他多个表格,所以我编辑了代码,只是复制了以“job = Job(glueContext)”开头的代码,但无论怎么做,这两个表格都被创...
1
回答
0
点赞数
98
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 如何解决从Amazon Glue到Redshift执行作业的问题?报错信息:"JobName:s3-redshift and JobRunId:jr_30d8ac0c6b35d44f641b7d5b55819365897b18e6244c8a5559bff53efc8e23c1 failed to execute with exception At least one ...
1
回答
0
点赞数
55
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在遵循以下链接中概述的步骤: <https://aws.amazon.com/blogs/big-data/introducing-native-delta-lake-table-support-with-aws-glue-crawlers/> (1) 使用Amazon Athena查询Delta Lake表没有问题,可以查询出数据。 (2) AWS Glue ...
1
回答
0
点赞数
52
检视次数
profile picture
专家
已提问 1 年前