使用AWS re:Post即您表示您同意 AWS re:Post 使用条款

All Content tagged with AWS 数据管道

AWS Data Pipeline is a web service that helps you reliably process and move data between different AWS compute and storage services, as well as on-premises data sources, at specified intervals.

内容语言: 中文 (简体)

Select up to 5 tags to filter
排序方式 最新
17 条结果
【以下的问题经过翻译处理】 数据湖 - 数据采集方法
1
回答
0
点赞数
65
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 客户使用什么AWS ETL工具来设置数据不断地加载到Redshift,同时提供类似于Microsoft SSIS的转换功能会更好?例如,“从这个文件每天完全替换地加载这个表的数据,计算这些列等等”。
1
回答
0
点赞数
45
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 有一个数据管道,从S3存储桶中读取CSV文件并将数据复制到RDS数据库中。 我指定桶/文件夹名称,并处理其中的每个CSV文件。完成后,ShellCommandActivity将文件移动到S3存储桶中的另一个“文件夹”中。这是测试时的工作原理。使用真实数据时,它在处理几个文件后就停止了。 日志中的最后一行是 `07 Dec 2021 09:57:55,755 [IN...
1
回答
0
点赞数
47
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 在AWS EMR控制台上,我们看到AWS EMR 6.5.0版本已经可用。 然而,EMR文档没有关于6.5.0的具体信息。 基于EMR的发布,文档将何时更新?
1
回答
0
点赞数
78
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在使用AWS Glue Job studio中的SQL Query Transform在我的表中新增一列。 ![转换的可视化图表](/media/postImages/original/IMwcLXRM0iTROC0Uqb5lvOGg) SQL别名 - study 当前表中字段 - study id, patient id, patient age 我想通过...
1
回答
0
点赞数
67
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在开发一个步骤函数状态机,并且可以使用Python和Node创建Lambda函数来更新DynamoDB中的现有项目。但是,我似乎找不到任何使用服务集成和动态变量的示例。我遇到的唯一示例都是插入/更新静态变量。在我的情况下,我正在从上游的Python Lambda函数中传入数据(我不是很有经验)。似乎很简单,但我认为我的问题在于Json vs. DynamoDB Js...
1
回答
0
点赞数
57
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 我正在使用Data Pipeline将来自RDS的数据复制到Redshift,对于每个表,都有一个单独的Pipeline进行复制。 是否可能将这些Pipelines合并为一个单独的Pipeline,用于多个表?如果可以,是否有一个示例JSON配置,可以实现这一点?
1
回答
0
点赞数
117
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 DMS如何进行更复杂的映射,而不仅仅是从源到目标的简单1-1映射? 例如,如果您需要检查跨多个表的数据以进行某些业务逻辑,并基于这些结果,将某个字符串映射到目标。
1
回答
0
点赞数
52
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 一个客户有关于数据来源的问题:“我们大部分的数据存储在SQL数据库中,而SageMaker文档说我必须把所有数据都放到S3中。最好的方法并不明显。例如,我可以考虑将分析代码拆分为两部分;一部分用于预处理,从SQL查询转换为表格数据,然后将其存储为Parquet文件。对于高维张量数据甚至更不明显。”有人可以对此发表评论吗?
1
回答
0
点赞数
55
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 一位客户拥有一个MySQL数据库,希望将历史数据转移到另一个平台进行报告和分析。目前,他们在正常操作期间面临性能问题。 我需要考虑什么来做决定?我看到一个可能的方法是使用DMS <https://aws.amazon.com/blogs/database/archiving-data-from-relational-databases-to-amazon-glacier...
1
回答
0
点赞数
44
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 \*\*将数据从 RDS MySQL 传输到 S3 存储桶 \*\* 我设置了一个AWS Data Pipeline以将数据从 RDS Mysql 传输到 S3 Bucket,在此之前我使用用户名和密码设置了 RDS mysql 数据库。 (启用 IAM 身份验证) 似乎由数据管道创建的 EC2 无法访问数据库。 错误消息:(用户 'admin'@'172.31...
1
回答
0
点赞数
80
检视次数
profile picture
专家
已提问 1 年前
【以下的问题经过翻译处理】 选择以下一项的要点是什么:: * 数据管道, *Step function * 用于 Apache Airflow 的亚马逊托管工作流
1
回答
0
点赞数
74
检视次数
profile picture
专家
已提问 1 年前
  • 1
  • 2
  • 12 条/页