标记有以下标签的问题: 提取变换和加载数据
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
【以下的问题经过翻译处理】 是否有一种方式可以在MySQL数据库中进行upsert操作?
1
回答
0
点赞数
31
检视次数
【以下的问题经过翻译处理】 使用Glue Crawlers,我创建了Glue表并从Athena查询——如何将字符串转换为日期格式?“2022-11-16T00: 00: 00.000Z”。
我已尝试过使用to_date函数!
1
回答
0
点赞数
30
检视次数
【以下的问题经过翻译处理】 客户创建了一个AWS Glue dev终端,并希望在同一个单独的Dev终端上并行运行两个Sagemaker笔记本,但它无法工作。
第一个被调用的仅能运行作业,而另一个失败。可能的原因和解决方法是什么?
1
回答
0
点赞数
26
检视次数
【以下的问题经过翻译处理】 您好,
我有一个S3 Bucket,路径如下:“s3://a/b/c”。
在“c”文件夹内,我有每个表的一个文件夹。对于每个这样的表文件夹,我都有每个版本的文件夹。每个版本都是定期进行的数据库快照,由工作流程运行获得。为澄清起见,“c”内部的结构如下:
1. 产品
1. /version\_0
1. \_temporary
...
1
回答
0
点赞数
8
检视次数
【以下的问题经过翻译处理】 我试图将数据从 Google BigQuery 迁移到 AWS S3。但是我在来源方面遇到以下问题(控制台)。
连接选项:
为数据源连接输入其他Key-Value对:
\*\*Key: parentProject Value: serene-craft-3363XX
\*\*Key: table Value:...
1
回答
0
点赞数
37
检视次数
设置正确的表级别、包含路径和排除路径。lg...
【以下的问题经过翻译处理】 我有一个s3存储桶,路径如下:s3://a/b/c/products
在products文件夹中,每个版本都有一个文件夹(每个版本都是产品表的数据库快照,每周由工作流程获得)。
1. /version\_0
1. \_temporary
1. 0\_$folder$
2. part-00000-c5... ...c000.snappy.parquet
2....
1
回答
0
点赞数
7
检视次数
【以下的问题经过翻译处理】 我认为这可能是个愚蠢的问题,但我无法想出如何在Glue上简单地定期执行SQL转换脚本。我的目标是使用Glue调度Snowflake中包含的所有转换(因为我需要的所有数据都已经存在于Snowflake中)。
以下是我想要做的简化示例(将两个单独的销售表中的今天的销售数据插入到一个统一的销售表中):
```
INSERT INTO...
1
回答
0
点赞数
12
检视次数
【以下的问题经过翻译处理】 AWS合作伙伴正在为一个注重安全的客户设计一个数据仓库系统。该合作伙伴有以下与设计Redshift数据仓库和相关ETL管道相关的问题。我想请您帮忙确认以下问题的理解:
1. 总体上,从源系统到Amazon Redshift进行增量加载/CDC的推荐方法是什么?
2. 建议使用AWS Glue将数据从Amazon Redshift(热数据)导出到Amazon...
1
回答
0
点赞数
31
检视次数
【以下的问题经过翻译处理】 我有一个由我的Glue Job生成的pyspark脚本,旨在从S3存储桶中的CSV文件中读取数据并将其写入我的SQL RDS表中。
在我的CSV文件中,我有多行字符串。
如果解析后字符串中引号被正常解析,则作业通过,但在我的情况下,多行字符串中的引号未被正确解析,因此作业无法将数据插入我的表中;
我尝试过:
...
1
回答
0
点赞数
98
检视次数
【以下的问题经过翻译处理】 我有一个使用大写字符的表名和列名的RDS PostgreSQL数据库。我创建了一个Glue爬虫,通过JDBC连接到数据库,并在转化为数据目录时将大写字符转换为小写字符。当我运行Glue作业进行查询时,出现以下错误:
An error occurred while calling o94.getDynamicFrame. ERROR: column "id" does...
1
回答
0
点赞数
79
检视次数
【以下的问题经过翻译处理】 我从S3存储桶中读取文件,将其转换为Spark DataFrame,进行转换后又将其转换回Dyanmic DataFrame,然后写入Data...
1
回答
0
点赞数
25
检视次数
【以下的问题经过翻译处理】 你好!我是一名经常使用SageMaker Notebooks工作的数据科学家。我想了解何时应该使用Glue Interactive而不是SageMaker Processing。据我了解,它们非常相似,我很难区分它们。谢谢!
1
回答
0
点赞数
18
检视次数