标记有以下标签的问题: AWS Glue
内容语言: 中文 (简体)
Select up to 5 tags to filter
排序方式 最新
浏览下面列出的问题和回答,或者筛选和排序以缩小结果范围。
【以下的问题经过翻译处理】 如何通过Boto3客户端创建Lakeformation资源链接到数据库/表? 我已经使用glue\_client.create\_ database()函数创建了一个数据库。 现在,我需要创建一个指向该数据库的Lakeformation资源链接。请问有哪些方法可以支持?
1
回答
0
点赞数
17
检视次数
【以下的问题经过翻译处理】 一个客户正在使用一个大型的python脚本来运行Glue ETL作业。他们想知道是将其保持为一个冗长的Glue作业脚本还是拆分为子模块/多个文件更优?
我认为这取决于 Glue ETL 作业的复杂程度,但通常最佳实践是尽可能利用并行处理,并且拥有子模块将使其更容易进行协同开发/维护代码。
1
回答
0
点赞数
11
检视次数
【以下的问题经过翻译处理】 客户喜欢DataBrew易于使用,但想知道是否可以获得生成的Glue Job代码,以便可以进一步调整。他们正在寻找像在运行类似于转换为Parquet的标准Glue Job时获得的起始代码。
1
回答
0
点赞数
21
检视次数
无法使用Glue数据目录让分区正常工作lg...
【以下的问题经过翻译处理】 我有一些上传到单个存储桶的S3文件。没有文件夹或其他内容,只是每小时1个文件上传到这个存储桶中。
我在这些文件上运行一个Glue ETL作业,进行一些转换,并将数据插入到不同存储桶中存储的Glue数据目录中。
这样,我可以使用Athena查询该Glue数据目录。
我想做的是将文件存储在使用分区的Data...
1
回答
0
点赞数
11
检视次数
AWS Glue 对变换列的数量限制lg...
【以下的问题经过翻译处理】 客户有一个包含 183 列的表结构,在 Glue 上运行转换作业时遇到如下错误:
>
> "Number of columns in schema exceeded the maximum allowed number"
>
>
>
我也能够重现以上问题,但在 Glue 文档中找不到这样的限制。
有没有办法解除该限制或者是否有其他的解决方法?
1
回答
0
点赞数
44
检视次数
【以下的问题经过翻译处理】...
1
回答
0
点赞数
27
检视次数
AWS glue 中的转义字符lg...
【以下的问题经过翻译处理】 大家好,
我有一个 AWS Glue作业,从 s3 中读取 CSV 文件,并将数据注入到 MySQL RDS Aurora DB 的表中。
问题是 CSV 文件中所有带有转义字符的行都被Glue作业完全忽略,并且没有插入到表格当中。
例如,在我的 CSV 文件中,如下字符串的行被 glue 作业忽略:
>
> "Return "1" if the number...
1
回答
0
点赞数
43
检视次数
【以下的问题经过翻译处理】 客户想要通过 Athena 关联两张 AWS Glue 生成的表。抓取 Athena 查询的结果生成 CSV ,并在Glue Catalog中创建一张新表。
每当 Athena 生成 CSV 输出时,其所有 VARCHAR 列的值都带有双引号,即使是那些不应该是 VARCHAR 的列。所有列都有双引号;如何删除双引号以便 Glue...
1
回答
0
点赞数
21
检视次数
【以下的问题经过翻译处理】 Glue 3.0 是否支持 Spark shuffle manager?我正在尝试在Glue 3.0 作业中设置 `--write-shuffle-files-to-s3` 标志,但它似乎不起作用,没有任何文件写入。
如果目前不支持——该特性最终会支持吗?
1
回答
0
点赞数
32
检视次数
【以下的问题经过翻译处理】 嗨 亲爱的,
希望一切都很好!
我正在从事一个将数据从 Google Bigquery 迁移到 Amazon S3 的项目,我刚刚关注了 AWS 博客中的项目(<https://aws.amazon.com/blogs/big-data/migrating-data-from-google-...
1
回答
0
点赞数
56
检视次数
【以下的问题经过翻译处理】 我正在从S3读取文件,并使用Glue ETL作业来填充数据目录表。
我的S3文件长这样:
```
VID,ALTID,VTYPE,TIME,TIMEGMT,VALUE
ABC, ABC, DATAFEED,31-10-2021 22:00:00,01-11-2021 02:00:00, 11775.685
```
读入的模式如下:
```
root
|--...
1
回答
0
点赞数
19
检视次数
【以下的问题经过翻译处理】 你好,
一位客户询问如何从本地 Informatica 迁移到 AWS Glue for ETL。
我从未使用过或见过 Informatica,因此没有太多了解。据我所知,Informatica 看起来像是一种专有的可视化/基于 GUI 的 ETL 工具,类似于 SSIS。用户似乎并没有在 Informatica 中编写他们自己的 PySpark 或...
1
回答
0
点赞数
29
检视次数