Redshift 数据仓库和 Glue ETL 设计建议

【以下的回答经过翻译处理】 1. 常规情况下，从源系统到AWS Redshift的增量加载/CDC建议采用什么方法？ 答：这取决于源系统的类型。对于关系型数据库，DMS可以持续复制变更数据。对于S3上的文件，Glue作业具有存储最近加载数据的标记的Bookmark功能，例如时间戳或主键值。

2. 是否建议使用AWS Glue将数据从Redshift（热数据）导出到S3（冷数据）？ 答：从Redshift到S3导出数据有两种主要方法。使用UNLOAD命令，或使用Spectrum外部表将数据插入S3。

3. 何时需要对Glue数据目录运行更新？仅当源表定义发生更改时吗？还有其他情况吗？ 答：当表的结构发生更改时，例如添加/删除列，以及添加了分区时，可以运行Glue Crawlers以更新Glue Data Catalog中的元数据。还可以使用Glue API进行此目的，并且不会产生Crawler成本。

4. 是否有一个调度/工作流机制来定义将数据加载到Redshift的依赖关系？ 答：这可以通过多种方式完成。可以使用Step Functions和Glue Workflows。此外，Redshift现在具有内置计划程序。

5. 是否有一种机制可以在数据加载失败时允许重试？例如，维度数据需要在事实数据表加载开始之前完全加载？在这里，AWS Glue工作流程是否建议工具？ 答：可以使用编排工具来完成此目的，例如Step Functions或Glue Workflows。如果使用存储过程构建数据转换，则可以使用一个集中的加载过程来编排单个加载过程（用于维度或事实）。

6. 可以同时从Redshift和Redshift Spectrum查询数据使用Tableau吗？ 答：是的。