使用Glue在Redshift上进行维度建模
0
【以下的问题经过翻译处理】 一位客户想知道他们是否可以使用Glue进行维度模型ETL。它是否能够填充维度和事实，并将其加载到Redshift中，或者他们需要在Redshift中创建一个分段表，然后通过使用代理键查询来填充他们的维度和事实？
我没看到为什么Glue不能用于维度建模，但我很难找到相关的资料和信息。
1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 Glue可以用于将维度数据加载到Redshift中。其处理方法取决于维度类型（SCD Type）。并且你可以在Glue中生成代理ID。例如：我以前使用过这个功能。
def customer_id(custid):
x = int(str(hashlib.md5(custid.encode()).hexdigest()[:10]),16)
x = int(x)
return x
然而，确保你在不同的数据集上始终按照此逻辑生成代理ID以保持一致性。
理想情况下，应该存在一个staging表，以将数据从staging表传输到主表。你可以通过Redshift的存储过程或纯SQL来编写业务逻辑，具体用哪种方式取决于业务的复杂程度。