从Aurora到Redshift的DMS

0

【以下的问题经过翻译处理】 客户有以下需求。

  1. 将新的病人数据文件放入S3存储桶中。
  2. 将病人数据文件加载到Aurora中。
  3. 根据筛选条件过滤行并将其存储在单独的文件中,然后将其放入S3桶中。
  4. 将所选记录加载到Redshift中,从而可以通过QuickSight进行查看。

为了自动化这个过程,我们使用Lambda函数,其中 - a. 客户端将新文件放入S3存储桶中。 b. 这将触发Lambda函数,它将加载此文件到Aurora中 c. 使用过滤筛选条件将选择的行复制到新文件中。此文件将放置在S3存储桶中 d. 新的Lambda函数将加载此文件到Redshift中。

我正在考虑使用DMS将数据直接从Aurora复制到Redshift。这可能吗?是否有任何模型或用例可用于验证此问题? 如果不是,请问如何从数据库角度实现?

profile picture
专家
已提问 5 个月前51 查看次数
1 回答
0

【以下的回答经过翻译处理】 DMS支持Aurora作为源Redshift作为目标。当使用Redshift作为目标时,DMS使用一个中间的S3存储桶,将更改存储在其中,然后再加载到Redshift中。触发将数据加载到Redshift中的文件大小可以根据http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Introduction.ConnectionAttributes.html#CHAP_Introduction.ConnectionAttributes.Redshift中的指定进行自定义。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则