从Aurora到Redshift的DMS

0

【以下的问题经过翻译处理】 客户有以下需求。

  1. 将新的病人数据文件放入S3存储桶中。
  2. 将病人数据文件加载到Aurora中。
  3. 根据筛选条件过滤行并将其存储在单独的文件中,然后将其放入S3桶中。
  4. 将所选记录加载到Redshift中,从而可以通过QuickSight进行查看。

为了自动化这个过程,我们使用Lambda函数,其中 - a. 客户端将新文件放入S3存储桶中。 b. 这将触发Lambda函数,它将加载此文件到Aurora中 c. 使用过滤筛选条件将选择的行复制到新文件中。此文件将放置在S3存储桶中 d. 新的Lambda函数将加载此文件到Redshift中。

我正在考虑使用DMS将数据直接从Aurora复制到Redshift。这可能吗?是否有任何模型或用例可用于验证此问题? 如果不是,请问如何从数据库角度实现?

profile picture
EXPERTE
gefragt vor 5 Monaten56 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 DMS支持Aurora作为源Redshift作为目标。当使用Redshift作为目标时,DMS使用一个中间的S3存储桶,将更改存储在其中,然后再加载到Redshift中。触发将数据加载到Redshift中的文件大小可以根据http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Introduction.ConnectionAttributes.html#CHAP_Introduction.ConnectionAttributes.Redshift中的指定进行自定义。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen