从Oracle数据库到RDS Postgres的ETL速度过慢。

0

【以下的问题经过翻译处理】 使用AWS数据库迁移服务(DMS)将Oracle在EC2上的完整加载迁移到AWS关系型数据库服务(RDS)的PostgreSQL时,可以实现哪些性能改进?

1 Antwort
0

【以下的回答经过翻译处理】 以下是来自 Oracle(在 EC2 上或本地)的一些基本要点,尤其适用于大型源数据库。

  • 默认情况下,DMS 并行迁移 8 个表。如果您有更多的表,但体积较小,建议将此设置增加到一次迁移迁移超过 8 个表(最多 49 个)。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“MaxFullLoadSubTasks”实现。
  • 默认情况下,DMS 使用的提交速率为 10000,可增加到 50000。这表示可以一次性传输的最大事件数,将有助于一次性迁移。这可以通过修改任务的“高级设置”或通过命令行界面(CLI)中修改参数“CommitRate”实现。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TaskSettings.FullLoad.html

  • 您可以通过使用 DMS 的并行加载策略来改善完整加载性能,使用该策略,DMS 将从单个表中以多个线程读取数据。这可以通过修改任务表映射来指定线程数来完成。

https://aws.amazon.com/blogs/database/introducing-aws-dms-replication-engine-version-3-1-2/

  • 始终建议使用具有有限 lob 大小的任务。因此,建议识别源数据库中 lob 列的大小,并将其用作任务设置中的“lob 列的最大大小”。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_BestPractices.html

  • 您可以通过修改目标 PostgreSQL 端点的额外连接属性(maxFileSize)来增加用于传输数据到 PostgreSQL 的 .csv 文件的最大大小(以 KB 为单位)。默认情况下,它设置为 32MB,您可以将其增加到 1.1 GB。

<https://docs.aws.amazon

profile picture
EXPERTE
beantwortet vor 9 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen