O que são arquivos SWAP e por que eles estão consumindo espaço na minha instância do AWS DMS?

Breve descrição

No AWS DMS, o componente SORTER armazena em cache as alterações contínuas que vêm da origem. O componente faz isso para gerenciar ações como mesclagem de transações, filtragem e transformações de dados antes de aplicá-las ao destino.

Se o processamento de origem estiver com desempenho superior à aplicação de destino, o destino não conseguirá lidar com as alterações recebidas. Ou, se transações longas excederem a alocação máxima de memória (MemoryLimitTotal) e o tempo (MemoryKeepTime), as transações na memória serão transferidas para o disco da instância de replicação, conhecido como arquivos de troca ou classificador.

Arquivos de troca como esse são diferentes dos arquivos de troca do sistema operacional criados quando a memória do servidor não é suficiente para processamento. Portanto, esses dados não estão incluídos na métrica SwapUsage no Amazon CloudWatch.

Resolução

Você pode ver uma mensagem semelhante a esta em seus registros de tarefas:

"[SORTER ]I: Reading from source is paused. Total storage used by swap files exceeded the limit 1048576000 bytes (sorter_transaction.c:110) 00000849: 2021-04-28T07:19:20:987696 [SORTER ]I: Reading from source is resumed (sorter_transaction.c:116)]"

Esta é uma mensagem informativa e não um erro. Você verá essa mensagem quando os arquivos de troca usados pelo componente AWS DMS SORTER atingirem um limite de tamanho de 1 GB (limite codificado). As versões 3.4.2 e posteriores do AWS DMS incluem um recurso que impede o armazenamento completo de cenários limitando a quantidade máxima de arquivos de troca que você pode ter nos volumes de armazenamento de uma instância de replicação. Portanto, você verá esta mensagem quando os arquivos de troca usados pelo componente DMS SORTER atingirem o limite de 1 GB.

Quando esse limite de 1 GB é atingido, o componente SORTER pausa o SOURCE CAPTURE. Em seguida, o AWS DMS aplica alterações de arquivos de troca ao banco de dados de destino. Depois que as alterações trocadas do disco são aplicadas ou quando o arquivo de troca cai abaixo de 1 GB, o AWS DMS retoma a captura de origem.

Observação: quando isso acontece, a tarefa continua a ser executada. Somente o SOURCE CAPTURE está pausado.

Reduzir a geração de arquivos de troca

Use estas práticas recomendadas para ajudar a reduzir ou evitar a geração de arquivos de troca na sua instância do AWS DMS:

• Verifique as causas comuns de alta latência de destino em sua tarefa do AWS DMS:

• Não há chaves primárias ou índices no destino
• Há gargalos de recursos no destino
• Há gargalos de recursos na instância de replicação
• Há um problema de rede entre a instância de replicação e o destino

• Use o modo de aplicação em lote e o ParallelApplyThreads para melhorar a aplicação de destino, com base no seu tipo de mecanismo.
• Se você estiver enfrentando transações de longa duração na origem, use confirmações frequentes no banco de dados de origem para ajudar a mitigar o problema.
• Se houver memória disponível na instância de replicação, você poderá aumentar MemoryLimitTotal e MemoryKeepTime para que as alterações permaneçam na memória por mais tempo antes de serem trocadas para o disco. Certifique-se de aumentar esses dois parâmetros, pois depois que um limite for atingido, o AWS DMS trocará as alterações para o disco.

Informações relacionadas

Alterar configurações de ajuste de processamento