O que são arquivos de troca e por que os arquivos usam espaço na minha instância do AWS DMS?

Breve descrição

Quando o processo SOURCE\ _CAPTURE produz mais rápido do que o componente TARGET\ _APPLY, o componente SORTER armazena em cache os eventos atrasados em um disco ou arquivo de troca. Ou, quando transações longas excedem a alocação máxima de memória (MemoryLimitTotal) e o tempo (MemoryKeepTime), as transações na memória ou os arquivos de troca são movidos para o disco da instância de replicação.

Observação: os arquivos de troca são diferentes dos arquivos de troca do sistema operacional (OS), que o OS cria quando o servidor não tem memória suficiente para processar. Portanto, os dados não estão incluídos na métrica SwapUsage no Amazon CloudWatch.

Resolução

É possível ver uma mensagem semelhante à seguinte em seus logs de tarefas:

“[SORTER ]I: A leitura da fonte está pausada. O armazenamento total usado pelos arquivos de troca excedeu o limite de 1048576000 bytes (sorter_transaction.c:110) 00000849: 2021-04-28T07:19:20:987696 [CLASSIFICADOR ]I: A leitura da fonte é retomada (sorter_transaction.c:116)]”

As versões 3.4.2 e posteriores do AWS DMS incluem um atributo que impede cenários de armazenamento completo. Esse atributo define o número máximo de arquivos de troca que é possível ter nos volumes de armazenamento de uma instância de replicação. Você recebe a mensagem anterior quando os arquivos de troca usados pelo componente SORTER atingem o tamanho máximo de 1 GB.

Quando atinge a cota, o componente SORTER pausa SOURCE CAPTURE. Em seguida, o AWS DMS aplica as alterações dos arquivos de troca ao banco de dados de destino. Depois que o DMS aplicar as alterações trocadas ou o arquivo de troca tiver menos de 1 GB, o AWS DMS retomará o SOURCE CAPTURE.

Observação: quando o AWS DMS está aplicando as alterações, a tarefa continua sendo executada. O componente SORTER pausa somente SOURCE CAPTURE.

Reduzir a geração de arquivos de troca

Para reduzir ou evitar a geração de arquivos de troca em sua instância do AWS DMS, verifique as causas da alta latência alvo em sua tarefa do AWS DMS.

Para melhorar o TARGET_APPLY, use o modo de aplicação em lote e o ParallelApplyThreads com base no seu tipo de mecanismo.

Se você tiver transações de longa duração na origem, use confirmações frequentes no banco de dados de origem.

Quando a instância de replicação tiver memória disponível, aumente MemoryLimitTotal e MemoryKeepTime para que as alterações permaneçam na memória por mais tempo antes de serem trocadas para o disco. Certifique-se de aumentar os dois parâmetros para que o componente SORTER não alcance a cota.

Informações relacionadas

Alterar configurações de ajuste de processamento