¿Qué son los archivos de intercambio y por qué ocupan espacio en mi instancia de AWS DMS?

Descripción corta

Cuando el proceso SOURCE_CAPTURE produce más rápido que el componente TARGET_APPLY, el componente SORTER almacena en caché los eventos pendientes en un disco o archivo de intercambio. O bien, cuando las transacciones largas superan la asignación máxima de memoria (MemoryLimitTotal) y el tiempo (MemoryKeepTime), las transacciones de la memoria o los archivos de intercambio se trasladan al disco de la instancia de replicación.

Nota: Los archivos de intercambio son diferentes de los archivos de intercambio del sistema operativo (SO) que el sistema operativo crea cuando el servidor no tiene suficiente memoria para procesarlos. Por lo tanto, los datos no se incluyen en la métrica SwapUsage de Amazon CloudWatch.

Resolución

Es posible que vea un mensaje similar al siguiente en sus registros de tareas:

«[SORTER ]I: La lectura del origen está en pausa. El almacenamiento total utilizado por los archivos de intercambio superó el límite de 1048576000 bytes (sorter_transaction.c:110) 00000849: 2021-04-28T07:19:20:987696 [SORTER ]I: Se reanuda la lectura desde el origen (sorter_transaction.c:116)]»

Las versiones 3.4.2 y posteriores de AWS DMS incluyen una característica que evita situaciones de almacenamiento completo. Esta característica establece la cantidad máxima de archivos de intercambio que puede tener en los volúmenes de almacenamiento de una instancia de replicación. Aparece el mensaje anterior cuando los archivos de intercambio que utiliza el componente SORTER alcanzan el tamaño máximo de 1 GB.

Cuando alcanza la cuota, el componente SORTER detiene SOURCE CAPTURE. A continuación, AWS DMS aplica los cambios de los archivos de intercambio a la base de datos de objetivo. Una vez que DMS aplica los cambios intercambiados o cuando el archivo de intercambio ocupa menos de 1 GB, AWS DMS reanuda SOURCE CAPTURE.

Nota: Cuando AWS DMS aplica los cambios, la tarea continúa ejecutándose. El componente SORTER solo detiene SOURCE CAPTURE.

Reducción de la generación de archivos de intercambio

Para reducir o evitar la generación de archivos de intercambio en su instancia de AWS DMS, compruebe las causas de la alta latencia objetivo en su tarea de AWS DMS.

Para mejorar TARGET_APPLY, utilice el modo de aplicación por lotes y ParallelApplyThreads en función del tipo de motor.

Si experimenta transacciones de larga duración en la base de datos de origen, utilice confirmaciones frecuentes en la base de datos de origen.

Cuando la instancia de replicación tenga memoria disponible, aumente MemoryLimitTotal y MemoryKeepTime para que los cambios permanezcan en la memoria durante más tiempo antes de que se cambien al disco. Asegúrese de aumentar ambos parámetros para que el componente SORTER no alcance la cuota.

Información relacionada

Change processing tuning settings