Cosa sono i file di swap e perché utilizzano spazio sulla mia istanza AWS DMS?

Breve descrizione

Quando il processo SOURCE_CAPTURE produce più velocemente del componente TARGET_APPLY, il componente SORTER memorizza nella cache gli eventi in backlog su un disco o su un file di swap. Oppure quando le transazioni lunghe superano l'allocazione di memoria (MemoryLimitTotal) e il tempo (MemoryKeepTime), massimi, le transazioni in memoria, o file di swap, vengono spostate sul disco dell'istanza di replica.

Nota: i file di swap sono diversi da quelli creati dal sistema operativo (OS) quando il server non dispone di memoria sufficiente per l'elaborazione. I dati non sono pertanto inclusi nella metrica SwapUsage in Amazon CloudWatch.

Risoluzione

Potresti visualizzare un messaggio simile al seguente nei log dell'attività:

"[SORTER ]I: Reading from source is paused. Total storage used by swap files exceeded the limit 1048576000 bytes (sorter_transaction.c:110) 00000849: 2021-04-28T07:19:20:987696 [SORTER ]I: Reading from source is resumed (sorter_transaction.c:116)]"

Le versioni 3.4.2 e successive di AWS DMS includono una funzionalità che impedisce scenari di archiviazione completi. Questa funzionalità imposta il numero massimo di file di swap che è possibile avere sui volumi di archiviazione di un'istanza di replica. Viene visualizzato il messaggio precedente quando i file di swap utilizzati dal componente SORTER raggiungono la dimensione massima di 1 GB.

Quando la quota viene raggiunta, il componente SORTER sospende SOURCE CAPTURE. AWS DMS applica quindi le modifiche dai file di swap al database di destinazione. Dopo che DMS ha applicato le modifiche dei file di swap o nel momento in cui il file di swap risulta inferiore a 1 GB, AWS DMS riprende SOURCE CAPTURE.

Nota: quando AWS DMS applica le modifiche, l'attività continua a essere eseguita. Il componente SORTER sospende solo SOURCE CAPTURE.

Riduci la generazione di file di swap

Per ridurre o evitare la generazione di file di swap sull'istanza AWS DMS, verifica le cause dell'elevata latenza della destinazione nell'attività AWS DMS.

Per migliorare TARGET_APPLY, utilizza la modalità di applicazione in batch e ParallelApplyThreads in base al tipo di motore.

Se si verificano transazioni di lunga durata all'origine, utilizza commit frequenti nel database di origine.

Quando l'istanza di replica ha memoria disponibile, aumenta MemoryLimitTotal e MemoryKeepTime in modo che le modifiche vengano mantenute in memoria più a lungo prima che siano trasferite sul disco. Assicurati di aumentare entrambi i parametri in modo che il componente SORTER non raggiunga la quota.

Informazioni correlate

Modifica delle impostazioni di ottimizzazione dell'elaborazione