Como posso solucionar problemas de desempenho lento ao copiar arquivos locais para o Storage Gateway?

Resolução

Considere as seguintes formas de melhorar o desempenho ao copiar arquivos locais para um compartilhamento de arquivos no Storage Gateway:

Observação: um gateway de arquivos é um cache de armazenamento de objetos, não um servidor de arquivos. Isso significa que as características de desempenho de um gateway de arquivos diferem das dos servidores de arquivos.

Ajuste a escala da sua workload

Para obter o melhor desempenho, ajuste a escala da sua carga de trabalho adicionando threads ou clientes. Quando você transfere um diretório de arquivos, um gateway de arquivos tem a escala melhor ajustada quando a carga de trabalho é em várias threads ou envolve vários clientes. Analise sua ferramenta de gerenciamento de arquivos e confirme se a ferramenta executa uploads de um único thread por padrão.

É uma prática recomendada usar vários threads ou clientes ao transferir arquivos pequenos ou grandes. Você obtém a mais alta throughput em MiB por segundo ao transferir arquivos grandes (dezenas ou centenas de MiB cada) usando vários threads. Devido à sobrecarga de criar novos arquivos, a transferência de muitos arquivos pequenos resulta em uma throughput menor em MiB por segundo quando comparada à mesma workload com arquivos grandes.

Para realizar uma cópia de vários threads no Windows, use o robocopy, uma ferramenta de cópia de arquivos da Microsoft.

Observação: Para transferências de arquivos menores, meça a taxa de transferência em arquivos por segundo em vez de MiB por segundo. A taxa de criação de arquivos pode ocupar espaço de workload associado à transferência de arquivos menores.

Ajuste seu armazenamento em cache

Ajuste o tamanho total do armazenamento em cache do seu gateway ao tamanho do conjunto de trabalho ativo. Um cache que usa vários discos locais pode paralelizar o acesso aos dados e levar a maiores operações de I/O por segundo (IOPS). Para obter mais informações, consulte Orientações de desempenho do Gateway de Arquivos do Amazon Simple Storage Service (Amazon S3).

Além disso, monitore a métrica CachePercentDirty do seu gateway. Essa métrica retorna a porcentagem de armazenamento em cache ocupada por dados que não persistem em um bucket do S3. Um valor alto de CachePercentDirty pode fazer com que o armazenamento em cache do gateway controle as gravações no gateway.

Use discos de alto desempenho

É uma prática recomendada usar discos compatíveis com unidade de estado sólido (SSD) para o armazenamento em cache do seu gateway com locação dedicada. Idealmente, os discos físicos subjacentes não devem ser compartilhados com outras máquinas virtuais para evitar o esgotamento de IOPS.

Para medir as IOPS do disco, use a métrica ReadBytes e WriteBytes com a estatística Samples no CloudWatch. Como regra geral, ao analisar essas métricas para o gateway, procure tendências de baixa throughput e baixa IOPS para indicar qualquer gargalo relacionado ao disco.

Monitore a métrica IOWaitPercent no CloudWatch, que informa a porcentagem de tempo em que a CPU está aguardando uma resposta do disco local. Um valor maior que 10% geralmente indica um gargalo nos discos subjacentes e pode ser resultado de discos mais lentos. Nesse caso, adicione discos adicionais para fornecer mais IOPS disponíveis ao gateway.

Observação: Para gateways baseados no Amazon Elastic Compute Cloud (Amazon EC2), a throughput da instância no Amazon Elastic Block Store (Amazon EBS) também pode ser um fator limitante. Confirme se a CPU e a RAM da máquina virtual host do seu gateway ou da instância do Amazon EC2 suportam a throughput do seu gateway para a AWS. Por exemplo, cada tipo de instância do EC2 tem uma throughput de linha de base diferente. Se a throughput de intermitência estiver esgotada, a instância usará a throughput de linha de base, o que pode limitar a throughput de upload para a AWS. Se seu gateway estiver hospedado em uma instância do Amazon EC2, métrica NetworkOut para a instância. Se a métrica NetworkOut permanecer na throughput de linha de base durante o teste, considere alterar a instância para um tipo de instância maior.