Como posso solucionar problemas de performance lenta quando meu Storage Gateway está sendo carregado na AWS?

Resolução

Analise a largura de banda da Internet ou a throughput de rede para a AWS

A velocidade da Internet entre seu gateway e a AWS pode afetar a performance do upload. Para determinar a largura de banda da Internet disponível para seu gateway, execute um teste de rede de uma máquina virtual (VM). Ou use um sistema que esteja na mesma rede do seu dispositivo de gateway.

Por exemplo, seu gateway se conecta à AWS por meio de um endpoint da Amazon Virtual Private Cloud (Amazon VPC). O endpoint é para o Amazon Simple Storage Service (Amazon S3) e se conecta por meio de uma conexão de VPN ou do AWS Direct Connect. Quando isso acontecer, execute um teste de throughput de rede de uma VM on-premises para uma instância na VPC.

Se você hospedar seu gateway on-premises e se conectar à AWS por meio de um endpoint da VPC, execute um teste diferente. Por exemplo, o endpoint é para o Storage Gateway via AWS Direct Connect ou uma conexão de VPN. Neste exemplo, o tráfego do gateway para o bucket do S3 cruza a interface virtual pública ou a Internet pública. Se a interface virtual pública ou a conexão com a Internet estiverem congestionadas, a performance de upload do seu gateway poderá ser afetada. Para permitir que o tráfego cruze a interface virtual privada, configure seu gateway com um endpoint de VPC do Amazon S3 PrivateLink. Ao usar essa configuração, você deve criar e configurar um proxy do Amazon Elastic Compute Cloud (Amazon EC2) no seu dispositivo de gateway.

Verifique o tamanho dos arquivos gravados no dispositivo do Storage Gateway

Quando você carrega arquivos maiores, o Storage Gateway geralmente tem uma performance melhor do que quando você carrega arquivos menores. Isso ocorre porque o Storage Gateway divide arquivos grandes em várias partes e, em seguida, carrega essas partes em fluxos paralelos para o bucket do S3.

Execute testes com os tamanhos dos arquivos e o número de threads para comparar a velocidade de upload do gateway na AWS. Em seguida, analise a métrica CloudBytesUploaded para determinar a velocidade de upload.

Analise o armazenamento em cache do gateway

Se você usar um gateway de arquivos, verifique a métrica CachePercentDirty. Todos os dados gravados no gateway que ainda não estiverem gravados no Amazon S3 serão considerados sujos. Uma métrica CachePercentDirty maior que 80% pode indicar uploads lentos do gateway no Amazon S3.

Se a métrica CachePercentDirty for alta, verifique a métrica CloudBytesUploaded para ver se a velocidade de upload no Amazon S3 está lenta. Se a velocidade de upload for lenta, aumente a largura de banda da Internet disponível para o gateway.

Além disso, verifique a métrica IoWaitPercent do seu gateway no Amazon CloudWatch. Se você perceber que a métrica IoWaitPercent do seu gateway é superior a 10% durante o teste, talvez haja um problema com seu gateway. O gateway pode ter um disco sem E/S suficiente para lidar com a workload. Use a estatística SampleCount para analisar a métrica WriteBytes e verificar o E/S de gravação total na AWS.

Se o disco de cache do gateway não tiver E/S suficiente para lidar com a workload, altere o disco de cache para um tipo de disco mais rápido. Por exemplo, use um disco SSD ou SSD baseado em NVMe. Conecte outro disco de cache ao seu gateway para ajudar a aumentar a E/S agregada disponível no gateway.

Verifique a configuração da VM host do seu gateway ou da instância do Amazon EC2

Confirme se a CPU e a RAM da VM host ou da instância do EC2 do seu gateway oferecem suporte à throughput do seu gateway para a AWS. Por exemplo, cada tipo de instância do EC2 tem uma throughtput de linha de base diferente. Se a throughtput de expansão estiver esgotada, a instância usará a throughtput de linha de base. Isso limita a throughtput de upload na AWS.

Se o gateway estiver hospedado em uma instância do EC2, verifique a métrica NetworkOut da instância. Se a métrica NetworkOut estiver na throughtput da linha de base durante o teste, altere a instância para um tipo de instância maior. Um tipo de instância maior alcança mais throughtput da rede.

Verifique a distância geográfica entre seu gateway e o conjunto de dados

É uma prática recomendada implantar seu gateway na mesma rede do seu conjunto de dados. Ou implante-o em uma rede geograficamente próxima do seu conjunto de dados. Não configure conexões em uma rede de longa distância (WAN). Um exemplo disso é um gateway que você implanta em uma instância do EC2 com o compartilhamento de arquivos montado no AWS Direct Connect ou em uma VPN. A latência do tráfego on-premises para a AWS pela conexão com a WAN afeta a rapidez com que os dados chegam ao gateway. Essa latência acaba afetando a velocidade de upload no bucket do S3. Para ajudar a reduzir a latência de upload, implante seu gateway na mesma região da AWS do bucket do S3 que você usa como compartilhamento de arquivos.