Como soluciono problemas de upgrades travados ou com falha no OpenSearch Service?

Breve descrição

O OpenSearch Service usa um processo de implantação azul/verde para upgrades de domínio. Durante esse processo, problemas com a realocação de fragmentos podem fazer com que o domínio trave no estado Modificando. Ou o domínio pode falhar nas verificações de validação do upgrade.

Observação: não é possível cancelar um upgrade depois de iniciá-lo. Se o upgrade travar, você deverá esperar que a AWS resolva o problema subjacente antes que o processo seja concluído.

Resolução

O domínio está travado no estado Modificando durante a realocação do fragmento

Durante a implantação azul/verde, o OpenSearch Service copia dados dos nós existentes para os novos nós. Se o processo de realocação de fragmentos travar, o domínio permanecerá no estado Modificando.

Esse erro ocorre pelos seguintes motivos:

• Fragmentos grandes de mais de 50 GB aumentam o tempo de cópia do fragmento.
• Uma carga de índice ou pesquisa causa alto uso de recursos no cluster.
• Não há espaço em disco suficiente para copiar fragmentos para os novos nós.
• Você atingiu uma cota de contagem de fragmentos.

Para solucionar esses problemas, use o Amazon CloudWatch para visualizar as métricas FreeStorageSpace, ClusterStatus e ClusterIndexWritesBlocked do OpenSearch Service para problemas de espaço em disco ou alta carga de cluster.

Com base nos problemas que você identificar, realize as seguintes ações:

• Se FreeStorageSpace estiver baixo, exclua os índices não utilizados.
• Se ClusterStatus estiver vermelho ou amarelo, consulte Por que meu cluster do Amazon OpenSearch Service está com o status vermelho ou amarelo?
• Se ClusterIndexWritesBlocked for Verdadeiro, exclua os índices não utilizados para liberar espaço em disco. Ou se a pressão de memória da Java Virtual Machine (JVM) estiver alta, reduza o tráfego para o domínio.

Para obter mais informações sobre como excluir índices, consulte DeleteIndex ou Delete Index API (API Excluir índice) no site do OpenSearch.

Para monitorar o processo de migração de fragmentos, execute o seguinte comando:

GET _cat/recovery?active_only=true

A saída do comando mostra o status de recuperação do fragmento ativo, a porcentagem de progresso, o tempo de recuperação, o status da falha e o tamanho da transferência de dados. Se os fragmentos não estiverem progredindo ou você receber uma saída vazia, talvez haja problemas com o processo de upgrade. Para solucionar problemas de upgrade, crie um caso do AWS Support.

Se o tamanho dos seus fragmentos for maior que 50 GB, reindexe seus dados para criar mais fragmentos com um tamanho menor. Para obter instruções, consulte Reindex data (Reindexar dados) no site do OpenSearch.

Se nenhuma das ações de solução de problemas anteriores resolver o problema, crie um caso do AWS Support.

O domínio falha nas verificações de validação do upgrade

Durante um upgrade, o OpenSearch Service valida se a configuração do seu domínio é compatível com a nova versão. Se a validação falhar, o domínio trava no estado Modificando.

Para solucionar esse problema, verifique a descrição do domínio em busca de atividades com falha ou mensagens de erro relacionadas à validação. Conclua as etapas de solução de problemas do seu erro e tente novamente a alterar a sua configuração.

Práticas recomendadas para evitar problemas de upgrade

Realize as seguintes ações:

• Reindexe fragmentos maiores para manter os tamanhos de fragmentos individuais abaixo de 50 GB.
• Use o número correto de fragmentos para sua configuração e siga as práticas recomendadas de estratégia de fragmentação.
• Inicie seus upgrades durante períodos de baixo uso de cluster.
• Teste primeiro as atualizações em domínios que não são de produção.
• Certifique-se de que seu domínio tenha CPU, memória e espaço em disco suficientes para a carga aumentada durante um upgrade. Monitore seu uso de recursos antes de iniciar os upgrades.
• Teste as alterações da sua configuração antes de aplicá-las.

Informações relacionadas

Por que meu domínio do OpenSearch Service está preso no estado “Modificando”?