Como soluciono problemas de pouco espaço de armazenamento no meu domínio do OpenSearch Service?

6 minuto de leitura
0

Meu domínio do Amazon OpenSearch Service está sem espaço de armazenamento e recebi um erro.

Breve descrição

Seu domínio do OpenSearch Service tem requisitos de espaço de armazenamento para processar cargas de trabalho. O erro ClusterBlockException pode ocorrer porque seu domínio do OpenSearch Service ficou sem espaço de armazenamento. Por exemplo, quando você aloca armazenamento para um nó de cluster, até 20% desse espaço (20 GB) é espaço reservado. Além disso, sistemas operacionais como o Linux reservam 5% do sistema de arquivos para suportar qualquer processo crítico executado pelo usuário root. Para obter mais informações sobre os requisitos de espaço de armazenamento do OpenSearch Service, consulte Calcular os requisitos de armazenamento.

Para resolver problemas de pouco espaço de armazenamento, conclua as seguintes etapas:

  • Atualize sua estratégia de fragmentação de cluster para que os fragmentos sejam distribuídos uniformemente em todos os nós.
  • Aumente o tamanho dos volumes do Amazon Elastic Block Store (Amazon EBS) do domínio. Você também pode adicionar mais nós de cluster ao domínio do OpenSearch Service.
  • Reduza a quantidade de dados armazenados em seu domínio. Você pode excluir arquivos desnecessários, otimizar índices antigos ou reduzir a contagem de réplicas do domínio. Certifique-se de tirar um instantâneo manual primeiro.
    Observação: reduzir a contagem de réplicas do domínio pode reduzir a tolerância a falhas. É uma prática recomendada configurar pelo menos uma réplica para cada índice.
  • Use o Index State Management (ISM) para gerenciar pouco espaço de armazenamento.
  • Use as métricas do Amazon CloudWatch para monitorar a quantidade de armazenamento disponível em seu cluster.

Resolução

Atualizar suas configurações de armazenamento

Importante: Antes de atualizar suas configurações, verifique as alterações de configuração que podem iniciar uma implantação azul/verde. Além disso, certifique-se de que seu tipo de nó primário dedicado seja o tipo de nó recomendado.

Use o comando cat allocation (do site da Elastic) para verificar quanto espaço de armazenamento está disponível para cada nó em seu cluster:

curl -XGET "es_endpoint/_cat/allocation?v"

Para atualizar suas configurações de domínio do OpenSearch Service, conclua as seguintes etapas:

1.     Abra o console do OpenSearch Service.

2.     No painel de navegação, em Clusters gerenciados, escolha Domínios.

3.     Escolha o domínio ao qual você deseja adicionar armazenamento.

4.    Atualize as configurações do seu domínio.

Observação: se você está usando um volume do Amazon EBS para armazenamento, atualize suas configurações de armazenamento. Ou você pode atualizar o número de nós de dados.

5.    Escolha Enviar.

Se o seu domínio usa volumes do EBS para armazenamento de dados

Se o domínio usar volumes do EBS para armazenamento, execute uma das seguintes ações:

Se seu domínio usa instâncias I3 do Amazon Elastic Compute Cloud (Amazon EC2) para armazenamento de dados

Se você estiver usando instâncias I3 do Amazon EC2 para armazenamento de dados, execute uma das seguintes ações:

  • Adicione mais nós ao seu cluster do OpenSearch Service.
  • Amplie o tipo de instância para obter mais espaço de armazenamento.
  • Exclua todos os índices indesejados do seu cluster do OpenSearch Service.

Excluir índices não utilizados ou antigos

Você pode verificar a data de criação dos índices com o seguinte comando:

GET _cat/indices?h=h,s,i,id,p,r,dc,dd,ss,creation.date.string&s=creation.date.string:desc

Para excluir índices únicos, execute o seguinte comando:

DELETE <index-name>

Para excluir vários índices, execute o seguinte comando:

DELETE cwl-index-*

Usar o ISM para gerenciar pouco espaço de armazenamento

O ISM permite automatizar tarefas rotineiras e depois aplicá-las a índices e padrões de índice no OpenSearch Service. Com o ISM, você pode definir políticas de gerenciamento personalizadas que ajudam a manter problemas como pouco espaço em disco. Por exemplo, você pode usar uma operação de rollover e uma política do ISM para automatizar a exclusão de índices antigos com base em condições como o tamanho do índice. A operação de rollover transfere um alvo para um novo índice quando um índice existente atende à condição definida.

O exemplo a seguir de política do ISM exclui índices após 50 minutos:

PUT _plugins/_ism/policies/delete_ism_policy
{
    "policy": {
        "policy_id": "delete_ism_policy",
        "description": "A simple default policy that deletes old unused indices“,
        "last_updated_time": 1658834661281,
        "schema_version": 13,
        "error_notification": null,
        "default_state": "example_hot_state",        #Default state
        "states": [
            {
                "name": "example_hot_state",
                "actions": [],
                "transitions": [
                    {
                        "state_name": "delete",
                        "conditions": {
                            "min_index_age": “50m”   #Note that after 50 minutes index will transit from hot_state to delete state
                        }
                    }
                ]
            },
            {
                "name": "delete",                    #Indices moved to delete state
                "actions": [
                    {
                        "delete": {}
                    }
                ],
                "transitions": []
            }
        ],
        "ism_template": [
            {
                "index_patterns": [                  #This ISM policy attaches to all indices for the index pattern and you can mention your index pattern here
                    "sample*"
                ],
                "priority": 100,                     #Priority can be set from 0 to 100
                "last_updated_time": 1658834436349
            }
        ]
    }
}

Use a seguinte chamada de API para anexar manualmente a política do ISM ao índice:

POST _plugins/_ism/add/your-index-*
{
     "policy_id": "<policy_id>"
}

Para obter mais informações, consulte Como uso o ISM para gerenciar pouco espaço de armazenamento no Amazon OpenSearch Service?

Usar os alarmes do CloudWatch para monitorar o armazenamento

Você pode usar a métrica FreeStorageSpace do CloudWatch para monitorar a quantidade de armazenamento disponível em seu cluster. Para receber notificações sempre que o espaço de armazenamento estiver baixo, configure seus alarmes do CloudWatch.

Para mais informações, consulte Monitorar métricas de cluster do OpenSearch com o Amazon CloudWatch.

Informações relacionadas

Melhores práticas operacionais para o Amazon OpenSearch Service

Como faço para tornar meu domínio do Amazon OpenSearch Service mais tolerante a falhas?

Por que meu cluster do Amazon OpenSearch Service está com o status vermelho ou amarelo?

AWS OFICIAL
AWS OFICIALAtualizada há um ano