¿Cómo soluciono el problema de falta de espacio de almacenamiento en mi dominio de OpenSearch Service?

Descripción breve

El dominio de OpenSearch Service tiene requisitos de espacio de almacenamiento para procesar las cargas de trabajo. El error ClusterBlockException puede producirse porque el dominio de OpenSearch Service se haya quedado sin espacio de almacenamiento. Por ejemplo, al asignar almacenamiento a un nodo de clúster, hasta un 20 % de ese espacio (20 GB) es espacio reservado. Además, los sistemas operativos como Linux reservan el 5 % del sistema de archivos para admitir cualquier proceso crítico realizado por el usuario raíz. Para obtener más información sobre los requisitos de espacio de almacenamiento de OpenSearch Service, consulte Calcular los requisitos de almacenamiento.

Para resolver los problemas de falta de espacio de almacenamiento, siga estos pasos:

• Actualice la estrategia de partición del clúster para que las particiones se distribuyan de manera uniforme en todos los nodos.
• Aumente el tamaño de los volúmenes de Amazon Elastic Block Store (Amazon EBS) del dominio. También se pueden añadir más nodos de clúster al dominio de OpenSearch Service.
• Reduzca la cantidad de datos que se almacenen en su dominio. Se pueden eliminar archivos innecesarios, optimizar los índices antiguos o reducir el recuento de réplicas del dominio. Asegúrese de primero realizar una captura manual.
  Nota: Si se reduce el recuento de réplicas del dominio, se puede reducir la tolerancia a los errores. Se recomienda configurar al menos una réplica por cada índice.
• Para administrar la falta de espacio de almacenamiento, utilice Index State Management (ISM) .
• Para supervisar la cantidad de almacenamiento disponible en el clúster, utilice las métricas de Amazon CloudWatch.

Resolución de problemas

Actualización de la configuración del almacenamiento

Importante: Antes de actualizar la configuración, compruebe los cambios de configuración que puedan iniciar un despliegue azul-verde. Además, asegúrese de que el tipo de nodo principal dedicado sea el tipo de nodo recomendado.

Utilice el comando cat allocation (en el sitio web de Elastic) para comprobar cuánto espacio de almacenamiento queda disponible para cada nodo del clúster:

curl -XGET "es_endpoint/_cat/allocation?v"

Para actualizar la configuración del dominio de OpenSearch Service, siga estos pasos:

1. Abra la consola de OpenSearch Service.

2. En el panel de navegación, en Clústeres gestionados, seleccione Dominios.

3. Seleccione el dominio al que quiera añadir almacenamiento.

4. Actualice la configuración del dominio.

Nota: Si utiliza un volumen de Amazon EBS para el almacenamiento, actualice la Configuración de almacenamiento. O bien, se puede actualizar la cantidad de nodos de datos.

5. Seleccione Enviar.

Si el dominio utiliza volúmenes de EBS para el almacenamiento de datos

Si el dominio utiliza volúmenes de EBS para el almacenamiento, realice una de las siguientes acciones:

• Aumente el tamaño de los volúmenes de EBS. El tamaño máximo de los volúmenes depende del tipo de instancia del nodo o del tipo de versión de Elasticsearch. Por ejemplo, 512 GiB es el tamaño máximo del volumen de la versión 1.5 de Elasticsearch.
• Si no se puede aumentar el tamaño de los volúmenes de EBS, añada nodos o amplíe el dominio y seleccione un nuevo límite de EBS. Para obtener más información sobre los volúmenes de EBS, consulte las cuotas de tamaño de volumen de EBS.
• Cree una copia de seguridad de los índices no deseados en su bucket de Amazon Simple Storage Service (Amazon S3). A continuación, para liberar espacio en el disco elimine los índices del clúster de OpenSearch Service. O bien, puede utilizar Curator para rotar los datos en OpenSearch Service (en el sitio web de Python Package Index). También puede utilizar ISM para rotar los índices en OpenSearch Service.
  Nota: Para crear copias de seguridad, se debe tener configurado un repositorio de capturas manuales.

Si el dominio utiliza instancias I3 de Amazon Elastic Compute Cloud (Amazon EC2) para almacenar datos

Si utiliza instancias I3 de Amazon EC2 para almacenar datos, realice una de las siguientes acciones:

• Añada más nodos a su clúster de OpenSearch Service.
• Para obtener más espacio de almacenamiento, amplíe el tipo de instancia.
• Elimine de su clúster de OpenSearch Service los índices no deseados.

Eliminar índices antiguos o no utilizados

Con el siguiente comando se puede comprobar la fecha de creación de los índices:

GET _cat/indices?h=h,s,i,id,p,r,dc,dd,ss,creation.date.string&s=creation.date.string:desc

Para eliminar índices individuales, ejecute el siguiente comando:

DELETE <index-name>

Para eliminar varios índices, ejecute el siguiente comando:

DELETE cwl-index-*

Utilizar ISM para gestionar la falta de espacio de almacenamiento

ISM permite automatizar las tareas rutinarias y luego aplicarlas a índices y patrones de índices en OpenSearch Service. Con ISM, se pueden definir las políticas de administración personalizadas que le ayudan a solucionar problemas de mantenimiento, como el espacio insuficiente en el disco. Por ejemplo, se puede utilizar una operación de transferencia y una política ISM para automatizar la eliminación de los índices antiguos en función de las condiciones, como el tamaño del índice. La operación de transferencia transfiere un destino hacia un nuevo índice cuando un índice existente cumple la condición definida.

El siguiente ejemplo de política ISM elimina los índices después de 50 minutos:

PUT _plugins/_ism/policies/delete_ism_policy
{
    "policy": {
        "policy_id": "delete_ism_policy",
        "description": "A simple default policy that deletes old unused indices“,
        "last_updated_time": 1658834661281,
        "schema_version": 13,
        "error_notification": null,
        "default_state": "example_hot_state",        #Default state
        "states": [
            {
                "name": "example_hot_state",
                "actions": [],
                "transitions": [
                    {
                        "state_name": "delete",
                        "conditions": {
                            "min_index_age": “50m”   #Note that after 50 minutes index will transit from hot_state to delete state
                        }
                    }
                ]
            },
            {
                "name": "delete",                    #Indices moved to delete state
                "actions": [
                    {
                        "delete": {}
                    }
                ],
                "transitions": []
            }
        ],
        "ism_template": [
            {
                "index_patterns": [                  #This ISM policy attaches to all indices for the index pattern and you can mention your index pattern here
                    "sample*"
                ],
                "priority": 100,                     #Priority can be set from 0 to 100
                "last_updated_time": 1658834436349
            }
        ]
    }
}

Para adjuntar manualmente la política de ISM al índice, utilice la siguiente llamada a la API:

POST _plugins/_ism/add/your-index-*
{
     "policy_id": "<policy_id>"
}

Para obtener más información, consulte ¿Cómo utilizo ISM para gestionar la falta de espacio de almacenamiento en Amazon OpenSearch Service?

Utilizar las alarmas de CloudWatch para supervisar el almacenamiento

Se puede utilizar la métrica FreeStorageSpace de CloudWatch para supervisar la cantidad de almacenamiento disponible en el clúster. Para recibir notificaciones cuando quede poco espacio de almacenamiento, configure las alarmas de CloudWatch.

Para obtener más información, consulte Supervisión de las métricas del clúster de OpenSearch con Amazon CloudWatch.

Información relacionada

Prácticas operativas recomendadas de Amazon OpenSearch Service

¿Cómo puedo hacer que el dominio de Amazon OpenSearch Service sea más tolerante a los errores?

¿Por qué el clúster de Amazon OpenSearch Service aparece en rojo o amarillo?