¿Cómo utilizo ISM para administrar el poco espacio de almacenamiento en Amazon OpenSearch Service?

Descripción corta

Para resolver la falta de espacio de almacenamiento, utiliza ISM para definir políticas de administración personalizadas y realizar una operación de transferencia, como eliminar automáticamente los índices antiguos. La operación de transferencia transfiere un objetivo hacia un nuevo índice cuando un índice existente cumple las condiciones especificadas. ISM evalúa la fecha y la hora de creación del índice en cada estado para determinar cuándo iniciar las acciones asociadas.

Después de adjuntar la política a un índice, tu índice comienza a inicializarse y, a continuación, pasa a diferentes estados hasta que la operación de transferencia se complete. Para obtener más información sobre la operación de transferencia, consulta rollover (Transferencia) en el sitio web de Open Distro.

Resolución

Configuración del índice de transferencia

Para crear un patrón de índice en los Paneles de OpenSearch, sigue estos pasos:

1. Abre la consola de OpenSearch Service.
2. Accede a los Paneles de OpenSearch.
   Nota: Puedes encontrar un enlace a los Paneles de OpenSearch en el resumen del dominio de la consola de OpenSearch Service.
3. Elige Administración.
4. Selecciona Patrones de índice y, a continuación, elige Crear patrón de índice.
5. Crea un índice y un alias con un formato de índice que coincida con el patrón de índice ^.*-\d+$.
   Importante: Para evitar errores, asegúrate de configurar correctamente tu alias de transferencia.

Para obtener más información, consulta Index patterns (Patrones de índice) en el sitio web de OpenSearch.

Al incluir una operación de **transferencia ** en la política de ISM, también debes incluir un alias de transferencia. Para obtener más información, consulta ¿Por qué sigue fallando la acción de transferencia de índice en mi política de ISM en OpenSearch Service?

En el siguiente ejemplo, se crea test-index-000001 y se rellena con varios documentos. Como en el ejemplo se utiliza un índice nuevo al que se ha transferido el objetivo, el formato del índice debe coincidir con el patrón del índice:

PUT test-index-000001/_doc/1
{
  "user": "testuser",
  "post_date": "2020-05-08T14:12:12",
  "message": "ISM testing"
}

El siguiente ejemplo crea el alias test-index que apunta al nuevo índice:

POST /_aliases{
  "actions": [
    {
      "add": {
        "index": "test-index-000001",
        "alias": "test-index"
      }
    }
  ]
}

Creación de una política de ISM

En Paneles de OpenSearch, crea una política de ISM para tu operación de transferencia.

Políticas de ejemplo

Haz la transferencia a un estado semiactivo:

{  "policy": {
    "policy_id": "Roll_over_policy",
    "description": "A test policy. DO NOT USE FOR PRODUCTION!",
    "schema_version": 1,
    "error_notification": null,
    "default_state": "hot",
    "states": [
      {
        "name": "hot",
        "actions": [
          {
            "rollover": {
              "min_size": "10mb"
            }
          }
        ],
        "transitions": [
          {
            "state_name": "warm"
          }
        ]
      },
      {
        "name": "warm",
        "actions": [
          {
            "replica_count": {
              "number_of_replicas": 2
            }
          }
        ],
        "transitions": []
      }
    ]
  }
}

La política de ISM anterior define los estados activo y semiactivo. De forma predeterminada, el índice está en estado activo. El índice pasa a un estado semiactivo cuando el tamaño del índice alcanza los 10 MB y el ISM se transfiere a un nuevo índice. En el estado activo, puedes realizar diferentes acciones en el índice. Por ejemplo, puedes cambiar el recuento de réplicas a dos o realizar una operación force_merge.

Haz una transferencia para eliminar el índice transcurridos unos días:

{  "policy": {
    "policy_id": "Roll_over_policy",
    "description": "A test policy. DO NOT USE FOR PRODUCTION!",
    "schema_version": 1,
    "error_notification": null,
    "default_state": "hot",
    "states": [
      {
        "name": "hot",
        "actions": [
          {
            "rollover": {
              "min_size": "10mb"
            }
          }
        ],
        "transitions": [
          {
            "state_name": "delete",
            "conditions": {
              "min_index_age": "30d"
            }
          }
        ]
      },
      {
        "name": "delete",
        "actions": [
          {
            "delete": {}
          }
        ],
        "transitions": []
      }
    ]
  }
}

La política de ISM anterior define los estados activo y de eliminación. De forma predeterminada, el índice está en estado activo. Cuando el índice alcanza los 10 MB, ISM se transfiere a un nuevo índice. A continuación, transcurridos 30  días, el índice pasa al estado de eliminación e ISM elimina el índice.

Para ver más ejemplos de políticas, consulta Ejemplos de política.

Adjuntar la política a un índice

Sigue estos pasos:

1. Abre la consola de OpenSearch Service.
2. Utiliza el enlace del resumen del dominio de la consola de OpenSearch Service para acceder a los Paneles de OpenSearch.
3. Selecciona la pestaña de Administración de índices.
4. Selecciona el índice al que deseas adjuntar tu política de ISM (por ejemplo, test-index-000001).
   Nota: Puedes encontrar tu índice en Índices administrados por políticas.
5. Selecciona Aplicar política.
6. (Opcional) Si tu política especifica alguna acción que requiera un alias, proporciona el alias y, a continuación, elige Aplicar.

También puedes usar la siguiente API para adjuntar la política de ISM:

POST _plugins/_ism/add/index_name
{ "policy_id": "policy_name"}

Nota: Sustituye index_name por el nombre de tu índice y policy_name por el nombre de tu política.

Para obtener más información, consulta Add policy (Agregar política) en el sitio web de OpenSearch.

Actualización de la política de un índice existente

Las políticas de ISM en OpenSearch utilizan el control de versiones. Al actualizar una política, los índices recién creados hacen referencia automáticamente a la última versión de la política. Sin embargo, los índices que crees antes de la actualización seguirán haciendo referencia a la versión anterior. Para aplicar la política actualizada a los índices existentes, primero debes eliminar la política anterior de los índices y, a continuación, volver a aplicar la versión actualizada.

Para volver a aplicar la política de ISM a un índice existente, sigue estos pasos:

1. Abre la consola de OpenSearch Service.
2. Utiliza el enlace del resumen del dominio de la consola de OpenSearch Service para acceder a los Paneles de OpenSearch.
3. Selecciona la pestaña de Administración de índices.
4. En la sección Índices administrados por políticas, elige Cambiar política.
5. Selecciona los índices a los que deseas aplicar el cambio (por ejemplo, test-index-000001).
6. Elige el estado actual de los índices.
7. En la sección Elegir nueva política, elige Actualizar el nombre de la política.
8. (Opcional) Para cambiar los índices a otro estado después de actualizar la política, elige Cambiar los índices al siguiente estado una vez que la política entre en vigor. Luego, elige el estado en la lista desplegable.

También puedes usar la siguiente API para actualizar la política de ISM:

POST _plugins/_ism/change_policy/indexname
{ "policy_id": "policy_1"}

Nota: Sustituye index_name por el nombre de tu índice y policy_1 por el nombre de tu política.

Para obtener más información, consulta Update managed index policy (Actualización de la política de índices administrados) en el sitio web de OpenSearch.

Adición de una plantilla para adjuntar la política a varios índices

Para adjuntar una política a varios índices que coincidan con el patrón de índices, crea y utiliza una plantilla de ISM.

Utiliza la siguiente llamada a la API para crear la política:

PUT _plugins/_ism/policies/test_policy

Ejemplo de política:

{
 "policy": {
  "description": "A test policy. DO NOT USE FOR PRODUCTION!",
  "last_updated_time": 1642027350875,
  "schema_version": 1,
  "error_notification": null,
  "default_state": "hot",
  "states": [
    {
      "name": "hot",
      "actions": [
        {
          "rollover":{
            "min_size": "10mb"
          }
        }
      ],
      "transitions":[
        {
          "state_name": "warm"
        }
      ]
    },
    {
      "name": "warm",
      "actions": [
        {
          "replica_count":{
          "number_of_replicas": 2
        }
      }
    ],
    "transitions": []
      }
    ],
        "ism_template":{
        "index_patterns":[
        "test*"
    ],
        "priority": 100
   }
  }
}

Utiliza el siguiente ejemplo de llamada a la API para verificar que la plantilla test_policy esté adjunta al índice recién creado:

GET _plugins/_ism/explain/test-index-000002

Resultado esperado:

{
  "test-index-000002": {
    "index.plugins.index_state_management.policy_id": "test_policy",
    "index.opendistro.index_state_management.policy_id": "test_policy",
    "index": "test-index-000002",
    "index_uuid": "CZrQ-RzRS8SmiWIuyqFmVg",
    "policy_id": "test_policy",
    "enabled": true
  },
  "total_managed_indices": 1
}

Para obtener más información, consulta Explain index (Explicación del índice) en el sitio web de OpenSearch.

Nota: El índice también aparece en la sección Índices administrados de la pestaña de Administración de índices de Paneles de OpenSearch.

Comprobación de los estados de la política de ISM

Para una operación de transferencia, un índice se completa después de que el índice se transfiere, pasa a un estado semiactivo y se actualiza el recuento de réplicas.

Si utilizas una política de ISM y el índice no se migra correctamente, comprueba el estado del ISM.

Para comprobar el estado de la migración de un índice, utiliza la siguiente API:

GET _ultrawarm/migration/index_name/_status

Nota: Sustituye index_name por el nombre del índice cuyo estado estás comprobando.

Para obtener el estado de migración de todos los índices, usa la siguiente API:

GET _ultrawarm/migration/_status?

Nota: Para mover datos del almacenamiento activo a un almacenamiento en frío o semiactivo, activa el almacenamiento en frío y semiactivo en el dominio antes de configurar la política de ISM. La política de ISM también debe incluir explícitamente la acción de migración para hacer la transición de un índice entre niveles de almacenamiento. Sin la acción de migración, solo cambia el nombre del estado de la política. El índice sigue con un almacenamiento activo.

Configura una acción de migración semiactiva:

{
        "name": "warm",
        "actions": [{
          "warm_migration": {},
          "retry": {
            "count": 5,
            "delay": "1h"
          }

Configura una acción de migración en frío:

{
        "name": "cold",
        "actions": [{
            "cold_migration": {
              "timestamp_field": "<your timestamp field>"
            }
          }