¿Cómo soluciono los errores de incompatibilidad de datos en Redshift Spectrum?
Se muestra un mensaje de error cuando intento usar un esquema, objeto o formato de archivo externo en Amazon Redshift Spectrum.
Resolución
Nota: Si se muestran errores al ejecutar comandos de la Interfaz de la línea de comandos de AWS (AWS CLI), consulta Solución de errores para la AWS CLI. Además, asegúrate de utilizar la versión más reciente de AWS CLI.
Error Incompatible data format
Para resolver el error Incompatible data format en Redshift Spectrum, sigue los siguientes pasos:
-
Para obtener el mensaje de error completo desde la vista del sistema SVL_S3LOG, ejecuta la siguiente consulta:
select * from SVL_S3LOG where query = 'Spectrum_query_ID';Nota: Sustituye Spectrum_query_ID por el ID de Redshift Spectrum.
Si tienes un esquema de Parquet incompatible, es posible que se muestre el siguiente mensaje de error:
"File 'https://s3bucket/location/file has an incompatible Parquet schema for column 's3://s3bucket/location.col1'. Column type: VARCHAR, Par..." -
Consulta la columna Message (Mensaje) para ver la descripción del error. La descripción del error explica la incompatibilidad de datos entre Redshift Spectrum y el archivo externo.
-
Para comprobar el esquema del archivo externo, ejecuta el siguiente comando:
show external table schema-name.table-nameNota: Sustituye schema-name por el nombre de tu esquema y table-name por el nombre de tu tabla.
-
Compara el esquema con la definición de columna de CREATE EXTERNAL TABLE.
-
(Opcional) Si la definición de columna del archivo Apache Parquet es diferente a la de la tabla externa, modifica la definición de columna en la tabla externa. La definición de la columna debe coincidir con el formato de archivo por columnas del archivo Apache Parquet.
-
Para comprobar el tipo de datos de la columna en la definición CREATE EXTERNAL TABLE, ejecuta la siguiente consulta SVV_EXTERNAL_COLUMNS:
select * from SVV_EXTERNAL_COLUMNS where schemaname = 'ext_schema_name' and tablename = 'ext_table_name';Nota: Sustituye ext_schema_name por el nombre del esquema de la columna externa y ext_table_name por el nombre de la tabla de columnas externas.
En los formatos de archivo por columnas, como Apache Parquet, el tipo de columna se incrusta con los datos. El tipo de columna de la definición CREATE EXTERNAL TABLE debe coincidir con el tipo de columna del archivo de datos. Las definiciones de columna que no coinciden provocan un error de incompatibilidad de datos.
Error de longitud de tipo no válido
Si seleccionas una tabla de Redshift Spectrum con columnas de datos DECIMALES, es posible que se muestre el siguiente mensaje de error:
"S3 Query Exception (Fetch). Task failed due to an internal error. File 'https://s3.amazonaws.com/…/' has an incompatible Parquet schema for column ''column '' has an invalid type length"
Para resolver este error, utiliza una definición de tabla externa. Los valores de definición de la tabla deben coincidir con los valores de precision y scale que defines en el archivo externo.
Ejemplo:
create external table ext_schema.tablename (c1 int, c2 decimal (6,2)) stored as PARQUET location 's3://.../.../';
Nota: Sustituye 6,2 por tus valores de precisión y escala.
Error interno
Si seleccionas un esquema externo de un catálogo de Amazon Athena, es posible que recibas el siguiente mensaje de error:
"Task failed due to an internal error. File 'https://s3...snappy.parquet has an incompatible Parquet schema for column 's3://.../tbl.a'. Column type: BOOLEAN, Parquet schema:\noptional int32 b [i:26 d:1 r:0]"
En Redshift Spectrum, el orden de las columnas de CREATE EXTERNAL TABLE debe coincidir con el orden de los campos del archivo Parquet. Para los archivos Apache Parquet, los archivos deben tener el mismo orden de campos que en la definición de la tabla externa. Si omites este orden o reorganizas una columna de tipos de datos, recibirás un mensaje de error.
Nota: Redshift Spectrum hace coincidir los nombres de las columnas con los campos del archivo Apache Parquet. Amazon Athena usa los nombres de las columnas para asignarlos a los campos del archivo Apache Parquet.
Para resolver este error, especifica los siguientes nombres de columna en el enunciado SELECT:
select col_1, col_2, col_3, .... col_n from athena_schema.tablename;
Asegúrate de que el rol de AWS Identity and Access Management (IAM) permita el acceso a Amazon Athena. Para obtener más información, consulta las políticas de IAM para Amazon Redshift Spectrum.
Error de tipo de columna no válido
Si usas Redshift Spectrum para consultar las columnas de tipos de datos VARCHAR de una tabla del catálogo de datos de AWS Glue, es posible que se muestre el siguiente mensaje de error:
“<column_name> - Invalid column type for column <column_name>. Type: varchar"”
Tanto AWS Glue como Redshift Spectrum admiten el tipo de datos VARCHAR. Sin embargo, el tipo de datos VARCHAR definido por AWS Glue Catalog no incluye un parámetro de tamaño, como VARCHAR (256). Cuando Redshift Spectrum consulta una columna VARCHAR definida sin un parámetro de tamaño, es posible que se muestre un mensaje de error de tipo de columna no válido.
Para resolver este error, sigue estos pasos:
- Para recuperar y almacenar los datos de la tabla de AWS Glue en un archivo local, ejecuta el siguiente comando get-table de AWS CLI:
Nota: Sustituye your-region por tu región de AWS.aws glue get-table --region your-region --database gluedb --name click_data_json > click-data-table.json - Usa un editor de texto para abrir el archivo click-data-table.json y, a continuación, elimina el sobre exterior {"Table": ...}.
- Elimina los campos que no están permitidos en la acción UpdateTable.
- Modifica los tipos de columna STRING a varchar con el parámetro de tamaño actualizado. Por ejemplo:
Nota: Sustituye 1000 por tu parámetro de tamaño."Type": "varchar(1000)" - Para actualizar la tabla de AWS Glue, ejecuta el siguiente comando update-table de AWS CLI:
Nota: Sustituye your-region por tu región.aws glue update-table --region your-region --database gluedb --table-input "$(cat click-data-table.json)" - Comprueba la definición de la tabla en AWS Glue y verifica que has actualizado los tipos de datos.
- Consulta la tabla de AWS Glue para ver el esquema externo en Amazon Redshift. Por ejemplo:
Nota: Sustituye your-region por tu región.create external schema glue_schema from data catalog database 'gluedb' iam_role 'arn:aws:iam::111111111111:role/myRedshiftRole' region 'your-region'; - Para consultar click_data_json, ejecuta el siguiente comando:
select * from glue_schema.click_data_json;
Error de rango no válido
Si la consulta de Redshift Spectrum intenta leer un archivo de Amazon Simple Storage Service (Amazon S3) que se ha modificado, sobrescrito o eliminado, es posible que se muestre el siguiente mensaje de error:
"Error: Spectrum Scan Error. Error: HTTP response error code: 416 Message: InvalidRange The requested range is not satisfiable"
Para resolver este error, asegúrate de no sobrescribir los archivos de Amazon S3 al realizar consultas con Redshift Spectrum.
Número de versión de Parquet no válido
Redshift Spectrum verifica los metadatos de cada archivo Apache Parquet al que accede. Si la verificación falla, es posible que se muestre un mensaje de error similar al siguiente:
"File 'https://s3.region.amazonaws.com/s3bucket/location/file has an invalid version number"
Si el archivo de Parquet se ha sobrescrito durante la consulta o si el archivo de Parquet está dañado, es posible que la verificación falle.
El error de verificación se produce al actualizar los archivos existentes. Se recomienda crear un nuevo archivo de Parquet para tener control de versiones.
Información relacionada
Solución de problemas de consultas en Amazon Redshift Spectrum
- Temas
- Analytics
- Etiquetas
- Amazon Redshift
- Idioma
- Español

Contenido relevante
preguntada hace 2 años
preguntada hace 2 años
- Como solucionar el error: Supplied Policy document is breaching Cloudwatch Logs policy length limit.Respuesta aceptada
preguntada hace 2 años
OFICIAL DE AWSActualizada hace 2 años
OFICIAL DE AWSActualizada hace 7 meses