Hudi and S3 object versions

0

We are currently using HUDI for upserts via AWS Glue. We also have S3 bucket versioning applied on the bucket where HUDI is running on. My question is related to previous versions of objects, if we delete the previous version of an object will that impact the HUDI operation or is it the case that HUDI only works on the latest version of the object?

주제

태그

언어

English

질문됨 2년 전456회 조회

1개 답변

최신
최다 투표
가장 많은 댓글

이 답변이 도움이 되었나요?커뮤니티가 여러분의 지식을 활용할 수 있도록 정답을 찬성하세요.

0

Per my understanding, HUDI works on the latest version of the S3 object. Hence deleting an older version of object shouldn't cause issues with HUDI upserts. You may want to look into S3 delete markers and deleting object version ID in that case - https://docs.aws.amazon.com/AmazonS3/latest/userguide/DeletingObjectVersions.html

답변함 2년 전

관련 콘텐츠

The aws cost came out unexpectedly, is there a way to save money?
rePost-User-0762112
질문됨 일 년 전
Is there a repository that's cheaper than S3??
hanjin
질문됨 10달 전
SMTP doesn't work between EC2 and On-prem server connected to DX
ym_lee
질문됨 9달 전
CodeDeploy UnrecognizedClientException - The security token included in the request is inval
수락된 답변
Hoon
질문됨 9달 전
Athena에서 "HIVE_CANNOT_OPEN_SPLIT: Error opening Hive split s3://awsdoc-example-bucket/: Slow Down (Service: Amazon S3; Status Code: 503; Error Code: 503 Slow Down;" 오류를 해결하려면 어떻게 해야 하나요?
AWS 공식업데이트됨 3년 전
Amazon S3에서 버킷을 다시 생성하려고 할 때 "A conflicting conditional operation is currently in progress against this resource"라는 오류가 발생하는 이유는 무엇입니까?
AWS 공식업데이트됨 2년 전
AWS Glue ETL 작업에서 “No space left on device” 오류를 해결하려면 어떻게 해야 하나요?
AWS 공식업데이트됨 일 년 전
AWS Config 규칙 s3-bucket-ssl-requests-only를 준수하기 위해 사용할 수 있는 S3 버킷 정책은 무엇입니까?
AWS 공식업데이트됨 9달 전
Apache Iceberg on AWS Glue에서 한글 테이블명과 컬럼명을 사용하는 방법
전문가
IRON
게시됨 9달 전
Apache Hudi on AWS Glue에서 한글컬럼명을 조건절에 사용하는 방법
전문가
IRON
게시됨 10달 전