All Content tagged with 데이터 추출, 변환 및 로드

안녕하세요, us-east-1에서 iceberg table에 데이터 적제 테스트를 하다가 문제가 있어서 질문 남깁니다. 현재 사용중하는 서비스는 아래와 같습니다. - Lake Formation + Iceberg Table: table은 datetime, exchange, symbol, open, high, low, close, volume 이며, day...

안녕하세요. 현재 이슈는 아래와 같습니다. 1. DMS 마이그레이션 유형이 기존 데이터 마이그레이션으로 설정되어있음. 2. 문제는 원본(소스) 테이블에 데이터에 데이터를 Update 후에 다시 DMS 작업을 돌림 3. 그런데 대상(AuroraDB-PostgreSQL) 테이블에 데이터가 넘어오지 않음 4. 더 문제는 로드가 완료되었다고 나옴. 그럼 해당 ...

Glue job 을 통해 RDS to S3 작업을 할 때 partitioning ( timestamp , id 사용 ) 하여 데이터를 적재하는 과정에서 최초의 Glue job 은 정상적으로 작동하지만 이후 job 의 경우 s3 내 신규 partition 이 업데이트 되지 않는 현상이 있습니다. ( 새로 생성되어야 하는 파티션 s3 prefix가 만들...