Athena Iceberg 比通常的外部表要慢大约10倍？

【以下的问题经过翻译处理】 我们有时间序列数据。我们通常只需要某个ID的最后一项。 当收集数据时，我们通常根据ID提取单个记录。

我们每天有大约5亿个记录，每个批次大约1000个。数据的月度大小压缩后大约为100TB。 我曾认为如果我们对每个新数据部分使用MERGE INTO，Iceberg会是一个完美的选择。

然而，在基本的基准测试之后，我发现Iceberg大约比通常的外部表慢10倍。出于简单起见，我尽量将基准测试最小化。即使是在12行表上，我的假设似乎也是正确的。

以下是基准测试：

**Iceberg**

CREATE TABLE my_test (
   my_partition bigint,
   my_data string
) 
PARTITIONED BY (
  my_partition
)
LOCATION
    's3://my-data/iceberg'
TBLPROPERTIES ( 
    'table_type' = 'ICEBERG',
    'format'='parquet'
)


insert into my_test 
values 
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(1, '一些数据'),
(2, '一些数据'),
(2, '一些数据'),
(2, '一些数据'),
(2, '匹配数据')
-- 运行时间：3.586秒


select count(*) from my_test
-- 运行时间：8.293秒

select count(*)
from my_test
where my_partition = 2
-- 运行时间：7.485秒

select *
from my_test
where my_partition = 2 and my_data = '匹配数据'
-- 运行时间：7.766秒

**外部表**

CREATE EXTERNAL TABLE my_test_non_ice (
   my_data string
) 
PARTITION