SELECT category, SUM(revenue), AVG(discount)
FROM sales_1b
WHERE date >= '2026-01-01'
GROUP BY category;

EXPLAIN ANALYZE
SELECT category, SUM(revenue)
FROM sales_1b
WHERE date >= '2026-01-01'
GROUP BY category;

┌─────────────────────────────────────┐
│┌───────────────────────────────────┐│
││        Actual Time: 12.34s       ││
││    Hash GroupBy: 9750000 rows    ││
││      82% of total time           ││  ← 瓶颈在这
││        card estimate: 100        ││
││        actual cardinality: 2000  ││  ← 严重低估！
│└───────────────────────────────────┘│
│┌───────────────────────────────────┐│
││      Seq Scan: sales_1b          ││
││      Actual Time: 2.11s          ││
││      rows scanned: 1B -> 600M    ││  ← 谓词下推裁掉了 40%
││      (filter: date >= '2026-01') ││
│└───────────────────────────────────┘│
└─────────────────────────────────────┘

-- CSV：虽然快，但每次都要全量解析类型
SELECT SUM(amount) FROM 'sales.csv';  -- 18s

-- Parquet：只读 amount 列，列裁剪自动生效
SELECT SUM(amount) FROM 'sales.parquet';  -- 1.2s

-- 加谓词下推，Parquet 的优势更大
SELECT SUM(amount) FROM 'sales.parquet'
WHERE date >= '2026-06-01';  -- 0.3s（只扫描相关 stripe）

-- 全量扫描：100 个 parquet 文件
SELECT region, SUM(sales)
FROM read_parquet('data/*.parquet')
GROUP BY region;

-- 只扫 1 月的文件：用 hive 分区模式
SELECT region, SUM(sales)
FROM read_parquet('data/*/*.parquet',
    hive_partitioning = true)
WHERE month = '2026-01'
  AND region = 'APAC';  -- 只读匹配的分区目录

SELECT * FROM read_parquet('data/2026-{01,02,03}/*.parquet');
-- 或者用 glob 模式
SELECT * FROM read_parquet('data/2026-0[1-3]/*.parquet');

-- ART 索引适合单点查询
CREATE INDEX idx_user ON users USING ART(user_id);

SELECT * FROM users WHERE user_id = 42;  -- 走索引，微秒级
SELECT * FROM users WHERE user_id > 100; -- 不走索引，全表扫

-- 优化前：每次查询都聚合 10 亿行
SELECT DATE_TRUNC('day', ts), region,
       SUM(revenue), COUNT(DISTINCT user_id)
FROM raw_events
WHERE ts >= NOW() - INTERVAL '7 days'
GROUP BY ALL;

-- 优化后：先预聚合到小时级别（写时洗数据）
CREATE TABLE hourly_metrics AS
SELECT DATE_TRUNC('hour', ts) AS hour,
       region,
       SUM(revenue) AS total_revenue,
       COUNT(DISTINCT user_id) AS unique_users
FROM raw_events
GROUP BY ALL;

-- 查询时：从小时表读取，7 天只需扫描 168 行
SELECT DATE_TRUNC('day', hour) AS day,
       region,
       SUM(total_revenue),
       SUM(unique_users)
FROM hourly_metrics
WHERE hour >= NOW() - INTERVAL '7 days'
GROUP BY ALL;  -- 毫秒级

-- 另一种方式：用 CREATE MACRO 做轻量级缓存
CREATE MACRO daily_active_users(d DATE) AS (
    SELECT COUNT(DISTINCT user_id)
    FROM sessions
    WHERE session_date = d
);

-- 调用：DuckDB 会缓存宏的结果
SELECT daily_active_users('2026-05-01');

-- 查看 temp 文件目录
PRAGMA show_temporary_files;

-- 或直接检查
SELECT * FROM duckdb_temporary_files();

-- 1. 分配足够内存（默认只有 75% 的可用 RAM）
PRAGMA memory_limit = '8GB';

-- 2. 把临时文件放到 SSD（别用 HDD 或网络挂载）
PRAGMA temp_directory = '/mnt/ssd/duckdb_tmp';

-- 3. 控制单个操作的内存上限（防止一个 query 占满所有给 DuckDB 的内存）
PRAGMA hash_table_size_limit = '2GB';
PRAGMA out_of_core_threshold = '2GB';

-- 查看当前线程数
SELECT current_setting('threads');

-- 显式设置（等于物理核心数通常是甜区）
SET threads = 8;

-- 生产环境：超过 16 核收益递减
SET threads = 16;

-- 默认 DuckDB 保持插入顺序（用于 MVCC）
-- 关掉它加速批量导入：
SET preserve_insertion_order = false;

-- 批量插入速度可以提升 2-3 倍
INSERT INTO large_table
SELECT * FROM read_parquet('batch_*.parquet');

-- 推荐：设为物理核心数
SET threads = 8;  -- 8 核
-- 或自动：DuckDB 默认检测，但建议显式设置

-- 一键诊断：查看当前配置
SELECT name, value
FROM duckdb_settings()
WHERE name IN ('threads', 'memory_limit',
               'temp_directory', 'preserve_insertion_order');

-- 查看临时文件（如果有正在运行的 query）
SELECT * FROM duckdb_temporary_files()
ORDER BY size DESC;