表优化配置

最近更新时间: 2026-03-13 09:03:00

说明:

仅针对湖仓版,支持表优化配置功能。

前提条件

  • 完成经典集群安装。

操作约束

  • 仅支持对Iceberg表配置表优化。

操作场景

针对 Iceberg 表,TBDS平台默认会进行自动优化。然而,如果某些表的优化速度较慢或效果不佳,可以进行针对性的优化,表优化支持数据目录和表两种级别配置,当两者同时存在某个优化配置时,表级配置优先级更高。

操作步骤

  1. 以管理员用户登录 TBDS,进入 TBDS Manager首页 > 数据管理
  2. 数据目录级表优化:
  • 在数据目录列表中找到需要调整的数据目录名称,右侧点击编辑链接:

  • 在编辑数据目录页面下方找到数据优化,点击自定义,按需调整优化参数:

    信息详情
    表优化资源可以选择优化任务运行的YARN资源队列或虚拟集群。
    文件目标大小文件优化合并时,会尽可能将文件合并成目标大小,建议取值128M。
    快照过期周期快照存在时间超过该值时,平台会将该快照标记为过期的快照。快照过期时间取值越长,快照清理的速度越慢,占用存储空间越多。
    清理孤立文件周期平台会周期性扫描并清理孤立文件。执行周期越短,清理孤立文件会更灵敏,但是可能消耗更多资源。
  • 点击【数据目录】 -> 【监控】,可以监控表优化任务列表信息。

  1. 表级表优化:
  • 在表列表中的操作列表,点击【优化】可针对表配置优化策略。

  • 通过点击表优化方式相关配置完成表优化修改。

信息详情
表优化方式默认:配置会继承使用数据目录级别的配置。
禁用:允许禁用优化功能,系统后台将不再自动执行表优化操作。
自定义:允许用户独立设置表的优化参数,会覆盖目录级的优化参数。
  • 操作完成。