X银行数据湖及大数据应用项目
- 客户痛点
长期以来数据价值挖掘能力欠缺、数据孤岛严重是该银行在推进数据应用上面临的现实困境。严重阻碍了科技创新和数字化转型。 - 解决方案
构建UDP数据湖平台:数据湖一期以数据为中心,以“覆盖BDP/EDP数据源、一次接入分批加载”为与原则,搭载以离线文本接入、文件湖、缓冲区和贴源层为主体的数据治理体系,离线接入超过一万张源表加载至贴源层、逐步替代EDP、BDP提供数据支撑。 - 客户价值
数据湖平台帮助银行首次实现了全行数据资产汇集一处,能够为银行统一数据分析层、展现层、数据沙箱等探索提供平台支撑,也为沉淀和深度挖掘全行数据资产打下了坚实技术基础。 - 项目总结与借鉴
本项目是TBDS在国有银行体系的首个案例,包含了大数据平台、人工智能平台、数据湖及银行数据层面整体规划的综合性项目。
X商业银行湖仓一体项目
- 客户痛点
- 原友商数据库难以满足业务发展需求,如自助分析、实时数据处理、AI分析等场景
- 数据开发治理工具分散,未形成一站式数据敏捷开发能力,开发效率低
- 数据建模体系陈旧,灵活性及扩展性不足,维护成本高,业务响应慢查询
- 解决方案
- 湖仓一体架构体系,全面覆盖客户湖仓融合的场景需求
- 数据敏捷化开发工具能力,降本增效
- 云平台团队互联网建模思路输出,提升数据响应
- 客户价值
- 实现业务价值六大突破:数据存算更高效,数据管理更简单,数据资产更清晰,业务驱动更智能,数据运营更高效
- 帮客户构建全公司级统一数据平台,实现数据统一赋能,全链路一体化管理,包括:
- 大数据湖仓一体化,构建离线、实时计算能力资源池
- 全链路数据治理工具链能力打造,数据集成、开发、管理核心能力赋能,每日任务数量5000+
- 基于Iceberg数据湖、StarRocks等技术栈实现湖仓一体新架构转型,有效提升离线场景、实时场景分析效率和即席数据分析能力
X能源企业大数据平台与数据湖建设项目
- 客户痛点
- 原有平台独立建设,烟囱耸立,资源管理和利用效率低下
- 架构陈旧,运维能力不足,无法支撑微信账单、设备台账等业务性能要求
- 难以实现公共数据积淀,无法形成企业统一管理视图
- 客户价值
- 支撑了电网管理平台、客户服务平台、企业运管平台、调度运行平台的数据实时采集入湖,整体规模达到1200+节点
- 我们基于Flink+iceberg实时入湖,TB级天增量入湖,入湖效率提升30%
- 各业务数据统一归集到数据湖底座,数据服务层作为数据中心对外提供服务能力的应用层,加速了数据应用的融合,满足智能抄表,智能配电房,环境监测,视频监测应用场景
- 项目总结与借鉴
卡位能源电力行业,作为X电网集团的数据底座,后续扩容规模大。对于他各网省规划大数据平台方案具备示范性标杆作用。
X银行多业务实时检索
- 客户需求
为风控系统、催收系统、监管报送、信贷系统提供日志分析与检索。 - 解决方案
- 集群架构:两地三中心数据容灾架构,通过 TM统一管控;客户规模约 50 套 ES 集群,总共近 1000 节点
- 性能支撑:ES 内核性能增强、稳定性提升、计算成本优化三个方面优化点 100+个
- 客户价值
- 稳定+价格便宜:集群安全认证、多集群备份、审计、组件 HA、等方面保障集群稳定;价格比原厂便宜 50% 以上
- 性能提升:相比开源&其他友商,云平台团队内核研发能力,在聚合查询、scroll查询、过滤查询等方面高性能,保障业务稳定性
- 易管控:TBDS-Manager 管控,在安装部署/扩容/可观测/es 高级特性等方面提升易用性