基于 Apache Flink 构建的高性能、一站式实时大数据处理方案,广泛适用于流式数据处理场 景,通过标准 SQL 服务和更高级的代码定制服务,提供低门槛,专业化的实时计算 IDE

方案特色

Web IDE
强大的IDE功能,支持用户使用代码,SQL,控件拖拽等多种方式开发实时计算任务,依托于成熟的版本管理功能,实现任务历史版本可视化对比,快速回退,提供数据上传调试和在线调试两种方案快速验证任务正确性
统一元数据
与离线数仓共享元数据中心,使用统一数据模型抽象流表和批表,实现元数据流批一体和任务间模型复用,用户无需构造DDL,专注于核心业务流程,极大提升效能,基于统一元数据提供了全链路血缘
多数据源适配
支持主流消息队列:包含kafka、RocketMQ等;支持各种异构数据源类型,包括HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle等
全周期报警监控
提供任务QPS,Checkpoint,反压,数据延迟,滞留,进程资源等多种维度的指标监控,提供丰富的自定义报警配置,基于任务全生命周期的事件和指标监控,构造任务大盘,提供汇总指标
库仓一体
通过数据库自动入湖和流批一体技术,为业务数据库无感知地构造镜像实时数仓,开发任务时业务像访问数据库一样访问数据仓库,提供库仓一体化体验,免除复杂的数据库etl操作和鉴权流程,极大提升效能
湖仓一体
基于Hive和流批一体技术支持upsert,做到分钟级别数据延迟,兼容 parquet,orc 等高性能的列存格式,将 95% 以上的数仓 AP 场景保留在数据湖中,避免引入 Kudu,Clickhouse,Greenplum 等数据孤岛
流批一体
做到存储流批一体,流表和批表共享数据湖存储,流批一体表既可以跑离线任务,也支持实时计算任务;基于存储流批一体,探索计算流批一体方案,支持 Flink,Spark 在流批场景下的统一应用
任务智能诊断
通过任务全生命周期的事件和指标监控,基于启发式的任务诊断规则,自动识别异常任务,对任务异常提供处理建议,降低任务运维难度,提升整体效能

方案架构

核心能力

实时数据采集
适配主流消息队列实现日志数据的实时采集,通过数据库redo回放,CDC,binlog回放技术实现数据库数据实时采集,使用库仓一体方案构造无感知的数据接入,与后续的实时/批计算无缝衔接
实时任务开发
强大的IDE套件,支持jar,SQL,画布三种开发模式,支持拖拽,模块化,多语言等特性,提供在线调试,任务血缘,版本管理等功能,利用统一元数据中心与离线共享数仓模型,消除二义性
流批一体存储
为实时计算配套流批一体,湖仓一体的实时数仓,实现流表批表基于数据湖的统一存储,基于流批一体的计算引擎和存储技术,用一套架构和一套代码解决离线和实时数仓两种场景
全链路监控
提供任务的全生命周期事件管理,支持任务运行日志收集与检索,支持任务运行态各种维度metrics的汇总与展示,基于全链路监控与智能诊断,实现问题的快速排查和恢复,保障SLA
助力各行业客户成功

华泰证券

有数实时和离线计算平台提供多种数据源快速接入及敏捷应用开发能力、可视化资源管理及运营监控,快速满足海量数据实时统计分析需求,实现高效管理。

浙江省交通规划院

借助网易有数实时计算解决方案,实现多维数据整合,实时态势感知,全面提升问题预判、拥堵预测、事故分析能力,辅助调整道路规划提前部署警力。

结合业务需求,进一步了解方案详情
方案咨询

电话咨询

0571-89926329

工作日 9:30-18:00

在线咨询

架构师咨询