实时计算平台
基于 Apache Flink 构建的高性能、一站式实时大数据处理方案,通过标准 SQL 服务和更高级的代码定制服务,提供低门槛、专业化的实时计算集成开发环境,广泛适用于流式数据处理场景。

企业采集实时数据时,会面临哪些严峻挑战?

实时计算平台可高效提炼时效性数据,满足企业低延时业务需求,适用多种实时计算任务场景,但从研发成本、技术实现等方面对企业提出了新的挑战

实时采集缺工具
痛点描述 : 数据库实时采集是企业客户“卡脖子”的难题,尽管技术趋于成熟,但自研平台成本高,配套工具集成难度大、单独采购成本高,且与实时计算衔接复杂
产品及特色 : 有数实时计算平台从认证、授权、审计三个方面来保障企业客户的数据安全,保证数据不会被非法获取,用户权限可控制,用户操作可跟踪
实时开发门槛高
痛点描述 : 技术人员需要深入学习计算引擎的底层知识,当业务逻辑比较复杂时,还需要了解离线与实时如何结合使用,对开发人员技术能力要求较高
产品及特色 : 提供低门槛沉浸式实时计算平台,支持 SQL 和代码任务的开发运维,支持 UDF 开发复用,配备强大的版本管理和采样调试功能,支持流批统一的数据源管理、复用及拖拽式开发
实时运维难度大
痛点描述 : 开发难以感知实时计算任务的状态是否正常、流量是否稳定,是否出现反压等异常情况,对任务的历史运行情况难以查询和回溯,运维成本极高
产品及特色 : 拥有统一的任务运维中心,支持展示多维度监控图表。提供丰富的指标监控和告警规则,支持用户自定义指标监控和告警规则,提供全面的运行和发布记录,一站式解决运维问题
数据规范不统一
痛点描述 : 传统点对点开发实时计算任务的方式,存在数据难以复用、数据冗余造成规范混乱的问题,标准难以统一,浪费成本且治理难度大
产品及特色 : 有数实时计算平台与离线数仓共享元数据中心,使用相同数据模型,保证数据指标一致,避免理解差异,同时无需开发构建 DDL,一处登记多任务复用,提高用数效率,降低用数成本
热门应用场景
精准推荐
通过实时计算快速挖掘用户特征,分析用户需求喜好,快速定位目标用户画像及需求 ,及时推荐给用户更适合的信息、商品及服务,实现精细化、个性化运营。
场景示例
信息流推荐、精准营销、关联推荐
免费咨询试用
实时风控
针对金融业务提供全链路风控、欺诈风险、数据质量等整体解决方案,通过实时计算平台优化传统风控系统,快速识别交易信息,减少用户损失。
场景示例
交易预警、欺诈监测、权限管控
免费咨询试用
监控大屏
快速构建从数据库,日志,IOT 等数据源到数据终端的实时生产链路,配合数据可视化工具,为双11大屏展示等场景提供低门槛,可复制,平台化的解决方案
场景示例
实时统计、数据监控、业务预警
免费咨询试用

产品优势

流批一体
支持流批一体的存储设施和开发模式,集团内部率先实践,标准方案权威认证
定制对接
可对接客户系统的单点登录,数据源管理,报警监控等基础设施,为客户提供定制化方案和实施
开放兼容
数据源持续开放集成,除有数自建数据湖外,支持对接 CDH/CDP 等商业化产品
成熟可靠
各组件冗余部署,高可用方案成熟稳定,网易集团内部十年实践验证

产品架构

核心能力

实时数据采集
适配主流消息队列实现日志数据的实时采集,通过数据库 redo 回放、CDC、binlog 回放技术实现数据库数据实时采集,使用库仓一体方案构造无感知的数据接入,与后续的实时/批计算无缝衔接
实时开发调试
强大的 IDE 套件,支持 jar、SQL、画布三种开发模式,支持拖拽、模块化、多语言等特性,提供在线采样、上传数据多种调试方式,支持任务血缘、版本管理等
丰富数据源支持
支持主流消息队列:包含 RocketMQ 等;支持各种异构数据源类型,包括 HDFS、Hive、hbase、kudu、Redis、es、tsdb、MySQL、Oracle 等
支持开发/线上模式
提供开发/线上模式,以实现开发/运维隔离,保障开发工作不直接影响线上任务,支持快照版本管理;通过调试功能为开发者模拟低成本开发集群,在不引入额外成本前提下全面保障线上安全
统一元数据管理
配套流批一体的元数据中心,基于和离线统一的元数据结构管理数据源,实现数据在离线和实时场景下快速复用,利用统一元数据中心和离线共享数仓模型,消除二义性,支撑流批一体开发
全链路监控
提供任务的全生命周期事件管理,支持任务运行日志收集与检索,支持任务运行状态各种维度 metrics 的汇总与展示,基于全链路监控与智能诊断,实现问题快速排查和恢复,保障 SLA
客户案例

华泰证券

有数实时和离线计算平台提供多种数据源快速接入及敏捷应用开发能力、可视化资源管理及运营监控服务,满足海量数据实时统计分析需求。

浙江省交通规划院

借助有数实时计算平台,实现多维数据整合,实时态势感知,提升问题预判、拥堵预测、事故分析能力,辅助调整道路规划提前部署警力。

了解更多,实现企业数智化升级
咨询详情

电话咨询

0571-89926329

工作日 9:30-18:00

在线咨询

架构师咨询