数据质量中心

数据质量中心围绕完整性、一致性、准确性、有效性和及时性这五个方面监控、衡量数据质量问题、提升企业数据质量。从数据接入、数据加工等环节,评估数据是否能够满足要求,准时产出,便于数据开发了解监控数据异常后是否影响后续的分析任务、是否能快速修复。 数据质量中心通过事前定义数据的监控规则、事中监控和控制数据的生成过程和事后数据评估和问题追溯过程,把控高质量的数据,拥有准确且业务有序的数据是确保商业决策不会遭受伴随“坏”或“脏”数据而来的负面影响。

事前创建监控任务,定义数据监控规则

1、新建监控任务时,可直接引用平台预置的规则模板,包含非空非NULL、有效IP等。

2、新建监控任务,支持书写SQL语句自定义监控规则,同时支持按照逆向方式执行规则。

创建监控任务时,支持单表监控和单表指定分区进行监控

新建的监控任务提供试跑功能,方便快捷的调试监控任务,且试跑成功和失败支持邮箱、短信、电话通知功能。

事中监控数据的生成过程

1、猛犸平台的作业流节点任务支持绑定监控任务

2、监控任务提供强弱规则控制质量监控异常时是否终止作业流

3、支持设置数据质量报警,触发规则包含质量异常和质量检测失败

提供事后问题追溯的能力

1、运行后的监控任务,可查看质量监控详情

2、可查看监控任务的执行趋势,监控执行概况支持下钻,可查看具体日期下监控任务的成功、异常和失败的实例详情。

3、监控任务中的被监控的表,支持跳转到数据地图查看表详情

提供数据质量评估功能,包括表质量评分和质量排行

提供数据质量总体概览,包括表质量平均分、监控配置概况和调度监控执行情况概况