数据资产中心

产品从软硬件资源消耗、访问频度、预估费用、数据量、文件数等多维度对数据资产进行度量与评估,帮助分析数据的投入产出,优化成本管理,提高数据资产效益。

资产大盘

1、资产概况:提供项目组/项目的总表数、表存储量、资源消耗量统计,项目组内可查看各项目各指标间比例; 2、资源消耗:提供项目组/项目每日消耗的CPU峰值和内存峰值; 3、Hive表:提供特定项目组/项目和集群条件下Top15的Hive表的存储量、新增存储量、近30日访问次数和job引用数等统计指标; 4、应用分析:从人/有数报表角度分析对应的存储和计算成本。

资产诊断

目前主要是Hive表诊断。提供全部Hive表近30日的访问统计,并梳理出建议下线表,提供建议下线表数量、存储量和各自占比。

资产明细(调度任务)

支持查看特定项目组/项目、集群、队列下的任务执行信息,包括任务实例ID、任务类型、任务名称、工作流名称、计划执行时间、开始执行时间、结束时间、耗时、执行方式、调度周期、消耗CPU、内存和yarn application个数和预估费用等信息。

资产明细(自助分析)

支持查看特定项目组/项目、集群、队列下的query,包括实例ID、query名称、query内容、执行引擎、提交人、开始执行时间、结束执行时间、耗时、消耗CPU、内存和yarn application个数等信息。

资产明细(Hive表)

支持查看特定项目组/项目、集群下的库表信息,包括库名、表名、表类型、表存储路径、创建日期、表负责人、文件打开次数、表访问次数、表引用数、最近访问时间、存储量、新增存储量、文件数、新增文件数、平均文件大小和产出任务信息。