时序数据库技术体系(一):时序数据存储模型设计
时序数据库技术体系中一个非常重要的技术点是时序数据模型设计,不同的时序系统有不同的设计模式,而不同的设计模式对时序数据的读写性能、数据压缩效率等各个方面都有非常重要的影响。这篇文章笔者将会分别针对OpenTSDB、Druid、InfluxDB以及Beringei这四个时序系统中的时序数据模型设计进行介绍。 在详细介绍时序数据模型之前,还是有必要简单回顾一下时序数据的几个基本概念,如下图所示
来自: 社区博客区块链技术如何改变数据的存储和管理?
由于大数据的迅猛发展,数据正在呈指数级增长。随着越来越多的个人数据被泄露,数据存储和获取的方式也受到了质疑。 全面数字化时代的个人信息应该如何被管理以发挥效能并降低滥用的风险,不仅是各类企业,更是各国政府必须解决的监管难题。 就数据管理方式的技术变革而言,区块链技术正在获得动力。全球研究公司 Gartner 预测,到 2025 年,区块链的商业价值将达到近 2000 亿美元,其中很大一部分将用
来自: 社区博客达到多大规模的数据,才值得用大数据的方式来处理?
现在这个概念很火Hadoop等MR的框架也日渐成熟。但究竟到了什么级别的数据值得用大数据的方式来处理呢?本身在工作中经常会需要处理一些上百G的数据和日志,一般随便写一个scala的并行脚本单机的处理速度也已经完全可以接受了(硬件是i7 8核 + 16G + SSD),基本不用等太久,做点别的事情回来看看就有结果。这种情况下如果要写成用MR的脚本势必在编程效率,测试和部署上大打折扣(本人没用过
来自: 社区问答Spark——为数据分析处理提供更为灵活的赋能
、更快的计算速度。采用计算中间结果的内存缓存机制和基于DAG的数据处理过程优化策略,进一步提升数据处理速率。 2、简单易用的分布式计算。将大规模数据处理任务,抽象为RDD的处理变换操作,将并行
来自: 社区博客IOTA:基于Tangle的物联网事务处理和数据传输层 | ONETOP评级
project is risky and the investment must be prudent. [图片] [图片] IOTA是为物联网(IoT)而设计的新型交易结算和数据转移层,它基于新型的分布式账
来自: 社区博客智能运维 |如何提升海量事件数据存储与计算的可用性
前文《面对海量事件数据,我来告诉你怎么办!》中我们介绍了百度线上业务运维场景下海量事件数据存储与计算平台EventDB的系统架构、集群规划及未来发展方向,本文将介绍我们在EventDB高可用方向面临的问题、建设经验及后续计划,希望与业界同行一起交流学习。 [图片] 作为百度云Noah智能运维产品核心存储平台,其可用性的高低直接决定了上下游业务系统可用性的高低,我们建设可用性之初主要面临如下几个问
来自: 社区博客泛圈智能云:媒体广告行业转型时代下的数据智能云存储管理
多,日处理订单量巨大,海量文档缺乏系统的管理。文档的安全、保密性管控存在隐患。历史数据查找困难,部门和部门之间,方案的撰写与执行协同与效率低下。办公范围大,远程监控不便,员工携带重要媒体图片资料出差时造
来自: 社区博客稳!网易云对象存储让用户数据实现一键反垃圾
网易云安全(易盾)对象存储反垃圾服务基于人工智能、大数据分析技术,依托网易反垃圾海量特征样本库,对用户存储在对象存储上的图片数据进行高效甄别,并对涉及广告、色情、违禁、暴恐等垃圾类型的图片数据进行嫌疑程度的判断,同时为用户提供准确便捷的检测结果展示平台。 用户可通过结果变更、删除等快捷操作,对图片等数据做出快速处理,帮助企业减少审核人力成本,有效降低运营风险。 对于一些每天有
来自: 社区博客硬盘任性丢数据,但分布式存储一定可靠吗?
此文已由作者孙建良授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1. 存储系统的可靠性 常规情况下,我们一般使用多副本技术来提高存储系统的可靠性,不论是结构化数据库存储(典型的如MySQL)、文档型NoSQL数据库存储(MongoDB)或者是常规的Blob存储系统(GFS、Hadoop)等。 数据几乎是企业的生命所在,如何较为正确地衡量集群数据的可靠性,如何进行系统设
来自: 社区博客mongodb存储数据和文档存储数据的区别?
mongodb存储数据和文档存储数据的区别是什么呢?为什么用mongodb而不直接使用文档呢? MongoDB是文档型的行存储,行存储的读写过程是一致的,都是从第一列开始,到最后一列结束。行存储的写入是一次性完成,消耗的时间比列存储少,并且能够保证数据的完整性,缺点是数据读取过程中会产生冗余数据,如果只有少量数据,此影响可以忽略;数量大可能会影响到数据的处理效率。使用“文档”这个词似乎让人觉得奇
来自: 社区问答