Snowflake & Delta Lake两大新型数仓对比分析
据湖是伴随着数据爆炸式增长而出现的技术，它能够存储结构化以及非结构化的数据、拥有分布式的存储、以及经济的成本。但由于其“不管后面用不用，先存储起来”的理念，在数据治理、质量审核方面有很多的缺失，因此在后
来自： 社区博客网易考拉规则引擎平台架构设计与实践
此文已由作者肖凡授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 背景 考拉安全部技术这块目前主要负责两块业务：一个是内审，主要是通过敏感日志管理平台搜集考拉所有后台系统的操作日志，数据导入到es后，结合storm进行实时计算，主要有行为查询、数据监控、事件追溯、风险大盘等功能；一个是业务风控，主要是下单、支付、优惠券、红包、签到等行为的风险控制，对抗的风险行为包括黄牛刷单
来自： 社区博客产品形态和性能指标_存储与 CDN_产品文档_帮助与文档-网易数帆
产品形态及性能指标 云硬盘目前有2种产品形态：普通云盘和SSD云盘。 以下列出云硬盘的性能指标。 | 参数 | 普通云盘 | SSD云盘
来自： 产品文档 - 存储与 CDN - 云硬盘睿“至”进取，我们眼中的 AIOps
些问题和一些难点想跟大家坐在一起分享这样的内容。 首先第一个片子，大概看一下整个AIOps发展的历程，首先最早的时候是2013年提出的ITOA概念，通过技术服务手段采集存储海量的数据，最后成品展现。 [
来自： 社区博客网易数帆如何用 Kubernetes“原语”搞定云原生中间件
在近日的 ArchSummit 全球架构师峰会 2021 上海站上，继网易副总裁、杭研院执行院长、互联网技术委员会主席、网易数帆总经理汪源发表主题演讲《打造开放的云原生操作系统和系统软件架构》之后，网易技术委员会委员、网易数帆基础架构总监张晓龙向与会者进一步讲述了网易数帆在云原生中间件上的思考、实现与经验。本文为演讲内容实录。 [图片] 今天给大家分享我们面向生产环境的中间件容器化实践，主要包括四
来自： 社区博客快速成长期应用架构实践 （14）： 应用健康检查
欢迎访问网易云社区，了解更多网易技术产品运营经验。 4.4.2 性能问题诊断 在性能诊断之前，我们要先清楚如何判定，或者说如何确定应用有性能问题，否则无 法定位性能问题。总的来说，性能指标主要有以下两点。 吞吐量：每秒可以处理的请求数据或者任务数据。 响应时间：处理一个请求/任务的时间或者延迟。 整个系统的性能基本由这两个指标来反映，系统对性能指标可能有不同的偏好，在有 些场景下，系统可能偏好更
来自： 社区博客分布式存储系统（问题, 概念, 及领域语言）面试必考点
[图片] 定义 分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务 分类 非结构化数据，一般的文档 结构化数据， 存储在关系数据库中 半结构化数据，HTML文档 不同的分布式存储系统适合处理不同类型的数据： 分布式文件系统 非结构化数据，这类数据以对象的形式组织，不同对象之间没有关联，这样的数据一般称为Blob（二进制大对象）数据 典型的有Facebook
来自： 社区博客丁俊：京东商城K-V存储产品的演化之路
个部分是内存存储(jimdb)，另一块是持久化存储(sharkstore)，还有一块就是我们目前想要做的混合存储。 内存针对的是一个高吞吐、低延迟的场景;持续化存储更强调的是可靠性和容量上面。我们后面想
来自： 社区博客【大数据之数据仓库】选型流水记
去年10月份放下了一手打造的缓存服务（NKV和NCR），投身到新成立的数据科学中心从事大数据存储相关的工作，新的部门、新的项目、新的知识，脚踏实地，从零开始。 第一款调研的对象是cloudera公司刚开源的kudu产品，可以将其理解为是hadoop系统中的hdfs，一个存储引擎，但是和hdfs的不同之处是它支持update操作，这点非常重要！ 可能是因为刚开源的缘故，文档中很多的的使用方式、操
来自： 社区博客区块链能兼顾可信与效率吗？
[图片] 0.缘起 在一个夏日的下午，我们两人坐在咖啡馆里海阔天空地讨论区块链技术。我们发现讨论的焦点就在于区块链的效率。这种对于效率的考量，主要是与现有基于中心化云计算模式构建的标准互联网架构进行对比。进一步深入下去，我们觉得这是一种去伪存真的过程，会影响到未来区块链和数字资产技术应用落地的发展。 与区块链行业火热不同的是，作为一个普通的用户，似乎除了比特币、以太坊钱包之外，依然用不到什么真正基
来自： 社区博客