线上日志集中化可视化管理:ELK
本文来自网易云社区 作者:王贝 为什么推荐ELK: 当线上服务器出了问题,我们要做的最重要的事情是什么?当需要实时监控跟踪服务器的健康情况,我们又要拿什么去分析?大家一定会说,去看日志,去分析日志。是的,日志对于服务器开发人员来讲是最亲密的伙伴了,基本上每天都会去看各种类型的海量的日志去定位问题,去做统计分析等等。最常见的查看日志的情况,比如线上出了bug,我们ssh到线上服务器,cd到服
来自: 社区博客容器服务_服务管理_集群编排服务_容器集群管理方案_网易蜂巢-网易数帆
容器服务,容器集群管理方案,网易蜂巢 容器服务基于Kubernetes和Docker的集群编排服务提供高性能的容器集群管理方案,支持弹性伸缩、垂直扩容、灰度升级、服务发现、服务编排、错误恢复及性能监测等功能-网易蜂巢容器服务 容器服务是网易数帆提供的无服务器容器服务,让企业能够快速部署业务,轻松运维服务。容器服务支持弹性伸缩、垂直扩容、灰度升级、服务发现、服务编排、错误恢复及性能监测等功能。 获
来自: 产品分布式集群管理与监控利器 - Minos
Minos简介 minos是小米内部实现并使用的一套分布式部署与监控系统,现在已经开源(https://github.com/XiaoMi/minos.git),主要用来管理并监控Hadoop、HBase以及Zookeeper集群等。在最新的版本,也可以很容易地扩展到支持YARN、Impala等集群。 Minos架构 [图片] 如上述架构图所示,minos由多个组件组成,分别为Tank
来自: 社区博客集群管理_数据库_产品文档_帮助与文档-网易云
集群管理 创建集群 操作步骤 1. 登录 「控制台」,定位到「Elasticsearch」标签; 2. 选择相关配置,点击「立即创建」按钮,开始创建后你可以在 「操作日志」 中看到实例创建日志。 3.可以参考:"创建实例" (https://www.163yun.com/help/documents/97131558989910016) 更改规格 操作步骤 1. 登录 控制台,定位目标实例; 2
来自: 产品文档 - 数据库 - Elasticsearch前端异常监控解决方案研究
统的设计,在最终的报表中体现出监控对开发和业务的帮助。 一般而言,一个监控系统,大致可以分为四个阶段:日志采集、日志存储、统计与分析、报告和警告。 [图片] 采集阶段:收集异常日志,先在本地做一定的处理
来自: 社区博客微软Azure事件中心服务正式支持Apache Kafka,管理集群更轻松
Protocol,与应用程序的事件数据连接,再一并融入事件中心,可以减少管理集群、组设定的工作。微软表示,目前该服务已经支持到Apache Kafka 1.0版。 而串联Kafka与事件中心服务的组件,则
来自: 社区博客网易云数据库架构设计实践
据可靠性难以保证; 运维自动化程度低,人力成本高; 监控报警不够完善,出现问题难以诊断。 上述问题暴露出当前的数据库管理模式已经难以满足快速发展的互联网世界多变的需求,一个全新的,集中式的,更加智能的数据
来自: 社区博客Snowflake & Delta Lake两大新型数仓对比分析
Snowflake & Delta Lake 代表了当前业内最先进的两种数仓形态,并且都得到了市场上用户的高度认可。 ——1—— 概述 数据分析从上世纪 80 年代兴起以来,大体经历了企业数仓(EDW)、数据湖(Data Lake)、以及现在的云原生数仓、湖仓一体等过程。企业数仓是数据仓库最原始的版本,从当前的视角来看,存在着只能处理结构化数据、集中式的存储和计算、以及成本昂贵等缺点。数
来自: 社区博客网易工行:云原生日志系统Loggie正式开源!
而在云原生环境下,容器大规模及频繁动态迁移、日志存储多样性、Kubernetes元信息查询等特点,迫使日志管理方式发生变化。随着业务实践的深入,日志方面存在的人肉运维越来越多、功能开发难以扩展和难以支撑更
来自: 社区博客【解构云原生】基于Filebeat的日志采集服务设计与实践
服务、DevOps的重要一环。没有日志,服务问题排查无从谈起,同时日志的统一采集也是很多业务数据分析、处理、审计的基础。 但是在云原生容器化环境下,日志的采集又变得有点不同。 二、容器日志采集的痛点 传统主
来自: 社区博客