事务消息系统设计
本文背景 问题发生在云课堂(企业云)教学模块,运营多次跟测试、开发反馈——课程发布后,用户前台没有看到课程目录。 开发查看代码和数据后诊断是分布式事务引起的不一致(同一个事务中操作DDB和MongoDB)。 由于发生的概率较低,前几次都是让测试人员重新编辑目录后再发布。但最终还是要想办法彻底解决下这个问题。 问题分析 发布后的课程数据保存在DDB,后台管理的草稿数据保存在MongoDB发布课程伪
来自: 社区博客云原生时代下的12-factor应用与实践(上)
[图片] 本次分享将结合 Docker等技术,介绍在 Cloud Native时代下,如何一一实践 12-Factor原则。云原生 云原生(Cloud Native)是由 Pivotal 的 Matt Stine在 2013年提出的一个概念,是他多年的架构和咨询总结出来的一个思想的集合。 那怎么去理解云原生应用?我觉得可以从三个角度来说明,这和云计算平台的三个层次不谋而合,如下图: [图片] ○
来自: 社区博客MongoDB账号管理及实践
?本文以此作为入口来谈谈MongoDB的账号管理。 MongoDB作为一个成熟的数据库,像MySQL一样,也提供账号管理,但又跟MySQL不大一样,MongoDB使用基于角色的访问权限控制(Role-B
来自: 社区博客云原生时代下的12-factor应用与实践(下)
本文继续上文内容:云原生时代下的12-factor应用与实践(上) Factor实践:对我们的应用程序来说,用到的后端服务就是 MongoDB 数据库。我们正是通过 MONGO_URL 来传递 MongoDB 的资源地址,从而实现了后端服务和应用程序的解耦。如果当前这个 MongoDB 实例出问题了,我们可以通过设置 MONGO_URL 这个环境变量,很方便的切换一个新的实例。5 构建,发布,运
来自: 社区博客Python大数据分析基础之PyMogo 操作 MongDB
安装MongoDBMac安装mongdbbrew install mongodb 运行 MongoDB1、首先我们创建一个数据库存储目录 /data/db:sudo mkdir -p /data/db 2、启动 mongodb,默认数据库目录即为 /data/db:bogon:~ mac$ sudo mongod 2018-08-04T10:48:10.033+0800 I CONTROL
来自: 社区博客想要年薪10万+,Java开发者必会这15个大数据工具和框架!
国内大多数大型互联网公司的程序员被称作研发工程师,但实际上国内几乎没有研发项目,只能叫做开发。 开发程序员的工作大多是重复性劳动,容易产生疲惫感,薪资在工作2-5年内就达到了一个峰值,再要提升就比较困难,这样就导致了很多程序员最终转行做了其他行业。 JAVA的精密、强大,拥有其它语言不可替代的性能和可维护性,早已经是成为受欢迎的编程语言之一,很多人想进入IT行业,选择的语言就是JAVA。 [图片]
来自: 社区博客一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
[图片] 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点:需求变化快和用户群体庞大,在这种情况下,如何从系统架构的角度出发,构建灵活、易扩展的系统,快速应对需求的变化;同时,随着用户的增加,如何保证系统的可伸缩性、高可用性,成为系统架构面临的挑战。 如果还按照以前传统开发模式,开发一个大型而全的
来自: 社区博客SVN 文件解锁尝试
菜鸟一枚,入职公司半年左右,平时负责产品迭代的功能测试,然后写写接口测试,平凡而又正常的进行着,一切还算比较顺利。话说某一天,邮件通知CI中某些接口测试挂了,于是紧张的进行排查,最终定位出失败的原因: 1.开发将mongoDB迁移,没有将数据同步,导致数据丢失,接口报错 2.开发在某迭代中优化了某些接口,将其url做了调整,导致CI中该接口404.  
来自: 社区博客Apache Kyuubi 在 T3 出行的深度实践
支撑了80%的离线作业,日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以 Apache Hudi 为基础的企业级数据湖,提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言,平台的技术门槛是另一种挑战。如果能将平台的能力统合,并不断地优化和
来自: 社区博客MongoDB复制集与Raft协议异同点分析
此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、日志复制流程: a、raft leader节点在接收client请求后,先将请求写到日志中,再将日志通过AppendEntries RPC发送到follow上。如果收到了大多数follow的确认消息,则对应日志可以在leader节点回放,之后follow上对应的日志也会被应用; b、mongodb
来自: 社区博客