如何正确使用分片集群

前言

在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不行！“分片”就用这个来解决这个问题。

怎么做海量数据读写？其实一句话概括：分而治之。

分片集群架构

MongoDB分片集群（Sharded Cluster）通过将数据分散存储到多个分片（Shard）上，来实现高可扩展性。实现分片集群时，MongoDB 引入 Config Server 来存储集群的元数据，引入 mongos 作为应用访问的入口，mongos 从 Config Server 读取路由信息，并将请求路由到后端对应的 Shard 上。

架构如下图： sharded-cluster architecture

从图中可以看到有四个组件：mongos、config server、shard、replica set。

mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，这个可不能丢失！就算挂掉其中一台，只要还有存货， mongodb集群就不会挂掉。

shard，这就是传说中的分片了。一个机器就算能力再大也有天花板，就像军队打仗一样，一个人再厉害喝血瓶也拼不过对方的一个师。俗话说三个臭皮匠顶个诸葛亮，这个时候团队的力量就凸显出来了。在互联网也是这样，一台普通的机器做不了的多台机器来做，比如传统的分库分表实现的分布式数据库，如淘宝的TDDL,网易云的DDB，原理都是类似的。

replica set，上两节已经详细讲过了，怎么这里又来凑热闹！其实上图4个分片如果没有 replica set 是个不完整架构，假设其中的一个分片挂掉那四分之一的数据就丢失了，所以在高可用性的分片架构还需要对于每一个分片构建 replica set 副本集保证分片的可靠性。生产环境通常是 2个副本 + 1个仲裁。

网易云MongoDB实例为3个节点组成的复制集，1个Primary节点，2个用户可见的Secondary节点，通过三个副本保证数据的高可靠性。可以通过设置Driver连接参数将业务读请求路由到Secondary节点，分摊Primary节点的读业务压力，提供更为强劲的性能表现。在MongoDB实例控制台详情Tab页，能够一目了然得获取实例信息。

使用分片集群时须知

  • 用户访问 mongos 跟访问单个 mongod 类似
  • 所有 mongos 是对等关系，用户访问分片集群可通过任意一个或多个mongos
  • mongos 本身是无状态的，可任意扩展，集群的服务能力为『Shard服务能力之和』与『mongos服务能力之和』的最小值。
  • 访问分片集群时，最好将应用负载均匀的分散到多个 mongos 上

正确连接分片集群的姿势

要正确连接复制集，需要先了解下MongoDB的Connection String URI，所有官方的driver都支持以 Connection String 的方式来连接 MongoDB 分片集群。

下面就是Connection String包含的主要内容

以连接网易云 MongoDB版为例，当你购买网易云MongoDB分片集群后，就会在控制台上看到各个mongos的地址信息。例如：

mongodb://root:****@10.173.33.29:27017,10.173.33.30:27017/admin?

sharded-cluster connection-string

【注意】shell 连接请使用MongoDB 3.0以上版本的client

通过 java 来连接的示例代码如下所示：

// ****替换为root密码
MongoClientURI connectionString = new MongoClientURI("mongodb://root:****@10.173.33.29:27017,10.173.33.30:27017/admin");
MongoClient client = new MongoClient(connectionString);
MongoDatabase database = client.getDatabase("mydb");
MongoCollection<Document> collection = database.getCollection("mycoll");

通过上述方式连接分片集群时，客户端会自动将请求分散到多个 mongos 上，以实现负载均衡；同时，当 URI 里 mongos 数量在2个及以上时，当有 mongos 故障时，客户端能自动进行 failover，将请求都分散到状态正常的 mongos 上。

当 mongos 数量很多时，还可以按应用来将 mongos 进行分组，比如有2个应用 A、B、有4个 mongos，可以让应用 A 访问 mongos 1-2（URI 里只指定 mongos 1-2 的地址）， 应用 B 来访问 mongos 3-4（URI 里只指定 mongos 3-4 的地址），根据这种方法来实现应用间的访问隔离（应用访问的 mongos 彼此隔离，但后端 Shard 仍然是共享的）。

MongoDB Shard

总而言之，在访问分片集群时，请务必确保 MongoDB URI 里包含2个及以上的 mongos 地址，来实现负载均衡及高可用。