使用文件存储轻松实现分布式计算和存储分离

前言

NAS 文件存储支持NFSv3/NFSv4.0协议,使用标准的文件系统语义访问数据,主流的应用程序及工作负载可无缝配合使用,无需任何修改即可读写数据,多个云主机NVM实例、或Docker容器可以同时访问同一个网易云NAS文件系统,非常适合跨多个主机部署的应用程序访问相同数据来源的应用场景。

应用场景

  • 大数据存储和分析: NAS 文件存储提供了大数据应用程序所需的规模和性能、计算节点高吞吐量、写后读一致性以及低延迟文件操作,特别适合服务器日志集中处理和分析。
  • 流媒体处理: 视频编辑、影音制作、广播处理、声音设计和渲染等媒体工作流程通常依赖于共享存储来操作大型文件。强大的数据一致性模型加上高吞吐量和共享文件访问,可以缩短完成上述工作所需的时间
  • 内容管理和 Web 服务: 可以作为一种持久性强、吞吐量高的文件系统,用于各种内容管理系统,为网站、在线发行、存档等各种应用存储和提供信息。
  • 专用软件环境: 提供了政府、教育、医疗等行业传统服务架构迁移上云的基础,通常专用软件需要共享同一个文件存储系统,且仅支持 POSIX 标准协议操作。

案例:分布式视频处理系统

视频处理,包含录制、转码、视频合成、截图等常用的视频处理任务。示例架构如下图:

MapTask 、ReduceTask 即视频处理的具体逻辑模块,可以根据具体需求对应开发和配置,

各个模块可以采用云主机或者容器方式部署,并挂载NAS 文件存储,各个模块皆可像访问本地文件系统一样访问 网易云NAS上的数据,从而让用户的应用服务可以实现存储和计算服务的分离,同时计算资源和存储资源都可以支持按需弹性扩容, 通过网易云提供的负载均衡服务NLB由多个虚拟机或容器来共同承载一个弹性容错的应用架构。

Attention

挂载到目标系统的NAS文件单个目录下面文件数量不能过多,目录的层次也不能过深,不然会出现较严重的性能瓶颈

分布式视频处理系统架构