1. 方案概述

   本数据湖方案，推荐使用Dell EMC 非结构化存储方案配置集群Powerscale F600+A3000节点，

该架构由如下几部分互连设备组成。

Powerscale节点：由Powerscale F600 NVMe全闪节点以及A3000归档组成。每个节点配备了计算控制部分和磁盘空间。其后端带两个内部接口，分别用于连接到内部交换机上；前端配备了IP网络端口，用于连接网络交换机，通过网络交换机，进一步连接到和服务器。Powerscale集群有以下特点：

集群采用+2d:1n保护级别，每个可同时承受“任意2块磁盘故障”或“1个节点”故障而保证数据的安全性。

虽然集群由多个节点组成，但每个集群对应用和而言是单一卷，单一文件系统。用户可以根据需要，划分子目录来区分。数据是横向存放的，系统将大数据划分成数据块，然后将数据块在所有节点上条带化存储。

Powerscale每个节点的每个端口都可以同时访问所有数据，是真正的集群系统，其性能是所有节点性能的总和。系统非常容易扩展，实际上，只要将新的节点连接内部交换机上，以后就无需人工操作了。

后端网络, Powerscale节点之间的互联由两台冗余的32端口内部以太网交换机组成。由于该交换机的作用是建立节点之间的系统级互连，为保持性能和低延迟，该交换机不允许级联。同时，这两个交换机是高可用作用，一个活动，而另一个热备。活动的交换机发生故障时，系统将自动热切换，用户业务不受任何影响。

前段网络，由IP网络交换机组成，交换机由客户提供，每个Powerscale节点提供25Gb以太网络接口2个。Powerscale支持聚合、双交换机等部署方式。

客户层端网络，由各个或应用服务器组成。使用NFS、CIFS、FTP、HDFS等方式访问Powerscale集群中的大数据，具体连接设计如下：

1、本方案建议客户的访问服务器使用开放的协议（CIFS或者NFS等）直接连接Powerscale存储集群的节点，无需在服务器上安装任何软件即可访问，方便应用构架的变更。

2、客户核心交换机采用双路以太网万兆光纤接入，所有Powerscale节点直接接入到双路核心交换机上（每个节点前段都配置两个万兆光纤端口，每路交换机接一个）。如果交换机允许，建议两路以太网做链路聚合。

3、所有前段访问的服务器通过SmartConnect均匀连接目前的所有节点，日后随着容量的增长，Powerscale存储节点也会相应增加，保证每个服务器链接访问的节点数一致即可。

2. 配置推荐

使用3台Powerscale F600 Nvme全闪节点和4节点A3000节点组成存储集群，2个内部通讯交换机，提供集群总容量1648TB裸容量，集群总可用容量1195TB。其中NVME闪存节点可用容量240TB，HDD节点可用容量950TB。集群整体配置如下：

Powerscale OneFS操作系统软件；

SmartConnect负载均衡软件；

SmartQuotas配额管理软件；

SmartPool数据分层软件；

Snapshot快照软件；

InsightIQ性能监控软件。

3. 方案优势

  在本方案中，上述配置和架构实现如下效果:  

海量科研数据/业务数据存储能力以及未来高扩展性

架构内所有基础设备都为横向扩展架构，未来扩容的快捷便利性

高性能：可提供高达十余万的OPS，十几GB流量；满足用户数据处理所要求的性能

业务快捷响应性: IT业务系统快速部署，变更快速响应

运维简便性，提供IT运维人员简易的图形化操作界面

数据安全性： 基础设备都提供了多层级数据安全保护

(二) 数据湖方案对客户助益

1. 真正的横向扩展架构

2. 面向多种协议多种应用

(三) 数据湖生命周期管理

简化数据生命周期管理，Powerscale数据湖具有自动存储分层和云归档功能，热数据可以分布在高性能存储介质上，冷数据可根据策略自动迁移到低成本存储介质或者迁移到云中。

在客户数据湖项目中，使用了F600全闪节点和A3000混合节点，组成冷热多层级的数据池，数据可以根据策略在不同层级自动流动。例如3个月内生成的高访问数据，落入高性能的F600节点，而随着时间推移，变得低访问量的数据自动迁移到A3000归档混闪节点，这个机制使得客户可以在相同预算内，获得更大容量的数据湖存储容量。同时数据永远都落于合适的数据湖区域内。而这全程都不需要业务端或者IT管理员去手工操作，Powerscale存储自动完成上述过程。

1. 丰富数据功能

Powerscale丰富的企业级特性，确保科研客户的数据在线、安全、不丢失。企业级特性包括：容量配额、存储快照、存储间的数据、数据分层包括和公有云之间的分层、访问审计、重复数据删除、多租户逻辑隔离、WORM防篡改和泄露、文件防病毒、不中断版本升级、文件过滤、多操作系统访问时的权限、域控集成、数据备份接口、文件加密、性能监控、文件系统监控、图形管理界面、以上特性与特性之间的兼容互动。

在这里，对数据湖起着至关重要的几项数据功能做进一步阐述：

存储负载均衡

配额管理

WORM防篡改和泄露

多租户权限管理

2. 数据安全保护

  Powerscale存储具有多级容错机制，

  可以灵活的在线设置多种数据保护策略，防止多块盘或多个节点同时损坏带来的业务中断和数据丟失，可以达到N+4的保护。 

  Powerscale 存储可以通过snapshot快照以及replication，防护文件误删除风险以及物理设备故障风险。

  Powerscale存储，还可以与同品牌备份设备，实现海量文件的备份。

  (四) 数据湖方案成本优势分析

• 存储购买成本：Powerscale 提供业界领先的高达80%的存储效率（裸容量转换为可用容量比），相比之下，其他商业厂商NAS更多使用传统RAID方式，平均只能提供67%的存储效率，大大浪费了宝贵的存储容量。因此同裸容量下，Powerscale存储可以提供业界最多的可用容量。同时，多协议访问等特性减少存储内部的文件副本数，使得您更充分的利用宝贵的磁盘空间。

  
  

• 数据管理成本：科研行业的应用种类繁多，产生的数据非常繁杂，数据的管理给IT带来重大挑战；随着时间的推移，数据的访问频度可能会逐渐降低， Powerscale 提供闪存，混合和大容量归档节点，降低总体拥有成本。采用Powerscale冷热多层级存储架构，可以大幅度减少数据管理的精力和成本。

  
  

• 存储管理成本：当我们意识到数据是宝贵的资产需要长期保存时，数据的生命周期将远远大于设备的生命周期，新一代的存储提供更高的性能、更大的容量以及更高的密度，当 IT 设备无法满足业务的需要时，设备的生命周期即结束，需要更新换代； 本套设备可以实现老旧Powerscale节点自动下线，而无需 IT 管理员迁移数据，大大降低了数据迁移的风险以及时间成本，新投入的设备可立即上线服务于业务。

  
  

• 扩容成本：从容量的角度来看，数据量可能每两年翻一番；在某些传统存储，您可能需要预先计划和购买所有存储，如果估算偏差，可能又是一个非常复杂的升级扩容过程。 通过Powerscale，您可以根据需要添加存储节点， 轻松地实现“按需增长”的模式。

  
  

• 机柜空间成本：新一代的Powerscale重新设计了硬件架构，可在1U的机箱内提供10万IOPS，1GB/s带宽以及近50TB的容量，大大节省了数据中心的机柜空间，避免了机房空间成本的增加。

  
  

• 功耗及散热成本：新一代的Powerscale硬件设计能够实现更低的功耗和散热，可进一步降低您数据中心的供电和制冷成本。

 DELLEMC服务支持能力优势分析

总结如下，采用Powerscale存储构建客户数据湖，无论在购买成本，还是后续的运维成本，以及相关联的机房/电空间都具有成本优势。

数据对于客户来说是宝贵的资产，存储的可靠性和稳定性是重中之重；Powerscale产品已经有接近20年的历史，功能最完善，产品成熟度非常高，全球超过上万个成功案例。

DellEMC中国，在上海，北京，成都都设立了研发中心，截至2021年底，研发中心拥有超过3000名研发工程师，7*24小时为客户提供了先进高效的软硬件支持保障。

所有中国Powerscale用户，DELLEMC中国将根据用户要求分别提供不同级别服务，为例如提供原厂软硬件3或5年，7＊24小时的原厂上门保修服务，7＊24小时在线电话支持等。 包括不同响应时间级别，例如：在出现故障的30分钟内响应，2小时内到现场,2小时内解决故障，除此之外保修期内对所有客户设备进行定期的巡检服务，及时提供免费的原厂产品升级补丁和bug修复服务等。

(五) DELLEMC整体优势

1.市场排名

DELL EMC作为专业的信息基础架构提供商，是全球存储市场的, 其在竞争日益激烈的世界信息产业中的头把交椅至今无人撼动。DELL EMC在全球外部存储市场占有率超过30%，远远领先于竞争对手。而本项目方案提供的横向扩展Powerscale存储在全球市场占有率排名。同时DELL EMC每年在研发上的投入在10亿美金以上并持续增长，DELL EMC的存储产品系列以平均两年一次的速度更新换代，每次换代都伴随着业界领先的理念创新和技术创新，使得DELL EMC的存储解决方案一直站在整个存储业界的最前沿，着信息基础架构技术的发展方向，同时也对客户的投资提供了的保护。

DELL EMC公司是专业的存储产品解决方案提供商，相比其他厂商，DELL EMC公司在存储这个行业做的更久，因而产品更全面/成熟，产品的互操作性更好、服务体系更完整、DELL EMC公司的产品解决方案始终是面向未来的，领导着存储技术及市场的潮流，DELL EMC公司是专业存储厂商，具有最强专业实力。

DELL EMC 作为全球存储产品市场的领先者，一直占据众多的位置。据业界权威的分析机构IDC的调查数据表明：

2.强大的本地技术团队

DELL EMC在上海设有本地售后服务中心，可以在最短时间内响应并解决相关软、硬件的问题或故障。DellEMC中国，在上海，北京，成都都设立了研发中心，上海研发中心位于五角场创智天地，与本方案用户使用机房位于同城。更近的距离可以提供高效率的故障排查，微码升级，上门支持。

3.丰富的同行业使用案例

DELL EMC公司的产品的可靠性得到业内公认，目前在银行、制造、教育、媒体等关键业务部门普遍使用DELL EMC产品解决方案就是很好的证明。

在上海药物和科研院所行业，大多数客户都采用了Dell EMC方案。

4.总体解决方案

与其它竞争友商不同，DELL EMC公司提供了具备全面跨代兼容性的综合性解决方案，DELL EMC的解决方案一直是业内具有最成熟的领先地位，这一点已经成为业内共识。

针对客户项目，DELL EMC公司不仅仅对单次项目提供设备和服务，而是愿意与用户业务共同探讨，对IT总体架构的当前和未来走向给出基于多年行业服务经验的建议，成为用户信赖的长期稳定的综合服务提供商。

在未来规划中，DellEMC可以提供数据备份软硬件，流媒体设备，数据容灾高可用架构，两地三中心方案等多种业界的主流技术方向和方案。满足客户随着业务规模扩大，逐步增加的架构需求。