Filecoin FIL
$31.12 2.08%
沉默数据的唤醒:探讨分布式存储趋势与 Filecoin 商业化路径
牛币圈
来自链闻
人工智能(AI)现在碰到了一个很大的瓶颈,那就是数据。人工智能发展的前提是要拥有庞大的数据,但是现在的数据拥有者并没有足够的动力去提供这些数据,尤其是极具价值的隐私数据。
——斯坦福大学终身教授、物理学家张首晟


张首晟,斯坦福大学终身教授、物理学家

回顾《Filecoin 存储革命与生态价值,剑指何方?(上)》Filecoin 商业落地探索系列文章,我们把 Filecoin 与传统项目 Curve、HDFS、Ceph、GlusterFS 展开横向对比,以及与区块链项目 Arweave、Crust、Burst、Bluzelle、Storj、Sia 进行纵向对比,多维度深度探索了 HDFS 和 Ceph 的商业发展路径。

这次我们带着张首晟的疑问继续探索 Filecoin 的商业落地,本文会对 Filecoin 与 GlusterFS 展开对比,然后分析各自落地方向的市场价值。


GlusterFS:原生协议的拥趸


  1. 2011 年 10 月 4 日,红帽斥资 1.36 亿美元收购 Gluster。
  2. 2014 年 4 月 30 日,红帽以 1.75 亿美元的价格收购 Ceph 企业级产品提供商 Inktank。
  3. 2018 年 10 月 28 日,IBM 以每股 190 美元收购红帽所有流通股票,总股本约为 340 亿美元。

GlusterFS 是一个开源的分布式文件系统,具有高扩展性、高可用性、高性能、可横向扩展等特点,横向扩展能够支持数 PB 存储容量以及同时处理数千客户端。GlusterFS 也并非完美,在数据存储安全方面还存在一定的不足。

GlusterFS 主攻是存储的原生协议,很多云开发服务平台都支持其应用,包括谷歌 Kubernetes 和红帽 OpenShift。GlusterFS 主要适用场景有以下三类:

  1. 媒体类:文档、图片、音频、视频
  2. 共享存储:云存储、虚拟化存储、HPC (高性能计算)
  3. 大数据:日志文件、RFID (射频识别)数据


根据以上 Ceph、HDFS 和 GlusterFS 发展路径的分析,分布式存储最终落地的方向有:云计算设施、数据分析软件和存储原生协议。除此之外,分布式存储还有哪些落地探索?我们先回顾一下分布式存储大事件。


分布式存储的趋势发展方向


分布式存储进化论。从 2010-2019 年分布式存储发展的过程,可以分为三类:分布式块存储、分布式文件存储、分布式对象存储。随着分布式存储的相对市场份额不断增长,两者将处于并存局面。其中,戴尔收购的 Compellent、惠普收购的 3Par,实现了块级虚拟化,将硬盘和 RAID 解耦;VMware Virtual SAN (现命名为 vSAN)、Nutanix 有别于以往的专用存储,将文件系统软件与服务器解耦,都体现了分布式存储征程中的不同阶段。随之而来的是,分布式存储衍生出很多新的落地场景:


1) 2024 年去中心化计算市场规模: 162.3 亿美元。去中心化计算作为一种新的计算模式,其通过整合存储、网络、数据、硬件等分布式资源为用户提供强大的计算能力,从根本上实现并行处理、分布式计算与网格计算。其在一定程度上可以弥补中心化计算的高昂成本、计算慢和数据泄露等问题,同时也促进了闲置计算资源的利用。



根据 Technavio 最新市场研究报告显示,从 2020 年(70.9 亿美金)至 2024 年(162.3 亿美金),全球去中心化计算市场预计将增长 91.4 亿美元,以 32% 的复合年增长率扩大市场规模,去中心化计算市场正在酝酿待发。

2) 2020 年 Q1 季度去中心化超融合市场规模:39 亿美元。去中心化超融合框架是基于分布式存储基础上的进一步升级,其架构通过软件实现计算、存储、网络融合,以虚拟化、去中心化来定义数据中心的技术架构。其主要解决的是业务新架构的敏捷响应、大数据处理与访问。


根据国际数据公司(IDC)全球季度融合系统跟踪报告数据显示,全球融合系统市场收入在 2020 年 Q1 同比增长 4.5%至 39 亿美元。其把超融合系统分为三类:认证参考系统和集成基础架构、集成平台以及超融合系统,其中超融合系统在 2020 年 Q1 季度中占整个融合系统市场的 50.9%,近 20 亿美元。


3) 2024 年智能化+存储存储市场规模:34.5 亿美元。智能化+存储主要有两块:存储智能化和存储赋能智能 AI。

存储智能化希望实现的是根据业务负载、运维管理等,预测未来事件,以及可以根据预测结果进行动态地调整存储资源池。存储资源调配的方式很适合分布式存储的矿池概念,因为矿池天生就适合弹性调配的调整方式,只要匹配上成熟的 AI 技术即可实现随增随减的资源配置功能。

存储赋能智能 AI就是以 AI 的准备、训练、推理和归档等阶段为基本功能,存储以配合不同 AI 场景的需求,包含性能和响应。

总之,两者融合解决了数据的存放、保护和优化,实现了低成本、高效率地存放。

全球人工智能-存储市场份额预算,来源:marketsandmarkets.com,2019-12

全球人工智能-存储市场规模预计将从 2019 年 104 亿美元增长到 2024 年 345 亿美元(复合年增长率为 27.1%)。其中,亚太地区以人工智能-存储市场保持最高复合年增长率增长。


4)私有云间对接,公私云互相渗透。私有云对接本质就是 B 端企业的信息交流,其主要是要实现存储矿池化、自动化、API 桥接,和私有云管理平台按需驱动存储资源的创建、调整、优化甚至回收。

方兴未艾的公、私云交互市场需要区块链实现脱敏变现。公、私云互相渗透本质就是 B 端企业与 C 端的交流。因为早期公有云主要是针对 C 端(或者小 B),随着云计算的深入和普及,B 端与 C 端需要信息交互。但出于隐私保护、安全性、政府合规、管理、兼容性、惯性、迁移成本等多种因素的考虑,存储市场亟需分布式存储的诞生,以保障脱敏信息的交互和信息的隐私保护。


张首晟在《区块链技术是互联网世界新的分合转折点》文章中找到了文前疑问的答案:「一旦有了区块链之后,如果创造数据能被价值化、共识化,就会形成一个大的数据市场,使得人工智能也能够更进一步」。

区块链不仅仅可以让隐私数据价值化、公式化,更可以让 AI 的发展更进一步,如 AI 操作记录的存储、数据的脱敏使用等。总的来说,区块链+存储可实现有价数据的利用,AI 是赋予整个过程更加智能。


5)原生协议赋能实体的无限潜力。分布式存储原生协议主要是为各家应用提供最根本的存储架构,便于协议层与应用层的衔接。从建房子角度看,原生协议主要是建设房子框架的工具,应用层主要是装潢房子,满足不同喜好的人群。该块市场针对的规模可能会更大,但凡是与存储有关,都可能是真需求,如医疗数据存储、金融数据存储和大文件冷存储等。


其中,全球云存储市场规模预计将从 2020 年 501 亿美元增长到 2025 年 1373 亿美元(复合年增长率为 22.3%)。云存储市场的增长随着企业数据量剧增而不断增长,为远程用户提供无处不在的数据和需求,其中其涵盖的垂直领域有电信、医疗保健与生命科学、媒体与娱乐、消费品和零售、制造业、政府与公共部门、能源与公用事业和其他(教育和旅行等)。


Filecoin 会如何联动?

根据 Coinmarketcap 数据显示,Filecoin 目前总市场价值为 8 亿美金左右。以上几个领域可以作为分布式存储的探索方向。尽管这些都处于雏形阶段,年市值都还只有几十亿美金规模,但未来潜力无限。总的来说 Filecoin 嵌合实体进去有三个方向可实践:


存储为本,技术支撑更多方向。早期 Filecoin 通过高性价比的服务来积累存储容量(Filecoin 费用 0.052 美金 /G/Y,亚马逊 S3 0.276 美金 /G/Y),只有数据积累起来之后,才能体现数据的价值。同时,协议实验室在协同开发四个全节点(IPFS 原力区负责维护的 go-filecoin、lotus 、fuhon、forest ),以提高 Filecoin 网络安全性和满足 Filecoin 生态系统的更大需求。


自由市场发展,多点并行探索。在架构稳定了之后,全球团队可基于 Filecoin 网络特性搭建应用,创新者可以根据其对市场的认识开发不同的产品,进行多领域、多维度探索。


沉默数据亟需区块链唤醒价值。张首晟认为,往往是隐私数据(即是沉默数据)其价值可能是最大的,所以他才致力于使用区块链+AI 唤醒沉默数据。目前,市场上对大多数的沉默数据都没有被使用,其价值是不可估量,一旦该数据被利用起来,对世界可能是新的一种改变。


2020年10月30日 10:49图文分享