JuiceFS 2024:开源与商业并进,迈向 AI 原生时代

news/2025/1/8 10:51:53/文章来源:https://www.cnblogs.com/JuiceData/p/18659249

即将过去的 2024 年,是 JuiceFS 开源版本推出的第 4 年,企业版的第 8 个年头。回顾过去这一年,JuiceFS 社区版依旧保持着快速成长的势头,GitHub 星标突破 11.1K,各项使用指标增长均超过 100%,其中文件系统总数量较前一年更是增长了 8.5 倍;企业版同样持续保持高速增长,继去年实现盈亏平衡后,商业营收实现了翻倍增长,为未来的社区持续投入和产品优化提供了坚实的保障

2024年,随着 AI 技术的迅猛发展,AI 正逐渐成为企业发展的新基建,企业的基础架构正朝着 AI 原生化趋势迈进。在这一变革的推动下,JuiceFS 社区也迎来了显著的增长。

今年,AI 场景的用户占比大幅增加,且渗透到教育、制造、风电、生物医药等多个行业。在新兴 AI 行业里,除了基础模型研究的企业,如 MiniMax、智谱、阶跃星辰等,大量中小型 AI 服务软件公司也加入了社区,成为重要的用户群体。

接下来,让我们一起回顾 JuiceFS 的这一年。

01 产品迭代:企业级管理 、多云架构、大规模 AI 场景

JuiceFS 社区版

过去一年,JuiceFS 社区版发布了 9 个版本。持续保持每年一个大版本的发布节奏,v1.2 版本是自 2021 年开源以来的第三个重大版本,此版本大幅提升了 JuiceFS 在企业级权限管理方面的能力,继续提升处理大规模数据的易用性,关键功能包括支持 POSIX ACL 、平滑升级、S3 Gateway 和 JuiceFS Sync 的诸多优化。

JuiceFS CSI Driver

JuiceFS CSI 在过去一年发布了 16 个版本,专注于为 Kubernetes 环境中的用户提供更稳定、易用的操作,主要更新包括平滑升级、统一配置、kubectl 插件和缓存组 Operator。

JuiceFS 企业版

JuiceFS 企业版专为海量文件高性能计算场景设计。过去一年中,针对大规模 AI 场景的需求,企业版在多云架构、AI 生态兼容性、海量文件的性能稳定性等方面进行了深入优化。v5.1 版本新增了可写镜像集群、支持 Python SDK 、分布式缓存副本和 S3 网关账号管理等功能。在下一个版本中,我们还在挑战更多的极限场景,继续推进分布式缓存性能优化、热点分区自动均衡、高性能 FUSE 改进等。

02 AI 助推社区发展:增长与活跃并进

社区版开源的第 4 年,社区用户还在持续壮大。根据用户反馈数据显示,JuiceFS 的各项关键数据上持续呈现出快速增长趋势,2024 年的增长尤为突出:

  • JuiceFS 文件系统数量达超 3 万个,增长 8.5 倍
  • 活跃客户端数量超 10.7 万个,增长超 2 倍
  • 文件数量增至 3,000 亿个,增长 3.3 倍
  • 管理的数据量达到 700 PiB,增长 4.2 倍

从数据使用规模来看,2024年的增长速度显著加快。加速增长的同时,社区依旧保持高度活跃。 2024 年一共处理了 265个 issue,Issue 的首次回复时间中位值为 22 小时,意味着用户在提出 Issue 后,通常在 1 天内就能得到回复。

全年,我们在多个行业大会分享我们的实践,KubeCon 中国、KCD 上海、QCon、稀土大会等。此外,还举办了 11 场 Office Hours,向用户介绍新功能、解答疑问;举行了 11 场 meetup,展示了 JuiceFS 在各行业和场景中的应用,帮助新用户更有信心地将 JuiceFS 应用于生产环境中,值得一提的是今年的案例多来自于 AI 领域。

分享案例

  1. 管锡鹏,BentoML:如何使用 JuiceFS 加速大模型加载?
  2. 鲁蔚征,中国人民大学:从 HPC 到 AI,探索文件系统的发展及性能评估
  3. 王新,知乎:多云架构下大模型训练,如何保障存储稳定性?
  4. 马涛,Jerry:稳定、省钱的 ClickHouse 读写分离方案,基于 JuiceFS 的主从架构实践
  5. 王天庆,贝壳找房: 为 AI 平台打造混合多云的存储加速底座
  6. 徐国昊,中山大学:基于 JuiceFS 构建高校 AI 存储方案:高并发、系统稳定、运维简单
  7. Jon Jiang,MemVerge:小文件写入性能 5 倍于 S3FS,JuiceFS 加速生信研究
  8. Jonnas,Clobotics :计算机视觉场景多云架构、 POSIX 全兼容、低运维的统一存储
  9. 星龙,MiniMax:混合云环境中大模型训练,基础系统的挑战与实践
  10. 吴森栋,海柔创新:仿真系统存储实践:混合云架构下实现高可用与极简运维
  11. 郑亚军,摩尔线程:从 NFS 到 JuiceFS, 低成本提升 AI 训练性能
  12. 于相洋,vivo: AI 计算平台存储性能优化实践
  13. 贺龙华,好未来:多云环境下基于 JuiceFS 建设低运维模型仓库
  14. 位传海,同程旅行:从 CephFS 到 JuiceFS,构建企业级统一存储平台
  15. 丁聪,Lepton AI:基于 JuiceFS 构建多租户高性能存储平台

除了上述案例提到的场景,JuiceFS 在 AI 领域的应用已非常广泛,用户涵盖多个子领域:

  • 生成式 AI:MiniMax、智谱、阶跃星辰、面壁智能等;
  • 平台应用类:小红书、WPS、知乎、韩国国民搜索平台 NAVER、LiblibAI 等;
  • AI 基础架构:如 Lepton AI、BentoML、硅基流动、Cerebrium 等;
  • 自动驾驶:Momenta、地平线、大疆卓驭等。

在应用 AI 技术的其他行业,如金融量化基金、消费电子、生物医药等,JuiceFS 也拥有众多用户。我们深感荣幸能获得这些科技创新者的信任。

海外用户也在持续增长,GitHub 上的星标、官网访问数据均显示,今年有超过 50% 的用户来自海外。此外,JuiceFS Slack 英文频道成员数量较去年增长了 70%,今年将 JuiceFS 应用在生产环境中的用户也逐渐增多,同样大量集中在 AI 领域,如 fal.ai、LeptonAI、BentoML、Cerebrium、Baseten 、 RunComfy 等。JuiceFS 的多篇技术文章被 DZone 等海外媒体收录,并多次登上 Hacker News 首页,同时我们也首次在 The IT Press Tour 和 DataTalksClub 等海外媒体上崭露头角。

在此,我们衷心感谢大家在过去一年里一路相伴与支持,你们每一位的参与与反馈,帮助 JuiceFS 持续进步;特别感谢在各类活动和博文中分享 JuiceFS 使用心得的用户们,让 JuiceFS 被更多人看见。希望新的一年,JuiceFS 能继续让你的工作更轻松、高效。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/865795.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

智慧防洪平台:构建城市安全的数字防线

随着全球气候变化的加剧和城市化进程的加快,城市防洪问题日益凸显。智慧防洪平台作为智慧城市建设的重要组成部分,其核心目标是通过集成先进的信息技术和数据分析,实现对城市洪涝灾害的有效预防和应对。本文将深入探讨智慧防洪平台的建设内容,以期为城市安全提供强有力的数…

如何通过数据分析优化电商营销策略和客户体验

一、电商数据的收集 电商平台的数据来源多样,包括用户行为数据、交易数据、客户反馈数据、商品信息数据等。高效的数据收集不仅是数据分析的前提,也是实现精准决策的基础。 1.1 数据收集的主要来源 用户行为数据:用户在电商平台上的每一次点击、浏览、搜索、加入购物车、下单…

CDS标准视图:安排维护计划的调用 I_MAINTENANCEPLANSCHEDULE

视图名称:安排维护计划的调用 I_MAINTENANCEPLANSCHEDULE 视图类型: 视图代码:点击查看代码 @AbapCatalog.compiler.compareFilter: true @AbapCatalog.sqlViewName: IMPLASCHED @AccessControl.authorizationCheck: #CHECK @ClientHandling.algorithm: #SESSION_VARIABLE @…

Bolt.new 30秒做了一个网站,还能自动部署,难道要吊打 Cursor?

大家好,我是汤师爷~ 这篇聊聊 Bolt.new 和 Cursor 的对比。Bolt.new 是一款基于 SaaS 的 AI 编码平台。它由 LLM 驱动的智能体作为底层,并结合 WebContainers 技术,让用户可以直接在浏览器中进行编码和运行。其主要优势包括:支持前后端同时开发; 项目文件夹结构可视化; 环…

Ubuntu20.4安装Docker

一、设置 Docker 存储库 1、更新系统 apt 包索引 更新软件包索引,并且安装必要的依赖软件,来添加一个新的 HTTPS 软件源 # 更新索引 sudo apt-get update# 安装必要的依赖包,使apt能通过HTTPS使用仓库 sudo apt install apt-transport-https ca-certificates curl gnupg-age…

linux 清空catalina.out日志 不需要重启tomcat(五种方法)

今天突然发现图表展示查询条件不能用了,想着可能是日志太多一直没清理导致的,结果一查tomcat的log目录居然已经有1012G,果断删除生成的前几年的日志,发现这些都不大,保留2425年其他都删掉还有956G,仔细一看catalina.out居然有865G,上网查看有没有不关闭tomcat就清空这个…

docker compose的安装.211215

1,安装docker CentOS8 默认是会读取centos.org的mirrorlist的,所以一般来说是不需要配置镜像的。 step 1: 安装必要的一些系统工具 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 dnfstep 2: 更新 container.io 包, 否则可能会报 package docker-ce-3:1…

Failed to start docker.service Unit docker.service not found处理方式.211215

出现该问题的原因是 centos8 中的podman导致的,podman是centos8预装的类似docker的软件 不需要所以直接卸载。 解决方式: dnf remove podman然后重装Docker sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo http…

AI 与 Mermaid 使用教程之流程图 - 从入门到精通

Mermaid 流程图的基本语法,流程图由节点(几何形状)和边(箭头或线)组成。Mermaid 代码定义了如何创建节点和边,并适应不同的箭头类型、多方向箭头,以及与子图的链接。本文由 Mermaid中文文档 整理而来,并且它同时提供了一个 Mermaid在线编辑器,支持在线编辑与生成流程图…

探讨云计算如何助力电商平台提升管理效率

一、数字化技术推动电商管理发展的重要性 电商行业的竞争日益激烈,消费者对购物体验的要求不断提高。电商企业必须通过数字化手段提升效率、优化流程,并通过数据驱动的决策来提高客户满意度和运营效益。而大数据、人工智能和云计算等技术的融合应用,为电商平台提供了新的解决…

CICD Day6、基于kubernetes动态创建代理

Jenkins支持基于kubernetes动态创建代理,使代理程序能够运行在Pod中,这种方法可以根据构建任务的变化动态的增减代理,充分利用kubernetes的特性,为分布式构建提供灵活的运行环境如下图所示当项目触发构建时,Jenkins会调用kubernetes api创建一个专用的pod作为从节点,在该…

moectf2023 web wp

gas!gas!gas! 直接跑脚本 import requestssession=requests.Session() url="http://127.0.0.1:14447" steering_control=0 throttle=1 for i in range(10):datas={"driver":1,"steering_control":steering_control,"throttle":thro…