LM Studio让你的Mac秒变AI神器!

news/2024/11/5 23:55:10/文章来源:https://www.cnblogs.com/JavaEdge/p/18529100

0 前言

M芯片Mac想跑大模型,强烈推荐LM Studio。因为它支持专门为M系列芯片优化过的模型文件,运行速度快了不止亿点点!intel mac 不支持哦!

本地运行大模型的工具中,LM Studio和Ollama是最受欢迎的两款。最近LM Studio新增了对MLX的支持。

1 MLX是啥?

苹果公司开源的一个机器学习框架,专门为M系列芯片做了优化,如采用了统一内存模型、对应统一内存架构。所以,使用这个框架就可以非常高效地部署和运行模型。

MLX去年12月才开源,还很新,但是在社区支持下发展很快,主流模型都有对应的版本。在最新版本的LM Studio中也特意做了标注和筛选,方便苹果用户下载。

2 下载和使用LM Studio

打开软件,左边栏是它的主要功能页面,包括聊天模式、服务器模式、查看已有模型等等:

进入发现页面,就可以搜索和下载模型了:

LM Studio把MLX版的模型专门标注,列表里很容易找到。它默认是推荐Staff Pick也就是官方推荐的模型,如果你想要更多,那就选择Hugging Face(Search All)。

模型文件下载好:

指定一个:

就在聊天模式里加载它:

3 苹果AI落后?

苹果硬件积累远超那些PC厂商,看到最近发布的 M4 系列芯片你也就懂了。在内存带宽上,M4 Pro也比上一代大增75%,支持高达64GB的高速统一内存和273GB/s的内存带宽,直接达到任意AI PC芯片的两倍。

桌面端有MLX框架,发挥统一内存架构最大优势:

  • CPU和GPU可以直接访问共享内存中的数据,不需要进行数据传输
  • 小规模操作用CPU搞定。遇到计算密集型的需求再上GPU

到时明年我去香港买个港版,M4 urtra Mac Studio到手后我就开始测评!

4 总结

如今在 AI 软件领域,各家都在扩张自己的势力范围。如LM Studio,以前只是偏后端软件,帮你在本地跑大模型。现在,它把聊天模式往前提,添加RAG功能。主动从后端走向前端的打法会逐渐成为各家的共同选择。AI应用大混战时代来了。

关注我,紧跟本系列专栏文章,咱们下篇再续!

作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。

各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。

负责:

  • 中央/分销预订系统性能优化
  • 活动&券等营销中台建设
  • 交易平台及数据中台等架构和开发设计
  • 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
  • LLM Agent应用开发
  • 区块链应用开发
  • 大数据开发挖掘经验
  • 推荐系统项目

目前主攻市级软件项目设计、构建服务全社会的应用系统。

参考:

  • 编程严选网

本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/827413.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Mybatis Plus MySql json类型操作

在数据库表定义json字段; 在实体类加上@TableName(autoResultMap = true) 在JSON字段映射的属性加上@TableField(typeHandler = JacksonTypeHandler.class);本文来自博客园,作者:VipSoft 转载请注明原文链接:https://www.cnblogs.com/vipsoft/p/18529092

高级程序语言设计第六次作业

作业属于哪个课程:https://edu.cnblogs.com/campus/fzu/2024C/ 作业要求在哪里: https://edu.cnblogs.com/campus/fzu/2024C/homework/13303 学号:102400115 姓名:洪育豪 第一题 问题:指针自增忘记加()第二题 问题:无第三题 问题:无第四题 问题:scanf里的%d后面多了个空…

Clion使用注释快捷键总是在行首而不是最靠近代码缩进

本文来自博客园,作者:海_纳百川,转载请注明原文链接:https://www.cnblogs.com/chentiao/p/18529078,如有侵权联系删除

MQC

1.背景 随着网络中QoS业务的不断丰富,在网络规划时若要实现对不同流量(如不同业务或不同用户)的差分服务,会使部署比较复杂。MQC的出现,使用户能对网络中的流量进行精细化处理,用户可以更加便捷的针对自己的需求对网络中的流量提供不同的服务,完善了网络的服务能力。 2.…

SpringBoot项目使用AOP及自定义注解保存操作日志

SpringBoot项目使用AOP及自定义注解保存操作日志@目录概述:特色使用方式注意点代码第一步:pom引入AOP第二步:创建自定义注解、Bean实体、枚举、常量类第三步:Controller层方法使用自定义注解标识第四步:新建一个日志操作类LogAopAction,专门用来处理操作保存日志第五步:…

基于Java+SpringBoot心理测评心理测试系统功能实现二

三、部分系统功能试卷信息实体类Entity、试卷答题信息实体类Entity、留言信息实体类Entity、公告信息实体类Entity、心理测试信息实体类Entity一、前言介绍: 1.1 项目摘要 心理测评和心理测试系统在当代社会中扮演着越来越重要的角色。随着心理健康问题日益受到重视,心理测评…

关于 IntelliJ IDEA 2024 安装激活教程(亲测有效~)

第一步速度慢的点击这里进行下载 第二步点击xx 关掉程序! 第三步 点击获取补丁文件 打开标注的文件注意: 以后这个文件夹不要动 点击 进入 /scripts点击【确定】按钮后,过程大概 5- 30 秒,如看到弹框提示 Done 时,表示成功完成,之后打开idea 输入 6G5NXCPJZB-eyJsaWNlbnN…

基于Java+SpringBoot心理测评心理测试系统功能实现一

三、部分系统功能关于我们信息实体类Entity、前台用户信息实体类Entity、封面图信息实体类Entity、咨询师信息实体类Entity、咨询师预约记录信息实体类Entity一、前言介绍: 1.1 项目摘要 心理测评和心理测试系统在当代社会中扮演着越来越重要的角色。随着心理健康问题日益受到…

高级语言程序设计课程第六次作业

这个作业属于哪个课程:https://edu.cnblogs.com/campus/fzu/2024C 这个作业要求在哪里:https://edu.cnblogs.com/campus/fzu/2024C/home 姓名:刘嘉奕 学号:102400204逻辑性强,难以理解,在使用指针时容易用错,&,的使用混杂关系难以找准,刚开始编写时无法打印最后一个…

灰色关联分析(系统分析)

笔记大纲 参阅:https://www.mubu.com/doc/2hVFyCub_lV 思维导图

别名与用户管理体系

别名与用户管理体系 1. 概述别名,给命令进行设置一般用于给命令设置一个昵称/爱称.ll ls -l color=auto应用场景:给常用命令设置个快捷方式,使用简单方便给危险命令加上的防护措施.1.1 如何创建别名--给rm设置别名只要运行rm就提示 rm is dangerous,pls use mv. 需求只有运行…