本地运行多种大语言模型:一行代码即可完成 | 开源日报 No.167

picture

ollama/ollama

Stars: 33.5k License: MIT

picture

ollama 是一个轻量级、可扩展的本地语言模型构建和运行框架。

  • 提供简单的 API 用于创建、运行和管理模型
  • 包含丰富的预构建模型库,方便在各种应用中使用
  • 支持从 GGUF、PyTorch 或 Safetensors 导入自定义模型
  • 可以通过命令行进行多种操作,如创建、拉取、删除和复制模型等

dair-ai/ML-YouTube-Courses

Stars: 12.6k License: CC0-1.0

ML-YouTube-Courses 是一个收集整理 YouTube 上最新的机器学习/AI 课程的项目。
该项目主要功能、关键特性、核心优势包括:

  • 收集整理了一系列最新和优质的机器学习课程
  • 涵盖了各种领域,如机器学习、深度学习、自然语言处理等
  • 提供了丰富多样的教育资源,方便用户快速获取相关知识

ardanlabs/service

Stars: 3.2k License: Apache-2.0

service 是使用 Kubernetes 在 Go 中编写服务的起始工具包。
该项目旨在提供一个经过验证的起点,以减少将新项目投入生产所需的重复任务。它使用最小依赖关系,实现成熟代码,并遵循 Go 的最佳实践。该项目为工程师们逻辑地布置了一切,以尽量减少猜测,并使他们能够快速建立对项目的心智模型。

  • 提供用于构建生产级可扩展网络服务应用程序的起始点
  • 利用领域驱动、数据导向架构
  • 可在 Kubernetes 上运行
  • 使用最小依赖关系和符合惯例代码
  • 遵循 Go 最佳实践

wenda-LLM/wenda

Stars: 5.9k License: AGPL-3.0

picture

wenda 是一个 LLM 调用平台。
该项目旨在实现针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题。

其主要功能、关键特性、核心优势包括:

  • 支持多种大语言模型
  • 自动脚本功能
  • 知识库支持
  • 多用户并行使用等

hiyouga/ChatGLM-Efficient-Tuning

Stars: 3.4k License: Apache-2.0

ChatGLM Efficient Tuning 是一个基于 PEFT 的高效 ChatGLM 微调项目。该项目的主要功能是对 ChatGLM-6B 模型进行微调,使用了 PEFT (Prefix Encoding for Fine-Tuning) 方法。

以下是该开源项目的关键特性和核心优势:

  • 支持 LoRA、P-Tuning V2、Freeze 和 Full Tuning 等多种细粒度微调方法。
  • 提供丰富的数据集选择,包括 Stanford Alpaca、GPT-4 Generated Data 等等。
  • 可以在单个 GPU 或分布式环境下进行训练,并支持强化学习与人类反馈 (RLHF) 训练方式。
  • 具备评估模型质量和生成预测结果等功能。

通过这些特性和优势,ChatGLM Efficient Tuning 为用户提供了一套完整而灵活的工具来实现对 ChatGLM 模型进行高效微调。无论您是想尝试不同类型的微调方法还是需要根据自定义数据集完成任务,在这个开源项目中都能找到合适的解决方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/464677.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【维生素C语言】附录:strlen 函数详解

写在前面:本篇将专门为 strlen 函数进行讲解,总结了模拟实现 strlen 函数的三种方法,并对其进行详细的解析。手写库函数是较为常见的面试题,希望通过本篇博客能够加深大家对 strlen 的理解。 0x00 strlen函数介绍 【百度百科】str…

科普:工业物联网的八个模块,一看就明白了。

工业物联网(Industrial Internet of Things,IIoT)是将传感器、设备、网络和云计算等技术应用于工业领域的物联网应用。它由多个模块构成,这些模块协同工作,实现对工业设备和系统的监测、控制和优化。以下是工业物联网常…

【前后端的那些事】2万字详解WebRTC + 入门demo代码解析

文章目录 构建WebRTC需要的协议1. ICE2. STUN3. NAT4. TURN5.SDP WebRTC通讯过程1. 大致流程2. 详细流程3. 核心api3.1 RTCPeerConnection3.2 媒体协商3.3 重要事件 代码编写1. 什么是websocket2. 消息实体类Message3. 业务流程图4. 搭建前后端环境5. join -- handleJoin -- jo…

LLM少样本示例的上下文学习在Text-to-SQL任务中的探索

导语 本文探索了如何通过各种提示设计策略,来增强大型语言模型(LLMs)在Few-shot In-context Learning中的文本到SQL转换能力。通过使用示例SQL查询的句法结构来检索演示示例,并选择同时追求多样性和相似性的示例可以提高性能&…

Mysql-数据库压力测试

安装软件 官方软件 安装插件提供了更多的监听器选项 数据库驱动 数据库测试 配置 这里以一个简单的案例进行,进行连接池为10,20,30的梯度压测: select * from tb_order_item where id 1410932957404114945;新建一个线程组 新增一个连接池配置 新建一…

深入理解Go的垃圾回收机制

导语 如果你是一位Golang的开发者,你一定对于语言特性和详细结构有所了解。但是,你是否曾经停下来深入研究过Golang背后复杂而强大的垃圾回收(GC)机制?在这篇文章中,我们将具体深入探讨Golang垃圾回收机制…

Linux操作系统基础(七):Linux常见命令(二)

文章目录 Linux常见命令(二) 一、kill命令 二、ifconfig命令 三、clear命令 四、重启与关机命令 五、which命令 六、hostname命令 七、grep命令 八、|管道 九、useradd命令 十、userdel命令 十一、tar命令 十二、su命令 十三、ps命令 Linu…

中科大计网学习记录笔记(九):DNS

前言: 学习视频:中科大郑烇、杨坚全套《计算机网络(自顶向下方法 第7版,James F.Kurose,Keith W.Ross)》课程 该视频是B站非常著名的计网学习视频,但相信很多朋友和我一样在听完前面的部分发现信…

华为云ModelBox实战:体感小游戏应用实操

目录 一、VsCode插件注册ModelBox设备二、Windows SDK安装1.安装Git for Windows2.下载ModelBox SDK3.相关插件安装 三、体感小游戏应用开发1.技能模板使用2.AI应用示例3.体感小游戏体验 参与华为云活动【HCSD】ModelBox实战营邀请活动,呼朋唤友学AIoT,完…

视频直播系统架构的设计与实现

视频直播系统作为一种实时性强、用户互动性高的应用,其架构设计至关重要。本文将介绍如何设计和实现一个稳定、高性能的直播系统架构,以提供良好的用户体验和可靠的服务。 1. 系统架构概述 - 介绍视频直播系统的整体架构,包括客户端、服务…

Linux操作系统基础(九):Linux用户与权限

文章目录 Linux用户与权限 一、文件权限概述 二、终端命令:组管理 三、终端命令:用户管理 1、创建用户 、 设置密码 、删除用户 2、查看用户信息 3、su切换用户 4、sudo 4.1、给指定用户授予权限 4.2、使用 用户 zhangsan登录, 操作管理员命令…

腾讯云4核8G服务器多少钱一年?

腾讯云4核8G服务器S5和轻量应用服务器优惠价格表,轻量应用服务器和CVM云服务器均有活动,云服务器CVM标准型S5实例4核8G配置价格15个月1437.3元,5年6490.44元,标准型SA2服务器1444.8元一年,轻量应用服务器4核8G12M带宽一…