AI大模型探索之路-资料篇:大模型开发相关地址信息收藏

文章目录

  • 前言
  • 一、OpenAI大模型
  • 二、LangChain开发框架
  • 三、RAGA评估框架
  • 四、GLM大模型
  • 五、搜索服务
    • 1. Tavily Search API
  • 六、文本LLM大模型
  • 七、多模态LLM模型
  • 八、模型排行榜
    • 1.大模型评测体系(司南OpenCompass)
    • 2.大模型排行榜(DataLearner AI)
    • 3.CLiB中文大模型能力评测榜单
    • 4.Embeddings模型排行榜


前言

本文的核心目的在于梳理和汇编大型模型开发领域内的相关资料与资源。通过集中整理这些信息,为后续大模型语言应用开发实践提供一个便捷的知识库和参考入口。


一、OpenAI大模型

官网地址:https://platform.openai.com/docs/introduction
中文文档地址:https://www.openaidoc.com.cn/docs/introduction (没有官网更新那么及时
github源码地址:https://github.com/openai/openai-cookbook
在这里插入图片描述

二、LangChain开发框架

LangChain是一个为开发者设计的框架,用于构建由大型语言模型(LLM)驱动的端到端应用程序。
Langchain官网:https://python.langchain.com/docs/get_started/introduction
Langchain中文网:http://docs.autoinfra.cn/
LangSmith地址:https://smith.langchain.com/
github源码地址:https://github.com/langchain-ai/langchain

在这里插入图片描述

三、RAGA评估框架

官网地址:https://docs.ragas.io/en/latest/getstarted/index.html
RAGA评估框架是一种自动化评估工具,它旨在评估检索增强生成模型(Retrieval Augmented Generation Models)的质量。这种类型的模型通常包括两个主要组件:一个检索系统和一个语言模型。检索系统负责从大量文本中找出与给定问题最相关的信息,而语言模型则利用这些信息来生成答案。RAGA评估框架关注的是这两个组件的协同工作能力,以及它们共同产生的结果的质量。
在这里插入图片描述

四、GLM大模型

由清华智谱研发的一个开源的、高性能中英双语对话语言模型。

1) github仓库地址:https://github.com/THUDM/ChatGLM3
2) huggingface上的预训练模型下载地址:https://huggingface.co/THUDM/chatglm3-6b
3)嵌入模型:https://huggingface.co/BAAI/bge-large-zh-v1.5
其他常用的中文嵌入模型text2vec-base-chinese
https://huggingface.co/shibing624/text2vec-base-chinese

备注:也可在gitee上下载huggingface的模型: https://gitee.com/hf-models

五、搜索服务

1. Tavily Search API

官网地址:https://tavily.com/
Tavily Search API被设计成一个专门为AI代理服务的搜索引擎。它旨在提供一个可扩展、易于集成、并且能够满足AI代理特定需求的搜索API,使得AI代理能够更加高效地获取精确、相关的在线信息。这样的API可以帮助AI代理更好地理解和响应用户的查询,提供更加准确和个性化的结果。

在这里插入图片描述

六、文本LLM大模型

1)ChatGLM:
地址::https://github.com/THUDM/ChatGLM3
ChatGLM是中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持
2)ChatGLM3-6B
地址https://github.com/THUDM/ChatGLM-6B
ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略;更完整的功能支持: ChatGLM3-6B 采用了全新设计的 Prompt 格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景;更全面的开源序列: 除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。
3)Qwen
地址:https://github.com/QwenLM/Qwen
通义千问 是阿里云研发的通义千问大模型系列模型,包括参数规模为18亿(1.8B)、70亿(7B)、140亿(14B)和720亿(72B)。各个规模的模型包括基础模型Qwen,即Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B,以及对话模型Qwen-Chat,即Qwen-1.8B-Chat、Qwen-7B-Chat、Qwen-14B-Chat和Qwen-72B-Chat。数据集包括文本和代码等多种数据类型,覆盖通用领域和专业领域,能支持8K的上下文长度,针对插件调用相关的对齐数据做了特定优化,当前模型能有效调用插件以及升级为Agent。
4)OpenChineseLLaMA:
地址:https://github.com/OpenLMLab/OpenChineseLLaMA
OpenChineseLLaMA基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,在众多下游任务中均取得了突出的成绩。

七、多模态LLM模型

1)CogVLM
地址:https://github.com/THUDM/CogVLM
CogVLM是一个强大的开源视觉语言模型(VLM)。CogVLM-17B 拥有 100 亿视觉参数和 70 亿语言参数。 CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能。CogVLM 能够准确地描述图像,几乎不会出现幻觉。

2)Qwen-VL
地址:https://github.com/QwenLM/Qwen-VL
Qwen-VL是阿里云研发的大规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。特点包括:强大的性能:在四大类多模态任务的标准英文测评中上均取得同等通用模型大小下最好效果;多语言对话模型:天然支持英文、中文等多语言对话,端到端支持图片里中英双语的长文本识别;多图交错对话:支持多图输入和比较,指定图片问答,多图文学创作等;

八、模型排行榜

1.大模型评测体系(司南OpenCompass)

地址:https://rank.opencompass.org.cn/home
上海人工智能实验室正式发布大模型开源开放评测体系司南(OpenCompass2.0),旨在为大语言模型、多模态模型等各类模型提供一站式评测服务。
在这里插入图片描述

2.大模型排行榜(DataLearner AI)

地址:https://www.datalearner.com/ai-models/leaderboard/datalearner-llm-leaderboard
DataLearner AI 提供了最新的大模型排行榜、深入的大模型评测、丰富的大模型数据集,以及每日更新的人工智能与大模型相关的资讯
在这里插入图片描述

3.CLiB中文大模型能力评测榜单

地址:https://github.com/jeinlee1991/chinese-llm-benchmark?tab=readme-ov-file
CLiB中文大模型能力评测榜单
目前已囊括77个大模型,覆盖chatgpt、gpt4、谷歌bard、百度文心一言、阿里通义千问、讯飞星火、360智脑、商汤senseChat、微软new-bing、minimax等商用模型, 以及百川、qwen、belle、chatglm6b、tigerbot、ziya、openbuddy、Phoenix、linly、MOSS、AquilaChat、vicuna、wizardLM、书生internLM、llama2-chat等开源大模型。综合能力排行榜:综合能力得分为分类能力、信息抽取能力、阅读理解能力、数据分析能力四者得分的平均值
在这里插入图片描述

4.Embeddings模型排行榜

地址:https://huggingface.co/spaces/mteb/leaderboard
Huggingface上的mteb是一个海量Embeddings排行榜,定期会更新Huggingface开源的Embedding模型各项指标,进行一个综合的排名。
在这里插入图片描述

探索未知,分享所知;点击关注,码路同行,寻道人生!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/641404.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【ARM 裸机】C 语言 led 驱动

前面刚学习了汇编 led 驱动的编写和验证,现在开始就要进入 C 语言 led 驱动编写与验证了 ! 1、C 语言运行环境构建 1.1、设置处理器模式 使 6ULL 处于 SVC 模式下,之前已经提到了处理器的九种模式,参考:【ARM 裸机】汇编 led 驱…

虚拟机中安装的CentOS7的桌面右上角没有网络图标解决方案

问题描述 今天在打开CentOS7后,发现右上角的网络图标不见了,然后命令行访问百度也不通。然后上网查了一些解决方法。 原因分析及解决方案: 上网查了许多解决方法,其中一种成功解决了我的问题;我的是配置文件的问题。…

大模型Agent几种常见的架构设计模式

▼最近直播超级多,预约保你有收获 架构设计模式已成为程序员的重要技能。在大模型 Agent 智能体应用领域, 同样需要架构设计模式来支撑大模型应用在企业中规模的落地。 根据多年的架构设计经验,我在这里整理总结了一些针对大模型应用的设计方…

AI大模型探索之路-认知篇3:大语言模型微调基础认知

文章目录 前言一、微调技术概述二、微调的必要性三、大模型的微调方法四、微调过程中的技术细节五、微调后的模型评估与应用总结 前言 在人工智能的广阔研究领域内,大型预训练语言模型(Large Language Models, LLMs)已经成为推动技术革新的关…

如何训练一个大语言模型(LLMs)

目录 前言大语言模型 Vs机器学习模型训练过程步骤1:数据策划(Data Curation)步骤2:格式化与预处理步骤3:训练模型步骤4:模型评估 LLM Leaderboard[LLM Leaderboard 2024](https://www.vellum.ai/llm-leaderboard)[Open…

crmeb的分销推广如何用

CRMBE分销推广说明 1、CRMEB分销模式 分销模式: 指定分销、人人分销、满额分销 指定分销: 用户默认无分销权限,需要后台开通分销权限后,才可以通过推广下级获得返佣; 人人分销: 用户在商城注册后自动获得分…

javaScript中的执行栈和执行上下文

执行上下文 执行上下文,英文全称为 Execution Context,一句话概括就是“代码(全局代码、函数代码)执行前进行的准备工作”,也称之为“执行上下文环境”。 运行JavaScript代码,当代码执行进入一个环境时&a…

COZY: Stylized Weather 3

远离枯燥的现实主义,一个精美手工制作的程式化天气系统。 从一天中的不同时间到一年中的不同季节,从蓬松的云朵到狂风暴雨,从晴朗的日子到浓雾弥漫,COZY都能轻松做到! ✅ 3.0中的新功能 HDRP支持 物理上精确的月球系统 8K 星形纹理 新的豪华云风格融合了纹理,创造出高性…

Facebook的区块链应用深度分析

去中心化身份验证的意义 在当今数字化社会中,身份验证的重要性不言而喻。对于Facebook这样的大型社交媒体平台来说,确保用户的身份真实性和数据的安全性是至关重要的。传统的中心化身份验证方式存在一定的安全风险和可信性问题,而去中心化身…

5款小伙伴们私信推荐免费软件

​ 最近后台收到好多小伙伴的私信,今天继续推荐五款小工具,都是免费使用的,大家可以去试试看。 1. 数据恢复工具——EaseUS Data ​ EaseUS Data是一款高效的数据恢复软件,能够恢复因各种原因丢失的文件,如误删除、格…

Redis入门到通关之数据结构解析-ZipList

文章目录 ☃️概述☃️ZipListEntry☃️Encoding编码☃️ZipList的连锁更新问题☃️总结 欢迎来到 请回答1024 的博客 🍓🍓🍓欢迎来到 请回答1024的博客 关于博主: 我是 请回答1024,一个追求数学与计算的边界、时间与…

街子智勇传媒,盼你知错即改

今天本“人民体验官”推荐人民日报官方微博文化产品《请相信:读书是通向世界最好的路》。 图:来源“人民体验官”推广平台 “不读书,天地辽阔内心犹在井底。”这话说得入木三分! 这话让笔者立即联想到自己最近发表的戏作打油诗《…