safetensors

- Header: 文件的元数据(大小、版本)
- Meta data: 列表,每个元素表示文件里存的张量的类型、形状、偏移量
- Tensor data: 列表元素对应的张量数据
gguf

gguf不依赖外部的配置文件,它可以把配置文件、词表、tokenizer、template等存入gguf中(如果一个模型有多个gguf文件组成,只有第一个会包含这些信息)
文件格式转换
safetenors转gguf 可以使用 llama.cpp提供的convert_hf_to_gguf.py脚本。
gguf转safetensors 目前没有较好的方法。
参考文献
- https://huggingface.co/docs/safetensors/index
- https://huggingface.co/docs/hub/en/gguf#finding-gguf-files