huggingface上数据集常用格式Parquet及调用-编程知识

huggingface上数据集常用格式Parquet及调用

news/2024/9/19 12:39:49/文章来源:https://www.cnblogs.com/litifeng/p/18417108

Parquet格式解释及词解

Parquet，中文通常翻译为帕奎或帕凯，是一种高效的列式存储格式。

为什么叫Parquet？

Parquet这个词源自法语，指的是一种镶木地板。这种地板是由许多小块木块拼凑而成的，每个木块代表一个数据列。这种比喻形象地说明了Parquet格式的存储方式。

Parquet的特点和优势：

列式存储： 不同于传统的行式存储，Parquet将数据按列存储。这样一来，当我们查询特定列的数据时，就只需要扫描这一个列，而不需要扫描整个文件，大大提高了查询效率，尤其在聚合操作（比如求和、平均值等）中表现出色。
压缩： Parquet支持多种压缩算法，可以有效地减少存储空间，降低I/O操作，提高数据读取速度。
嵌套结构： Parquet可以存储复杂的数据结构，比如数组、结构体等，这使得它非常适合存储多样化的数据。
自描述： Parquet文件本身包含了数据的元数据，描述了数据的schema（结构），方便读取和处理。

在机器学习领域，Parquet格式的优势尤其明显：

大规模数据集： Parquet可以高效地处理大规模数据集，这在训练深度学习模型时非常重要。
特征工程： Parquet可以方便地存储和管理各种特征，为机器学习模型提供高质量的数据。
分布式处理： Parquet与Hadoop生态系统紧密集成，可以方便地在分布式环境中进行数据处理。

总结：

Parquet是一种非常适合大规模数据存储和分析的格式。它的列式存储、压缩、嵌套结构和自描述等特性，使得它在机器学习、数据仓库等领域得到了广泛应用。

回到上文提到的Hugging Face数据集：

在Hugging Face上，许多数据集都采用Parquet格式存储。这主要是因为Parquet格式能够高效地存储和管理大规模的文本、图像等数据，方便用户进行后续的自然语言处理、计算机视觉等任务。

如何调用 Parquet 格式

在 Hugging Face 的数据集上，Parquet 格式通常用于存储大规模的图像、文本或表格数据。

如何在 Python 代码中调用 Hugging Face 上的 Parquet 数据集

1. 安装必要的库

pip install datasets

2. 导入库并加载数据集

from datasets import load_dataset# 加载数据集
dataset = load_dataset("ylecun/mnist")

3. 访问数据

# 查看数据集的结构
print(dataset)# 访问训练集
train_dataset = dataset['train']# 访问测试集
test_dataset = dataset['test']# 访问第一个样本
first_sample = train_dataset[0]
print(first_sample)

4. 使用 Parquet 文件

如果你想直接操作 Parquet 文件，可以使用 PyArrow 库：

import pyarrow.parquet as pq# 读取 Parquet 文件
table = pq.read_table("train-00000-of-00001.parquet")# 转换为 Pandas DataFrame
df = table.to_pandas()

详细解释

load_dataset 函数： 这个函数是 Hugging Face 的 datasets 库提供的，用于加载各种数据集，包括存储在 Parquet 格式中的数据集。
dataset 对象： 加载后的数据集是一个 DatasetDict 对象，包含了训练集、验证集、测试集等。
访问数据： 可以通过索引的方式访问数据集中的每个样本。每个样本通常是一个字典，包含了图像数据、标签等信息。