Hugging Face发布最新的深度学习模型评估库Evaluate！
2,519 阅读
就在儿童节前一天，Hugging Face发布了一个最新的深度学习模型评估库Evaluate。对于机器学习模型而言，评估是最重要的一个方面。但是Hugging Face认为当前模型评估方面非常分散且没有很好的文档。导致评估十分困难。因此，Hugging Face发布了这样一个Python的库，用以简化大家评估的步骤与时间。
可以看一下这个代码示例，非常简单：
目前，Evaluate主要包括如下三个功能特点：
- 实现了几十个六性的评估metrics：从NLP到计算机视觉，甚至包括datasets的衡量标准。只需要载入相关的评估指标，就可以直接对任意模型结果进行评估，包括Numpy、Pandas、PyTorch、TensorFlow、JAX等。
- 包含了比较与度量：大家经常会对比不同模型之间的结果，而这个工具也在这个方面也非常好用，不需要你自己额外的管理和编写代码去比较。
- 与Hugging Face官方集成很容易，只需要一行代码就可以把比较结果推送到Hugging Face展示给大家。
Hugging Face的开发者表示，这个库最主要的目标是解决模型评估的可重复性与易用性等问题。因此，Evaluate库的可重复性、易用性、多样性、多模态等都很不错。目前支持的评估指标很多：
不过，需要注意的是，模型结果的评估只是评估的一个部分，对于模型输入的数据集的衡量也是评估的重要部分。因为不同的模型对于不同的数据有不同的表现，因此，对于数据集和不同模型结果的产出的比较也是非常重要的。因此，evaluate不仅仅是一个评估库，也是不同模型结果的分析与对比库。例如，如下例子就是对数据的重复性和多个模型结果对比的评估示例：
安装很简单，直接python的pip install就行。
pip install evaluate
conda也可以哦：
conda install -c huggingface -c conda-forge evaluate
