Hugging Face发布最新的深度学习模型评估库Evaluate！

就在儿童节前一天，Hugging Face发布了一个最新的深度学习模型评估库Evaluate。对于机器学习模型而言，评估是最重要的一个方面。但是Hugging Face认为当前模型评估方面非常分散且没有很好的文档。导致评估十分困难。因此，Hugging Face发布了这样一个Python的库，用以简化大家评估的步骤与时间。

可以看一下这个代码示例，非常简单：
<center>
![](https://www.datalearner.com/resources/blog_images/b4bc465f-e831-4183-8992-50e796637c2e.png)
</center>
<center></center>

目前，Evaluate主要包括如下三个功能特点：
1. 实现了几十个六性的评估metrics：从NLP到计算机视觉，甚至包括datasets的衡量标准。只需要载入相关的评估指标，就可以直接对任意模型结果进行评估，包括Numpy、Pandas、PyTorch、TensorFlow、JAX等。
2. 包含了比较与度量：大家经常会对比不同模型之间的结果，而这个工具也在这个方面也非常好用，不需要你自己额外的管理和编写代码去比较。
3. 与Hugging Face官方集成很容易，只需要一行代码就可以把比较结果推送到Hugging Face展示给大家。

Hugging Face的开发者表示，这个库最主要的目标是解决模型评估的可重复性与易用性等问题。因此，Evaluate库的可重复性、易用性、多样性、多模态等都很不错。目前支持的评估指标很多：

<center>
![](https://www.datalearner.com/resources/blog_images/4d9706f1-57cb-454f-a56e-035ac565c200.png)
</center>
<center></center>

不过，需要注意的是，模型结果的评估只是评估的一个部分，对于模型输入的数据集的衡量也是评估的重要部分。因为不同的模型对于不同的数据有不同的表现，因此，对于数据集和不同模型结果的产出的比较也是非常重要的。因此，evaluate不仅仅是一个评估库，也是不同模型结果的分析与对比库。例如，如下例子就是对数据的重复性和多个模型结果对比的评估示例：

<center>
![](https://www.datalearner.com/resources/blog_images/d749dfea-50ac-4b7e-9b7f-88fa550e7157.jpeg)
</center>
<center></center>

安装很简单，直接python的pip install就行。

`pip install evaluate`

conda也可以哦：

`conda install -c huggingface -c conda-forge evaluate`

GitHub地址：https://github.com/huggingface/evaluate

Hugging Face发布最新的深度学习模型评估库Evaluate！

相关博客

最热博客