数据学习
登录
注册
原创博客
期刊会议
学术世界
期刊出版社
领域期刊
SCI/SCIE/SSCI/EI简介
期刊列表
会议列表
所有期刊分区
学术期刊信息检索
JCR期刊分区查询
CiteScore期刊分区查询
中科院期刊分区查询
领域期刊分区
管理 - UTD24期刊列表
管理 - AJG(ABS)期刊星级查询
管理 - FMS推荐期刊列表
计算机 - CCF推荐期刊会议列表
高校期刊分区
南大核心(CSSCI)
合工大小核心
合工大大核心
AI资源仓库
AI领域与任务
AI研究机构
AI学术期刊
AI论文快讯
AI预训练模型
AI数据集
AI开源工具
数据推荐
网址导航
我的网址导航
程序员必备网站
Hugging Face发布最新的深度学习模型评估库Evaluate!
标签:
#huggingface#
#模型评价#
#深度学习#
时间:2022/06/01 11:14:40
作者:小木
就在儿童节前一天,Hugging Face发布了一个最新的深度学习模型评估库Evaluate。对于机器学习模型而言,评估是最重要的一个方面。但是Hugging Face认为当前模型评估方面非常分散且没有很好的文档。导致评估十分困难。因此,Hugging Face发布了这样一个Python的库,用以简化大家评估的步骤与时间。 可以看一下这个代码示例,非常简单:

目前,Evaluate主要包括如下三个功能特点: 1. 实现了几十个六性的评估metrics:从NLP到计算机视觉,甚至包括datasets的衡量标准。只需要载入相关的评估指标,就可以直接对任意模型结果进行评估,包括Numpy、Pandas、PyTorch、TensorFlow、JAX等。 2. 包含了比较与度量:大家经常会对比不同模型之间的结果,而这个工具也在这个方面也非常好用,不需要你自己额外的管理和编写代码去比较。 3. 与Hugging Face官方集成很容易,只需要一行代码就可以把比较结果推送到Hugging Face展示给大家。 Hugging Face的开发者表示,这个库最主要的目标是解决模型评估的可重复性与易用性等问题。因此,Evaluate库的可重复性、易用性、多样性、多模态等都很不错。目前支持的评估指标很多:

不过,需要注意的是,模型结果的评估只是评估的一个部分,对于模型输入的数据集的衡量也是评估的重要部分。因为不同的模型对于不同的数据有不同的表现,因此,对于数据集和不同模型结果的产出的比较也是非常重要的。因此,evaluate不仅仅是一个评估库,也是不同模型结果的分析与对比库。例如,如下例子就是对数据的重复性和多个模型结果对比的评估示例:

安装很简单,直接python的pip install就行。 `pip install evaluate` conda也可以哦: `conda install -c huggingface -c conda-forge evaluate` GitHub地址:https://github.com/huggingface/evaluate
相关博客
最热博客