GTE-Small - Gegeral Text Embeddings - Small

模型详细情况和参数

GTE-Small

模型全称
Gegeral Text Embeddings - Small
模型简称
GTE-Small
模型类型
embedding模型
发布日期
2023-08-07
预训练文件大小
66.8MB
是否支持中文(中文优化)
最高支持的上下文长度
512
模型参数数量(亿)
0.3
代码是否开源
MIT License
预训练结果是否开源
MIT License
预训练结果商用授权情况
免费商用授权
模型GitHub链接
暂无
发布论文名(官方博客名)
Towards General Text Embeddings with Multi-stage Contrastive Learning
论文地址(官方博客地址)
https://arxiv.org/abs/2308.03281
基础模型
无基础模型
发布机构

Gegeral Text Embeddings - Small 简介

GTE全称Gegeral Text Embeddings,是阿里巴巴提出的一种文本嵌入大模型。该模型开源版本包含3:分别是3.3亿参数的Large版本、1.1亿参数的Base版本和0.3亿参数的small版本。


GTE模型支持的输入序列长度维512,输出的embedding维度是1024,对于超过序列长度的输入将会截断。GTE模型完全开源,开源协议是MIT,可以商用。不过仅支持英文。


模型参数量预训练数据量预训练方式微调数据量微调方式
GTE小型约3000万约80亿个文本对无监督对比学习约300万个文本三元组多任务监督对比微调
GTE基准约1.1亿约80亿个文本对无监督对比学习约300万个文本三元组多任务监督对比微调
GTE大型约3.3亿约80亿个文本对无监督对比学习约300万个文本三元组多任务监督对比微调


欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送

GTE-Small所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

GTE-Small相关的任务
文本嵌入

文本嵌入

Embedding

35个资源