重磅！GPT-3.5可以微调了！OpenAI发布GPT-3.5 Turbo微调接口
2,299 阅读
此前，OpenAI的CEO说今年等算力不那么紧张的时候就可以让大家微调OpenAI的GPT模型，现在这个功能已经发布了！OpenAI发布了GPT-3.5 Turbo的微调接口，允许大家用自己的数据微调GPT-3.5模型！
加载中...
加载中...
从今天开始，GPT-3.5 Turbo支持模型微调，而针对GPT-4的模型微调预计将于今年秋季推出。这一更新赋予开发者在定制模型方面更大的灵活性，以更好地适应其特定应用场景，并在大规模应用中运行这些定制模型。
官方表示，初期测试结果显示，经过微调的GPT-3.5 Turbo版本在某些特定的窄领域任务上，其表现能够与甚至超越基于GPT-4的模型的能力。
此外，OpenAI强调，通过模型微调API发送和接收的数据始终由客户所有，OpenAI或其他任何组织均不会使用该数据来训练其他模型。
自GPT-3.5 Turbo发布以来，开发者和企业纷纷要求能够定制模型，为用户创造独特而有差异的体验。随着此次推出，开发者现在可以运行监督式微调，使得模型在特定用例中的表现更为出色。
OpenAI给出了使用GPT-3.5微调的几个案例（但是看起来并没有那么有吸引力）：
改进的可操控性：微调使得企业能够更好地让模型遵循指令，例如让输出更为简洁，或始终以特定语言回应。例如，开发者可以通过微调确保模型在被要求使用德语进行回应时始终以德语回应。
可靠的输出格式：微调提升了模型始终如一地格式化回应的能力，这对于需要特定响应格式的应用非常重要，比如代码补全或构建API调用。开发者可以通过微调更可靠地将用户提示转化为高质量的JSON片段，以便与其自身系统一起使用。
定制语调：微调是调整模型输出的主观感觉（如语调）的绝佳方式，使其更符合企业品牌的声音。具有可辨识品牌声音的企业可以通过微调使模型在语调上更加一致。
除了提高性能外，微调还使得企业能够在缩短提示的同时确保相似的性能。通过GPT-3.5-Turbo进行微调，最多可以处理4k个tokens，这是OpenAI先前微调模型的两倍。早期测试者通过将指令微调到模型本身中，可以将提示（prompt输入）大小减小了多达90％，从而加快了每个API调用的速度并降低了成本。
在与提示工程、信息检索和函数调用等其他技术相结合时，微调表现得尤为强大。还有一个重要的更新也即将到来，就是GPT-3.5/4支持与函数调用和gpt-3.5-turbo-16k这种支持超长上下文的模型微调将在今年秋季晚些时候推出。
看这个描述，秋天的GPT-4的微调更加令人期待啊~
官方也给出了GPT-3.5 Turbo微调的代码样例，我们也总结一下。大概就是3个步骤：准备数据、上传文件和微调GPT模型。
数据样例就是对话数据，注意，目前的微调都是有监督微调（SFT，Supervised Fine-Tuning）：
{
"messages": [
{ "role": "system", "content": "You are an assistant that occasionally misspells words" },
{ "role": "user", "content": "Tell me a story." },
{ "role": "assistant", "content": "One day a student went to schoool." }
]
}
目前通过API接口上传，这里给的是curl命令示意，本身可以通过代码完成，官方没有说明文件大小。
curl -https://api.openai.com/v1/files \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "purpose=fine-tune" \
-F "file=@path_to_your_file"
最后一步就是创建微调任务了，也十分简单：
curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"training_file": "TRAINING_FILE_ID",
"model": "gpt-3.5-turbo-0613",
}'