DataLearner logoDataLearnerAI
Latest AI Insights
Model Evaluations
Model Directory
Model Comparison
Resource Center
Tool Directory

加载中...

DataLearner logoDataLearner AI

A knowledge platform focused on LLM benchmarking, datasets, and practical instruction with continuously updated capability maps.

产品

  • Leaderboards
  • 模型对比
  • Datasets

资源

  • Tutorials
  • Editorial
  • Tool directory

关于

  • 关于我们
  • 隐私政策
  • 数据收集方法
  • 联系我们

© 2026 DataLearner AI. DataLearner curates industry data and case studies so researchers, enterprises, and developers can rely on trustworthy intelligence.

隐私政策服务条款
  1. Home/
  2. Blog/
  3. Tag: tokenizer
Tag

Articles tagged "tokenizer"

A curated list of original AI and LLM articles related to "tokenizer", updated regularly.

Tags:#tokenizer
OpenAI开源GPT-2的子词标记化神器——tiktoken，一个超级快的（Byte Pair Encoder，BPE）字节对编码Python库

OpenAI开源GPT-2的子词标记化神器——tiktoken，一个超级快的（Byte Pair Encoder，BPE）字节对编码Python库

OpenAI在其官方GitHub上公开了一个最新的开源Python库：tiktoken，这个库主要是用力做字节对编码的。相比较HuggingFace的tokenizer，其速度提升了好几倍。

2022/12/16 21:11:164,493
#OpenAI#tokenizer

Topic Collections

RAG (Retrieval-Augmented Generation)Long Context (Large Language Models)AI Agent Practices

Hot Blogs

  • 1Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）
  • 2回归模型中的交互项简介（Interactions in Regression）
  • 3贝塔分布（Beta Distribution）简介及其应用
  • 4矩母函数简介（Moment-generating function）
  • 5普通最小二乘法（Ordinary Least Squares，OLS）的详细推导过程
  • 6使用R语言进行K-means聚类并分析结果
  • 7深度学习技巧之Early Stopping（早停法）
  • 8手把手教你本地部署清华大学的ChatGLM-6B模型——Windows+6GB显卡本地部署

Today's Picks

  • R语言操作数据库
  • MetaAI官宣开源编程大模型CodeLLaMA！基于LLaMA2微调！超越OpenAI的Codex，最高支持10万tokens输入！
  • Java多线程网络爬虫(时光网为例)
  • AIME 2026：基于2026年美国数学邀请赛的大模型数学能力评估基准
  • Llama3相比较前两代的模型（Llama1和Llama2）有哪些升级？几张图简单总结Llama3的训练成本、训练时间、模型架构升级等情况
  • 2022年欧洲增长速度最快的公司（上）
  • MistralAI正式官宣开源全球最大的混合专家大模型Mixtral 8x22B，官方模型上架HuggingFace，包含指令微调后的版本！
  • 多元时间序列数据的预测和建模