Zhinao-ChineseModernBert-Embedding

项目简介

Zhinao-ChineseModernBert系列是针对高推理速度要求、严苛内存限制的工业级场景，从头预训练的中文Base级基座模型与语义嵌入模型。本系列基于ModernBert高效架构与Qwen2Tokenizer分词器，依托超大规模中英文语料完成全流程预训练，在保持Base级参数量（除Embedding外约100M参数）轻量化优势的同时，实现了对同量级模型的全面超越，甚至性能优于更大参数量的主流模型，为中文NLP理解任务、语义检索、向量数据库、RAG检索增强等场景提供高性价比的开箱即用解决方案。

本项目包含两个核心模型：

• Zhinao-ChineseModernBert：通用中文理解基座，基于两阶段掩码语言建模(MLM)预训练，支持最长1536序列长度，适配各类中文NLU下游任务。
• Zhinao-ChineseModernBert-Embedding：专业中文语义嵌入模型，在基座的基础上做两阶段Embedding训练，支持最长512序列长度，专为语义检索、向量表征、相似度计算等场景深度优化。

核心亮点

1. 高效架构+先进分词体系，兼顾速度与泛化性

• 采用ModernBert高效Transformer架构从头预训练，针对高吞吐推理、长文本处理场景做了深度优化，相比传统Bert架构实现显著的推理速度提升，内存占用更友好。
• 适配Qwen2Tokenizer大词表分词器，大幅降低中文及中英夹杂文本的OOV（未登录词）率，分词精度更高，对网络用语、专业术语、中英混合场景的适配性更强。

2. 超大规模语料预训练，覆盖全场景中文语义

基于1T Tokens高质量中英文语料完成预训练，以中文语料为核心（占比超65%），辅以英文语料，全面通用互联网、科技、金融、医疗、法律、教育、代码等多领域场景，模型语义理解能力与跨域泛化性远超同量级模型。

3. 同量级领先性能，极致性价比

• Zhinao-ChineseModernBert综合性能超越RoBERTa-wwm-large等大参数量模型。
• Zhinao-ChineseModernBert-Embedding为CMTEB基准榜单Base级参数量最优模型，综合性能超越Qwen3-Embedding-0.6B等主流大参数量嵌入模型，在检索、聚类、相似度计算等核心任务上表现突出。

模型详情

Model Description

• Model Type: Sentence Transformer
• Base model: qihoo360/Zhinao-ChineseModernBert-Embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Language: zh
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

训练方案

一、Zhinao-ChineseModernBert 通用基座预训练

1. MLM预训练 (1T Tokens) 本模型基于ModernBert架构，采用Masked Language Modeling （MLM）作为预训练目标，从头完成全流程预训练，无任何第三方基座权重依赖。
   • 预训练语料：1T Tokens高质量中英文语料，覆盖通用新闻、百科、书籍、对话、代码、法律、专业文献等多个领域，经过严格的数据清洗、去重、质量过滤，保障预训练语料的多样性与纯净度。
   • 序列长度：预训练阶段以8192长度做数据切片，适配长文本理解场景，解决传统Bert类模型长文本建模能力不足的痛点。
   • 训练优化：采用分布式预训练框架，结合动态WWM掩码策略、混合精度训练、梯度累积等优化手段，保障预训练的稳定性与收敛效果。
2. RetroMAE 预训练
   • 预训练语料：在一阶段语料的基础上，增加下游业务常用的中短长度的文本语料。
   • 序列长度：以自然段落切分语料，最大序列长度为1536。
   • 采用RetroMAE自监督预训练目标，针对句子级语义表征做专项优化，通过双向掩码重建与自编码学习，强化模型对句子整体语义的建模能力，解决传统MLM预训练对句级表征适配性不足的问题。

二、Zhinao-ChineseModernBert-Embedding 语义嵌入模型两阶段训练

本模型在Zhinao-ChineseModernBert通用基座的基础上，针对语义表征场景完成两阶段Embedding训练，实现从通用语义理解到精准向量表征的能力跃迁：

1. 检索预训练 基于数亿级中英文检索和翻译语料做对比学习预训练，构建正负样本对的语义区分能力，深度适配下游检索、相似度计算等核心场景，大幅提升模型的跨域泛化性。
2. MTEB中英文全任务微调 基于CMTEB与MTEB全维度任务相关数据集，完成多任务有监督微调，对齐检索、聚类、分类、STS、重排序等核心任务的优化目标，进一步提升模型在真实业务场景中的落地效果，达到多场景即开即用的目的。

性能评测

1. CLUE 中文语言理解基准测评

Zhinao-ChineseModernBert在CLUE基准榜单上，实现了以Base级参数量（除Embedding外约100M参数）综合性能超越RoBERTa-wwm-large等大参数量模型，为资源有限的业务场景提供更多可选项。

2. CMTEB 中文海量文本嵌入基准测评

Zhinao-ChineseModernBert-Embedding在CMTEB基准榜单上，登顶Base级参数量（除Embedding外约100M参数）模型最优排名，综合性能超越Qwen3-Embedding-0.6B等主流大参数量嵌入模型。

注：测评代码与详细测评指标可查看eval_mteb.py与CMTEB leaderboard，模型综合性能实现同量级领先，超越600M参数量的Qwen3-Embedding-0.6B模型。

快速开始

环境依赖

推荐使用Python 3.10+，核心依赖如下：

pip install torch>=2.6.0 transformers>=4.56.2 sentence-transformers>=5.1.2

模型下载

我们已将模型权重开源至主流模型平台，可通过以下地址获取：

使用示例

1. Zhinao-ChineseModernBert 通用基座使用示例

基