如何评价RoBERTa? - 知乎
roberta 是bert 的一个完善版，相对于模型架构之类的都没有改变，改变的只是三个方面： 预训练数据： BERT采用了BOOKCORPUS 和英文维基百科， 总共16GB。 而 RoBERTa采用 …
“追星”Transformer（七）：RoBERTa——“鲁棒版BERT”
RoBERTa认为BERT的符号化粒度还是过大，无法克服很多稀有词汇容易产生“OOV”的问题。 为了解决上述问题，RoBERTa借鉴了GPT-2.0的做法，使用力度更小的 字节级BPE （byte-level …
[读论文] RoBERTa: 健壮优化的 BERT 预训练方法 - 知乎
论文题目：RoBERTa: A Robustly Optimized BERT Pretraining Approach 作者单位： 华盛顿大学 保罗·艾伦计算机科学与 工程学院，FaceBook AI 这篇文章是 BERT 系列模型和 XLNet 模型的 …
2025年还有哪些模型可以用来文本分类？ - 知乎
2025年还有哪些模型可以用来文本分类？ 曾经的Bert,roberta现在还是最佳选择吗？ 显示全部 关注者 8 被浏览
大模型面试：八股文+题目整理 - 知乎
NLP、算法、大模型、Python编程在 Transformer 出现之前，序列建模主要依赖循环神经网络（RNN）及其改进版本 LSTM 和 GRU，它们通过递归结构逐步处理序列，适用于语言建模、 …
AI解码师 的想法: BGE-M3：新一代嵌入模型的 ... - 知乎
💡 BGE-M3：新一代嵌入模型的全能战士，适配多语言、多场景的检索任务 | 📌 1、BGE-M3 是什么？BGE-M3 是由北京智源人工智能研究院（BAAI）于 2024 年发布的一款文本嵌入模型。它基 …
BERT and RoBERTa 知识点整理有哪些？ - 知乎
Sep 15, 2021 · RoBERTa：每次给模型看这句话的时候，才 临时、随机地 选择一些词进行 Mask。 这意味着模型每次看到的同一句话，要填的“空”都可能不一样。 更大规模 更多的训练 …
阿里开源 Qwen3 新模型 Embedding，该模型的框架设计有哪些优 …
Jun 6, 2025 · 首先，这个系列的模型是以 Qwen3 做 backbone 的，比起 BGE 系列的 XLM-RoBERTa，算是彻底切换到了 LLM。 既然用大模型，就要有 prompt，也就带上了“指令跟随 …
请问 HuggingFace 的 roberta 的 pooler_output 是怎么来 ... - 知乎
Jun 23, 2021 · roberta由于没有NSP任务也就是句子对分类任务，因此应该他们训练的时候是没有这部分权重的。 我查看了roberta官方权重，发现进行MLM训练时候是没有pooler output部分 …
LLM 教程 12 —— ELECTRA：高效学习编码器的新途径
相比之下，BERT和RoBERTa采用随机遮盖策略生成输入序列中的遮盖词元，这意味着遮盖词元可能并不合理或现实，降低了预训练任务对编码器的难度和相关性。 这些优势使得ELECTRA成 …