Pretraining on 中文AI术语词典https://terms-en.ai-term-hub.com/zh/tags/pretraining/Recent content in Pretraining on 中文AI术语词典Hugozh-cnSat, 18 Jul 2026 11:44:45 +0000预测学习https://terms-en.ai-term-hub.com/zh/terms/predictive_learning/Sat, 18 Jul 2026 11:30:18 +0000https://terms-en.ai-term-hub.com/zh/terms/predictive_learning/<h2 id="definition">Definition</h2> <p>预测学习涉及训练神经网络，使其能够从观测到的输入中推断未观测到的数据点，而无需显式的人工标签。通过解决诸如语言中的下一个词元预测或图像中的掩码建模等任务，模型能够学习到强大的数据表示。</p> <h3 id="summary">Summary</h3> <p>一种自监督方法，模型通过预测输入数据的缺失部分来学习表示。</p> <h2 id="key-concepts">Key Concepts</h2> <ul> <li>自监督</li> <li>掩码建模</li> <li>表示学习</li> <li>无标签数据</li> </ul> <h2 id="use-cases">Use Cases</h2> <ul> <li>预训练大型语言模型</li> <li>图像修复任务</li> <li>时间序列异常检测</li> </ul> <h2 id="related-terms">Related Terms</h2> <ul> <li><a href="https://terms-en.ai-term-hub.com/en/terms/self_supervised_learning-%E8%87%AA%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/">self_supervised_learning (自监督学习)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/masked_language_modeling-%E6%8E%A9%E7%A0%81%E8%AF%AD%E8%A8%80%E5%BB%BA%E6%A8%A1/">masked_language_modeling (掩码语言建模)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/contrastive_learning-%E5%AF%B9%E6%AF%94%E5%AD%A6%E4%B9%A0/">contrastive_learning (对比学习)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/autoencoder-%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8/">autoencoder (自编码器)</a></li> </ul>掩码填充https://terms-en.ai-term-hub.com/zh/terms/fill_mask/Sat, 18 Jul 2026 11:17:25 +0000https://terms-en.ai-term-hub.com/zh/terms/fill_mask/<h2 id="definition">Definition</h2> <p>掩码填充是 BERT 等基于 Transformer 模型中使用的一种基本预训练目标。该过程涉及掩盖文本序列中的随机标记，并训练模型预测被掩盖的原始标记，从而学习语言的深层语义表示。</p> <h3 id="summary">Summary</h3> <p>一种自然语言处理任务，模型根据上下文预测句子中缺失的标记。</p> <h2 id="key-concepts">Key Concepts</h2> <ul> <li>掩码语言建模</li> <li>上下文理解</li> <li>自监督学习</li> <li>标记预测</li> </ul> <h2 id="use-cases">Use Cases</h2> <ul> <li>文本补全</li> <li>语义角色标注</li> <li>预训练基础</li> </ul> <h2 id="related-terms">Related Terms</h2> <ul> <li><a href="https://terms-en.ai-term-hub.com/en/terms/bert-%E5%8F%8C%E5%90%91%E7%BC%96%E7%A0%81%E5%99%A8%E8%A1%A8%E7%A4%BA/">BERT (双向编码器表示)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/masked-language-model-%E6%8E%A9%E7%A0%81%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/">Masked Language Model (掩码语言模型)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/transformer-%E8%BD%AC%E6%8D%A2%E5%99%A8%E6%9E%B6%E6%9E%84/">Transformer (转换器架构)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/tokenization-%E5%88%86%E8%AF%8D/">Tokenization (分词)</a></li> </ul>数据集：Tiiuae/Falcon Refinedwebhttps://terms-en.ai-term-hub.com/zh/terms/datasettiiuaefalcon_refinedweb/Sat, 18 Jul 2026 11:13:26 +0000https://terms-en.ai-term-hub.com/zh/terms/datasettiiuaefalcon_refinedweb/<h2 id="definition">Definition</h2> <p>RefinedWeb 是一个经过过滤的网页大规模数据集，专为预训练基础模型而设计。它处理数十亿个网页，以去除低质量内容、重复项和有害材料。</p> <h3 id="summary">Summary</h3> <p>由技术创新研究所（TII）策划的大规模高质量网页数据集，用于预训练像 Falcon 这样的大型语言模型。</p> <h2 id="key-concepts">Key Concepts</h2> <ul> <li>数据过滤</li> <li>预训练语料库</li> <li>网页抓取</li> <li>质量控制</li> </ul> <h2 id="use-cases">Use Cases</h2> <ul> <li>预训练大型语言模型</li> <li>比较数据质量对模型性能的影响</li> <li>构建高效的训练管道</li> </ul> <h2 id="related-terms">Related Terms</h2> <ul> <li><a href="https://terms-en.ai-term-hub.com/en/terms/common-crawl-%E9%80%9A%E7%94%A8%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB%E6%95%B0%E6%8D%AE/">Common Crawl (通用网络爬虫数据)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/the-pile-%E6%B7%B7%E5%90%88%E9%A2%84%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE%E9%9B%86/">The Pile (混合预训练数据集)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/falcon-llm-falcon%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/">Falcon LLM (Falcon大型语言模型)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/data-cleaning-%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97/">Data Cleaning (数据清洗)</a></li> </ul>