https://terms-en.ai-term-hub.com/zh/tags/model-efficiency/Recent content in Model Efficiency on 中文AI术语词典Hugozh-cnSat, 18 Jul 2026 11:44:45 +0000https://terms-en.ai-term-hub.com/zh/terms/distillation/Sat, 18 Jul 2026 10:50:42 +0000https://terms-en.ai-term-hub.com/zh/terms/distillation/<h2 id="definition">Definition</h2> <p>这一过程涉及将知识从复杂的高性能“教师”神经网络转移到更简单、高效的“学生”网络中。学生不仅从硬标签中学习，还从软标签（即教师模型的输出概率分布）中学习，从而捕捉更丰富的信息。</p> <h3 id="summary">Summary</h3> <p>知识蒸馏是一种模型压缩技术，其中较小的学生模型通过学习模仿较大的教师模型的行为来工作。</p> <h2 id="key-concepts">Key Concepts</h2> <ul> <li>师生架构</li> <li>软目标</li> <li>模型压缩</li> <li>推理效率</li> </ul> <h2 id="use-cases">Use Cases</h2> <ul> <li>在移动设备上部署大型语言模型</li> <li>降低实时计算机视觉应用中的延迟</li> <li>优化边缘计算环境中的深度学习模型</li> </ul> <h2 id="related-terms">Related Terms</h2> <ul> <li><a href="https://terms-en.ai-term-hub.com/en/terms/%E9%87%8F%E5%8C%96-quantization/">量化 (Quantization)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/%E5%89%AA%E6%9E%9D-pruning/">剪枝 (Pruning)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0-transfer-learning/">迁移学习 (Transfer Learning)</a></li> <li><a href="https://terms-en.ai-term-hub.com/en/terms/%E7%A5%9E%E7%BB%8F%E6%9E%B6%E6%9E%84%E6%90%9C%E7%B4%A2-neural-architecture-search/">神经架构搜索 (Neural Architecture Search)</a></li> </ul>