Neural Networks on 中文AI术语词典

动作选择中的赢家通吃机制

Sat, 18 Jul 2026 11:38:14 +0000

Definition

赢家通吃 (WTA) 是一种用于神经网络和强化学习中的竞争过程，用于解决多个竞争动作或假设之间的冲突。在此方案中，激活值最高的单元获胜并执行动作，同时抑制其他竞争者。

Summary

一种决策机制，其中激活水平最高的神经元或代理抑制其他所有单元，从而选择一个单一的动作。

Key Concepts

侧向抑制
竞争性学习
动作选择
排他性选择

Use Cases

运动控制系统
分类任务
强化学习智能体

S型函数

Sat, 18 Jul 2026 11:33:18 +0000

Definition

S型函数定义为 σ(z) = 1 / (1 + e^-z)，广泛用于机器学习中对概率进行建模。它将输入值压缩到 (0, 1) 范围内，使其适用于二分类问题的输出层。

Summary

一种数学函数，将任何实数值映射到零和一之间的值，形成S形曲线。

Key Concepts

逻辑函数
概率映射
梯度消失
非线性

Use Cases

二分类输出
逻辑回归
浅层神经网络中的激活函数

Code Example

import numpy as np
def sigmoid(z):
 return 1 / (1 + np.exp(-z))

奇偶校验学习

Sat, 18 Jul 2026 11:29:29 +0000

Definition

奇偶校验学习是机器学习理论中的一个基准问题，目标是预测一组二进制输入变量的奇偶性（即异或和）。对于标准的浅层前馈神经网络来说，这个问题 notoriously difficult（以困难著称），因为它需要捕捉长距离依赖关系，从而常被用来评估神经网络的容量和优化算法的鲁棒性。

Summary

一个理论机器学习问题，专注于预测二进制输入的异或（XOR）和，用于测试模型的表达能力。

Key Concepts

异或问题
模型表达能力
二分类
长距离依赖

Use Cases

评估神经网络容量
测试优化算法的鲁棒性
研究循环神经网络的能力

神经计算

Sat, 18 Jul 2026 11:28:12 +0000

Definition

神经计算是指人工神经元执行数学运算，将输入信号转化为输出响应的过程。它涉及加权求和、激活函数以及反向传播（backpropagation）。

Summary

受生物神经元启发的神经网络中信息处理的过程。

Key Concepts

激活函数
加权求和
反向传播
分布式表示

Use Cases

图像识别系统
自然语言处理模型
预测性分析

层归一化

Sat, 18 Jul 2026 11:23:41 +0000

Definition

层归一化通过减少内部协变量偏移来稳定训练过程，尤其在循环神经网络和Transformer架构中非常有效。与依赖于批次统计信息的批归一化不同，层归一化不依赖于批次大小。

Summary

一种技术，针对每个单独样本，对神经网络层的激活值在特征维度上进行归一化处理。

Key Concepts

归一化
内部协变量偏移
Transformer模型
循环神经网络

Use Cases

训练BERT等Transformer模型
稳定RNN/LSTM的训练
小批量大小的深度学习

Code Example

import torch.nn as nn
norm_layer = nn.LayerNorm(normalized_shape=[768])

高速公路网络

Sat, 18 Jul 2026 11:20:58 +0000

Definition

高速公路网络旨在通过引入自适应门控来控制信息流，从而解决深度学习中的梯度消失问题。类似于LSTM单元，这些门允许网络决定保留多少原始输入信息以及多少经过变换的信息。这使得训练非常深的网络成为可能，而不会遇到传统的梯度消失或爆炸问题。

Summary

一种深度神经网络架构，引入门控机制以促进梯度在极深网络中的流动。

Key Concepts

门控机制
梯度消失
深度学习
信息流

Use Cases

深度神经网络
语音识别
计算机视觉

隐藏层

Sat, 18 Jul 2026 11:20:51 +0000

Definition

隐藏层由神经元组成，这些神经元接收来自前一层层的输入，应用权重和偏置，并通过激活函数将转换后的数据传递到下一层。这些层使神经网络能够…

Summary

神经网络中输入层和输出层之间的中间层，负责处理特征。

Key Concepts

神经网络
特征提取
激活函数
深度学习

Use Cases

图像识别系统
自然语言处理模型
预测性分析

Code Example

import torch.nn as nn
model = nn.Sequential(
 nn.Linear(784, 128),
 nn.ReLU(),
 nn.Linear(128, 10)
)

门控循环单元

Sat, 18 Jul 2026 11:18:04 +0000

Definition

门控循环单元（GRU）是一种专门的循环神经网络（RNN）单元，旨在捕捉序列数据中的长期依赖关系。它简化了长短期记忆（LSTM）架构。

Summary

一种使用门控机制控制信息流动的循环神经网络架构，作为LSTM的简化替代方案。

Key Concepts

循环神经网络
更新门
重置门
序列建模

Use Cases

自然语言处理
时间序列预测
语音识别

Code Example

import torch.nn as nn

# Define a simple GRU layer
gru = nn.GRU(input_size=10, hidden_size=20, num_layers=1)

# Example input: (seq_len, batch, input_size)
input_data = torch.randn(5, 3, 10)
hidden_state = None

output, hidden = gru(input_data, hidden_state)

前馈网络

Sat, 18 Jul 2026 11:17:13 +0000

Definition

前馈网络（FFN），也称为多层感知机（MLP），通过从输入层到输出层的神经元层顺序处理数据，没有反馈回路。每个神经元接收输入信号的加权总和，并通过激活函数进行处理，将结果传递给下一层。这种架构是许多深度学习模型的基础组件。

Summary

一类人工神经网络，节点间的连接不形成循环，信息沿单一方向传播。

Key Concepts

无循环
层级（输入、隐藏、输出）
激活函数
加权和

Use Cases

简单回归任务
表格数据的分类问题
构建更深层次架构的基础模块

Code Example

import torch.nn as nn

class SimpleFFN(nn.Module):
 def __init__(self, input_size, hidden_size, output_size):
 super(SimpleFFN, self).__init__()
 self.fc1 = nn.Linear(input_size, hidden_size)
 self.relu = nn.ReLU()
 self.fc2 = nn.Linear(hidden_size, output_size)

 def forward(self, x):
 x = self.fc1(x)
 x = self.relu(x)
 x = self.fc2(x)
 return x

轮次 (Epoch)

Sat, 18 Jul 2026 11:16:25 +0000

Definition

在机器学习中，一个轮次代表对整个训练数据集的一次单遍迭代。在每个轮次中，模型处理所有训练样本，通过反向传播更新其权重，并评估损失函数。增加轮次数通常可以提高模型性能，但过多轮次可能导致过拟合。因此，监控验证集上的表现对于确定最佳轮次数至关重要。

Summary

在模型训练期间，整个训练数据集通过机器学习算法的一次完整遍历。

Key Concepts

训练迭代
反向传播
收敛
超参数调优

Use Cases

配置神经网络训练循环
监控每个周期的验证损失
实施早停策略

Code Example

for epoch in range(num_epochs):
 for inputs, labels in dataloader:
 optimizer.zero_grad()
 outputs = model(inputs)
 loss = criterion(outputs, labels)
 loss.backward()
 optimizer.step()

稠密层

Sat, 18 Jul 2026 11:14:15 +0000

Definition

在神经网络中，“稠密”指的是全连接层，其中每个神经元都接收来自前一层所有神经元的输入。这与卷积层或稀疏连接中常见的稀疏连接形成对比。

Summary

一种层或张量，其中每个元素都与前一层或维度的每个元素相连。

Key Concepts

全连接
权重矩阵
激活函数
特征整合

Use Cases

多层感知机（MLP）中的最终分类层
混合模型中的特征融合
简单回归任务

Code Example

import tensorflow as tf
layer = tf.keras.layers.Dense(64, activation='relu')

持续学习

Sat, 18 Jul 2026 11:11:27 +0000

Definition

持续学习，也称为终身学习，使神经网络能够随着时间的推移获得新技能或信息，同时保留以前学到的能力。这解决了“灾难性”（遗忘）问题。

Summary

一种机器学习范式，模型从新数据中顺序学习而不会遗忘先前知识。

Key Concepts

灾难性遗忘
经验回放
正则化方法
增量学习

Use Cases

个性化助手的演进
机器人技能获取
实时欺诈检测适应

批归一化

Sat, 18 Jul 2026 11:08:27 +0000

Definition

该方法在训练期间调整并缩放激活值，使其在每个小批量中具有零均值和单位方差。它减少了内部协变量偏移，允许使用更高的学习率和更快的收敛速度。

Summary

批归一化是一种技术，通过对小批量数据上的层输入进行归一化，以稳定并加速神经网络的训练。

Key Concepts

内部协变量偏移
小批量统计量
梯度稳定
正则化效应

Use Cases

深度神经网络
卷积神经网络
训练优化

Code Example

import torch.nn as nn
layer = nn.Sequential(
 nn.Linear(10, 20),
 nn.BatchNorm1d(20),
 nn.ReLU()
)

演员-评论家算法

Sat, 18 Jul 2026 11:04:13 +0000

Definition

演员-评论家算法包含两个组件：演员负责更新策略以选择动作，评论家则通过估计价值函数来评估这些动作的质量。两者协同工作，以提高强化学习的稳定性和效率。

Summary

一种结合基于价值和基于策略方法的强化学习框架，使用两个神经网络：演员（Actor）和评论家（Critic）。

Key Concepts

策略梯度
价值函数
时序差分误差
混合强化学习

Use Cases

机械臂操作
游戏代理（如AlphaStar）
自动驾驶中的连续控制系统

神经活动中固有的思想逻辑演算

Sat, 18 Jul 2026 11:02:27 +0000

Definition

这篇基础性论文提出了神经网络的一个数学模型，证明了简单的人工神经元可以实现布尔逻辑门。通过展示这些单元的网络能够执行复杂的逻辑功能，它为计算理论奠定了基石。

Summary

这是麦卡洛克和皮茨于1943年发表的一篇开创性论文，形式化了神经元如何执行逻辑操作，为人工神经网络奠定了基础。

Key Concepts

麦卡洛克-皮茨神经元
布尔逻辑
阈值单元
联结主义

Use Cases

AI发展的历史背景
神经网络设计的理论基础
理解计算中的生物启发原理

Softmax

Sat, 18 Jul 2026 11:02:04 +0000

Definition

Softmax 广泛用于多分类任务中神经网络的输出层。它接收原始对数几率（logits）向量并对其进行归一化，使每个元素代表一个概率值。

Summary

一种数学函数，将任意实数值分数向量转换为概率分布。

Key Concepts

概率分布
对数几率 (Logits)
归一化
多分类

Use Cases

图像分类的输出层
语言模型的词元预测
多标签分类

Code Example

import torch
import torch.nn.functional as F
logits = torch.tensor([1.0, 2.0, 3.0])
probs = F.softmax(logits, dim=0)
print(probs)

ReLU

Sat, 18 Jul 2026 11:01:41 +0000

Definition

由于其计算效率高且能缓解梯度消失问题，ReLU 被广泛应用于深度学习的神经网络中。其数学定义为 f(x) = max(0, x)，它引入了非线性特性（原文截断，意为 introduces non-linearity）。

Summary

修正线性单元（ReLU）是一种激活函数，如果输入为正，则直接输出该输入；否则输出零。

Key Concepts

非线性
激活函数
梯度消失
分段线性

Use Cases

卷积神经网络中的隐藏层
深度前馈网络
图像识别模型

Code Example

import torch.nn as nn
activation = nn.ReLU()

循环神经网络

Sat, 18 Jul 2026 11:01:41 +0000

Definition

RNN 旨在识别数据序列中的模式，例如文本、基因组、手写体或语音。与前馈网络不同，它们具有内部记忆，能够捕获关于先前输入的信息（原文截断，意为 captures information about previous inputs）。

Summary

RNN 是一类人工神经网络，其中节点之间的连接沿时间序列形成有向图。

Key Concepts

序列数据
隐藏状态
时间动态
随时间反向传播

Use Cases

语言建模
时间序列预测
语音识别

解码器

Sat, 18 Jul 2026 10:59:40 +0000

Definition

在序列到序列（Seq2Seq）模型中，解码器接收由编码器生成的上下文向量，并逐步生成目标输出。它利用注意力机制来关注输入序列的相关部分，从而准确预测下一个输出元素。

Summary

负责从编码后的潜在表示生成输出序列的神经网络组件。

Key Concepts

序列生成
注意力机制
潜在空间
自回归预测

Use Cases

机器翻译（如英语到法语）
文本摘要
图像描述生成

激活函数

Sat, 18 Jul 2026 10:59:15 +0000

Definition

激活函数为神经网络引入非线性，使其能够学习数据中的复杂模式和关系。如果没有这些函数，多层网络的行为将退化为线性变换，无法处理复杂任务。

Summary

根据输入信号确定神经网络节点输出的数学方程。

Key Concepts

非线性
梯度下降
神经元激活
反向传播

Use Cases

使深度神经网络能够进行图像分类
促进自然语言处理任务
提高生成模型训练时的收敛速度

Code Example

import torch.nn as nn
relu = nn.ReLU()
output = relu(input_tensor)

线性

Sat, 18 Jul 2026 10:52:16 +0000

Definition

线性运算涉及乘法和加法，不包含非线性激活。在神经网络中，线性层（或密集层）对输入向量应用权重矩阵变换。虽然线

Summary

描述输出与输入成正比的操作或关系，构成神经层仿射变换的基础。

Key Concepts

权重矩阵
仿射变换
点积
叠加原理

Use Cases

特征投影
逻辑回归
注意力机制

Code Example

import torch.nn as nn
layer = nn.Linear(10, 5)
output = layer(input_tensor)

卷积神经网络

Sat, 18 Jul 2026 07:44:21 +0000

Definition

卷积神经网络（CNN）旨在从视觉输入中自动且自适应地学习特征的空间层次结构。它们利用卷积层应用滤波器来检测局部模式，并通过池化等操作逐步提取高层语义特征。

Summary

一类专门用于处理网格状数据（如图像）的深度神经网络，通过应用卷积滤波器来实现。

Key Concepts

卷积层
池化
特征图
空间层次

Use Cases

图像分类
视频流中的目标检测
医学影像诊断

Code Example

import tensorflow as tf
model = tf.keras.Sequential([
 tf.keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
 tf.keras.layers.MaxPooling2D((2, 2)),
 tf.keras.layers.Flatten(),
 tf.keras.layers.Dense(10)
])

深度学习

Sat, 18 Jul 2026 07:44:21 +0000

Definition

深度学习算法试图模拟人脑的分析和学习过程。通过堆叠多个互连节点的层级，这些模型能够从原始数据中学习分层特征，从而在图像识别、语音处理等任务中表现出色。

Summary

机器学习的一个子集，使用多层人工神经网络来建模数据中的复杂模式和表示。

Key Concepts

神经网络
分层特征
非线性建模
表示学习

Use Cases

语音转文本转换
推荐系统
自动驾驶感知

反向传播

Sat, 18 Jul 2026 07:44:10 +0000

Definition

反向传播（Backpropagation），即误差反向传播，是一种用于人工神经网络的方法，旨在计算损失函数关于权重的梯度。它通过将误差信号从输出层向输入层反向传播，并利用链式法则更新权重，从而优化模型性能。

Summary

一种广泛用于训练神经网络的算法，通过计算梯度来最小化误差。

Key Concepts

梯度下降
链式法则
损失函数
权重更新

Use Cases

深度神经网络训练
图像分类任务
语音识别系统

Neural Networks on 中文AI术语词典

动作选择中的赢家通吃机制

Definition

Summary

Key Concepts

Use Cases

Related Terms

S型函数

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

奇偶校验学习

Definition

Summary

Key Concepts

Use Cases

Related Terms

神经计算

Definition

Summary

Key Concepts

Use Cases

Related Terms

层归一化

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

高速公路网络

Definition

Summary

Key Concepts

Use Cases

Related Terms

隐藏层

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

门控循环单元

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

前馈网络

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

轮次 (Epoch)

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

稠密层

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms

持续学习

Definition

Summary

Key Concepts

Use Cases

Related Terms