S型函数

Sat, 18 Jul 2026 11:33:18 +0000

Definition

S型函数定义为 σ(z) = 1 / (1 + e^-z)，广泛用于机器学习中对概率进行建模。它将输入值压缩到 (0, 1) 范围内，使其适用于二分类问题的输出层。

一种数学函数，将任何实数值映射到零和一之间的值，形成S形曲线。

import numpy as np
def sigmoid(z):
 return 1 / (1 + np.exp(-z))

Sat, 18 Jul 2026 11:01:41 +0000

由于其计算效率高且能缓解梯度消失问题，ReLU 被广泛应用于深度学习的神经网络中。其数学定义为 f(x) = max(0, x)，它引入了非线性特性（原文截断，意为 introduces non-linearity）。

修正线性单元（ReLU）是一种激活函数，如果输入为正，则直接输出该输入；否则输出零。

import torch.nn as nn
activation = nn.ReLU()