jax.nn.sparse_plus

jax.nn.sparse_plus#

jax.nn.sparse_plus(x)[源代码]#

稀疏 plus 函数。

计算函数

\[\begin{split}\mathrm{sparse\_plus}(x) = \begin{cases} 0, & x \leq -1\\ \frac{1}{4}(x+1)^2, & -1 < x < 1 \\ x, & 1 \leq x \end{cases}\end{split}\]

这是 softplus 激活函数的孪生函数，确保小于 -1 的输入的输出为零，大于 1 的输入的输出为线性输出，同时通过 -1 和 1 之间的适当定义保持平滑、凸性、单调性。