jax.nn.gelu#
- jax.nn.gelu(x, approximate=True)[源代码]#
高斯误差线性单元激活函数。
如果
approximate=False，计算逐元素函数\[\mathrm{gelu}(x) = \frac{x}{2} \left(\mathrm{erfc} \left( \frac{-x}{\sqrt{2}} \right) \right)\]如果
approximate=True，使用 GELU 的近似公式\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{tanh} \left( \sqrt{\frac{2}{\pi}} \left(x + 0.044715 x^3 \right) \right) \right)\]有关更多信息，请参阅 Gaussian Error Linear Units (GELUs)，第 2 节。