信息可能丢失

    Sigmoid 老张给每个人打分，决定能不能进 二分类问题（垃圾邮件分类） 平滑过渡，输出 0-1 概率 容易梯度消失

    Softmax 老张不但决定谁进，还要分部门 多分类问题（图像识别） 适合多分类问题 计算比 ReLU 复杂

    结论：激活函数=智能筛选机制

    ? 激活函数的作用就像门卫老张，决定哪些信息能进入下一层，哪些要被拒绝。

    ? 不同的激活函数适用于不同的任务，ReLU、Sigmoid、Softmax 各有千秋。

    ? 深度学习的关键就是如何聪明地使用这些筛选机制，让神经网络学得更快、更准确！

    你更喜欢哪个“门卫策略”呢？如果你是老张，你会怎么设计你的筛选规则？