1. CNN中常用的激活函数有哪些？
A. ReLU 和 Sigmoid B. Tanh 和 LeakyReLU C. ReLU 和 Softmax D. Sigmoid 和 LeakyReLU
2. ReLU激活函数的主要优点是什么？
A. Introduce non-linearity to the network B. Allow for backpropagation during training C. Reduce overfitting in networks D. All of the above
3. Sigmoid激活函数的主要优点是什么？
A. Range: [0, 1] B. Derivative is easy to compute C. Introduce non-linearity to the network D. All of the above
4. Tanh激活函数与ReLU激活函数相比，主要区别是什么？
A. Range: [-1, 1] B. Derivative is harder to compute C. Introduce non-linearity to the network D. All of the above
5. ReLU激活函数和LeakyReLU激活函数有什么区别？
A. Range: LeakyReLU 为 (0, 1) 之间，而ReLU 为 (0, +∞) B. Derivative: LeakyReLU 较难计算，而ReLU 容易计算 C. 它们都引入了非线性性 D. A和B
6. 在CNN中，我们通常使用哪种激活函数？
A. ReLU B. Sigmoid C. Tanh D. LeakyReLU
7. 使用ReLU激活函数的CNN与使用Tanh激活函数的CNN有什么不同？
A. 输出范围不同 B. 训练时的梯度计算不同 C. 网络的结构不同 D. A和B
8. 使用Sigmoid激活函数的主要优点是什么？
A. Range: [0, 1] B. Derivative is easy to compute C. Introduce non-linearity to the network D. All of the above
9. 在CNN中，我们为什么会使用LeakyReLU激活函数而不是ReLU激活函数？
A. LeakyReLU可以缓解梯度消失问题 B. LeakyReLU具有更好的可训练性 C. ReLU在训练时会导致梯度爆炸 D. A和B
10. 在CNN中，如何选择合适的激活函数？
A. 根据网络结构选择 B. 根据任务需求选择 C. 随机选择一个 D. All of the above
11. ReLU激活函数的优点是什么？
A. 可以引入非线性性 B. 允许在训练过程中反向传播 C. 可以减少过拟合 D. D
12. ReLU激活函数的缺点是什么？
A. 可能会导致梯度消失或爆炸 B. 对于某些输入，输出会变为负数 C. 与其他激活函数相比，参数较少 D. A和B
13. Sigmoid激活函数的优点是什么？
A. 输出范围在(0,1)之间 B. 在处理二分类问题时表现良好 C. 导数易于计算 D. A和B
14. Sigmoid激活函数的缺点是什么？
A. 可能无法处理复杂数学问题 B. 输出范围受限 C. 难以进行反向传播 D. D
15. Tanh激活函数与ReLU激活函数相比，主要区别是什么？
A. 输出范围 B. 导数 C. 引入非线性性 D. A和B
16. Tanh激活函数的优点是什么？
A. 输出范围在(-1,1)之间 B. 在处理高维空间问题时表现良好 C. 导数易于计算 D. A和B
17. Tanh激活函数的缺点是什么？
A. 可能无法处理二分类问题 B. 输出范围受限 C. 难以进行反向传播 D. D
18. LeakyReLU激活函数与ReLU激活函数相比，主要区别是什么？
A.Range: LeakyReLU 为 (0, 1) 之间，而ReLU 为 (0, +∞) B. 导数 C. 引入非线性性 D. A和B
19. LeakyReLU激活函数的优点是什么？
A. 可以避免梯度消失或爆炸的问题 B. 能够处理ReLU的输出 range problem C. 导数易于计算 D. A和B
20. LeakyReLU激活函数的缺点是什么？
A. 可能会增加计算复杂性 B. 在处理复杂数学问题时的输出范围有限 C. 与其他激活函数相比，参数较少 D. D二、问答题
1. ReLU激活函数是什么？
2. Sigmoid激活函数的作用是什么？
3. Tanh激活函数与ReLU激活函数有什么区别？
4. Softmax激活函数的作用是什么？
5. LeakyReLU激活函数与ReLU激活函数的区别在哪里？
6. 你认为哪种激活函数最适合深度学习模型？
参考答案
选择题：
1. B 2. D 3. D 4. A 5. D 6. A 7. D 8. D 9. D 10. B
11. D 12. D 13. D 14. D 15. A 16. D 17. D 18. D 19. D 20. D
问答题：
1. ReLU激活函数是什么？
ReLU激活函数是一种常用的激活函数，它的全称是Rectified Linear Unit，主要作用是引入非线性因素，使神经网络可以更好地拟合复杂的数据模式。
思路
：ReLU激活函数通过将输入值大于0的部分映射到0，而小于0的部分保持不变，从而引入非线性。
2. Sigmoid激活函数的作用是什么？
Sigmoid激活函数用于将任何实数转换为概率值，其值的范围在0到1之间。通常用于二分类问题。
思路
：Sigmoid激活函数通过对输入值进行指数运算，然后取结果的反向对数，得到概率值。
3. Tanh激活函数与ReLU激活函数有什么区别？
Tanh激活函数也是一种常用的激活函数，与ReLU激活函数的主要区别在于其输出值的范围不同。ReLU输出值范围在[0,1]，而Tanh输出值范围在[-1,1]。
思路
：Tanh激活函数通过对输入值进行平方根运算，然后将其与1和-1相加，从而得到输出值。
4. Softmax激活函数的作用是什么？
Softmax激活函数主要用于将多个神经元的输出值转换为概率分布，其值之和为1。通常用于多分类问题。
思路
：Softmax激活函数通过对所有神经元的输出值进行指数运算，然后求和，最后将每个元素除以总和，得到概率分布。
5. LeakyReLU激活函数与ReLU激活函数的区别在哪里？
LeakyReLU激活函数是ReLU激活函数的一种改进，它在输出值为0时，仍然会引入一定的非线性。
思路
：LeakyReLU激活函数在输入值小于0时，不进行任何操作；在输入值等于0时，引入一个小的正值，使得网络的输出值略微增加。
6. 你认为哪种激活函数最适合深度学习模型？
没有绝对的答案，因为不同的激活函数在不同的问题上可能有不同的表现。通常我们会根据具体问题的特点来选择合适的激活函数。
思路
：我们需要考虑问题的复杂度、数据分布以及模型的训练目标等因素，来选择最适合的激活函数。
