keras 激活函数 Keras还是TensorFlow，程序员该如何选择深度学习框架？

Keras还是TensorFlow，程序员该如何选择深度学习框架？

如果您想用少量的代码尽快地构建和测试神经网络，keras是最快的，而且sequential API和model非常强大。而且keras的设计非常人性化。以数据输入和输出为例，与keras的简单操作相比，tensorflow编译码的构造过程非常复杂（尤其对于初学者来说，大量的记忆过程非常痛苦）。此外，keras将模块化作为设计原则之一，用户可以根据自己的需求进行组合。如果你只是想快速建立通用模型来实现你的想法，keras可以是第一选择。

但是，包装后，keras将变得非常不灵活，其速度相对较慢。如果高度包装，上述缺点将更加明显。除了一些对速度要求较低的工业应用外，由于tensorflow的速度较高，因此会选择tensorflow

如果您在验证您的想法时，想定义损失函数而不是使用现有的设置，与keras相比，tensorflow提供了更大的个性空间。此外，对神经网络的控制程度将在很大程度上决定对网络的理解和优化，而keras提供的权限很少。相反，tensorflow提供了更多的控制权，比如是否训练其中一个变量、操作梯度（以获得训练进度）等等。

尽管它们都提供了深度学习模型通常需要的功能，但如果用户仍然追求一些高阶功能选择，例如研究特殊类型的模型，则需要tensorflow。例如，如果您想加快计算速度，可以使用tensorflow的thread函数来实现与多个线程的相同会话。此外，它还提供了调试器功能，有助于推断错误和加快操作速度。

请问神经网络有多个输出的回归问题，损失函数如何定义比较合理？

在我看来，多重输出和损失函数的类型选择没有直接关系。一般来说，使用交叉熵是没有问题的，即使是最小均方误差也不会产生显著的影响。但是，最好添加一个带有范数的正则化因子（计算量较少）。然而，输出有多大是影响算法收敛性的关键因素，因为如果输出太多（例如超过一千个）需要合并，可以尝试使用分层softmax。有关代码，请参阅word2vec。我希望它能帮助你

~]。

具体来说，当前主流的神经网络模型使用梯度下降算法进行训练，或学习参数。学习速率决定权重在梯度方向上成批移动的距离。理论上，学习率越高，神经网络的学习速度越快。但是，如果学习速率过高，可能会“穿越”损失函数的最小值，导致收敛失败。

上图左边是高学习率，右边是低学习率，来源：mikkel Duif（quora）

那么，如何找到最佳学习率？

方法。但是，这种方法的初始学习率（上例中为0.1）不应该太高。如果初始学习率太高，可能会“穿越”最优值。

另外，还有另外一种思路，就是逆向操作，从学习率很低开始，每批之后再提高学习率。例如，从0.00001到0.0001，再到0.001，再到0.01，再到0.1。这个想法背后的直觉是，如果我们总是以很低的学习率学习，我们总是可以学习到最好的权重（除非整个网络架构有问题），但它将非常缓慢。因此，从一个很低的学习率开始，我们可以肯定地观察到损失函数的下降。然后逐渐加大学习率，直到学习率过高，导致发散。该方法还避免了上述方法初始学习率过高，一次“穿越”最优值的隐患。这是Leslie n.Smith在2015年的论文《训练神经网络的循环学习率》中提出的方法。

如何估算神经网络的最优学习率？

这两种方法都是常用的分类算法。从目标函数的角度看，不同之处在于logistic回归采用logistic损失，支持向量机采用铰链损失。这两个损失函数的目的是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。支持向量机的处理方法只考虑了支持向量机。

keras 激活函数 神经网络如何选择激活函数 keras怎样自定义损失函数

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。