keras自定义损失函数 通用优化算法有哪些比SGD更好用，且有理论依据的？
通用优化算法有哪些比SGD更好用，且有理论依据的？
泻药。
事实上，没有一种通用的优化算法可以解决任何真正意义上的问题，也称为无免费午餐定理。
让我们讨论与SGD相同的条件（目标函数是凸的，梯度的变化率是有界的，并且没有约束），但是更快的算法（自适应Adam被视为SGD的一个简单变体，不进行讨论）。常用的方法有saga法和随机牛顿法。速度会更快，而且单个实际计算的成本也会增加，所以我们需要在实际问题中考虑权衡
如果我们想用更少的代码以尽可能快的速度建立和测试神经网络，keras是最快的，而且序列API和model的功能非常强大。而且keras的设计非常人性化。以数据输入和输出为例，与keras的简单操作相比，tensorflow编译码的构造过程非常复杂（尤其对于初学者来说，大量的记忆过程非常痛苦）。此外，keras将模块化作为设计原则之一，用户可以根据自己的需求进行组合。如果你只是想快速建立通用模型来实现你的想法，keras可以是第一选择。
但是，包装后，keras将变得非常不灵活，其速度相对较慢。如果高度包装，上述缺点将更加明显。除了一些对速度要求较低的工业应用外，由于tensorflow的速度较高，因此会选择tensorflow
如果您在验证您的想法时，想定义损失函数而不是使用现有的设置，与keras相比，tensorflow提供了更大的个性空间。此外，对神经网络的控制程度将在很大程度上决定对网络的理解和优化，而keras提供的权限很少。相反，tensorflow提供了更多的控制权，比如是否训练其中一个变量、操作梯度（以获得训练进度）等等。
尽管它们都提供了深度学习模型通常需要的功能，但如果用户仍然追求一些高阶功能选择，例如研究特殊类型的模型，则需要tensorflow。例如，如果您想加快计算速度，可以使用tensorflow的thread函数来实现与多个线程的相同会话。此外，它还提供了调试器功能，有助于推断错误和加快操作速度。
keras自定义损失函数 reshape函数的用法 keras怎样自定义损失函数
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
