keras加载模型权重继续训练 keras已训练好模型，一段时间后又有新数据，如何在已有模型基础上继续做增量训练？

keras已训练好模型，一段时间后又有新数据，如何在已有模型基础上继续做增量训练？

我也是一个菜鸟，可以用来交流。。。

在我看来，如果网络不需要调整（例如不添加新的类别），只需使用一个小的学习率来微调网络的所有数据。

如果网络结构发生变化（如增加新的类别），在前期（如conv层）固定网络参数，后期（如FC层）直接学习参数。然后放开冻结，微调大局。

如何估算神经网络的最优学习率？

。

具体来说，当前主流的神经网络模型使用梯度下降算法进行训练，或学习参数。学习速率决定权重在梯度方向上成批移动的距离。理论上，学习率越高，神经网络的学习速度越快。但是，如果学习速率过高，可能会“穿越”损失函数的最小值，导致收敛失败。

上图左边是高学习率，右边是低学习率，来源：mikkel Duif（quora）

那么，如何找到最佳学习率？

方法。但是，这种方法的初始学习率（上例中为0.1）不应该太高。如果初始学习率太高，可能会“穿越”最优值。

另外，还有另外一种思路，就是逆向操作，从学习率很低开始，每批之后再提高学习率。例如，从0.00001到0.0001，再到0.001，再到0.01，再到0.1。这个想法背后的直觉是，如果我们总是以很低的学习率学习，我们总是可以学习到最好的权重（除非整个网络架构有问题），但它将非常缓慢。因此，从一个很低的学习率开始，我们可以肯定地观察到损失函数的下降。然后逐渐加大学习率，直到学习率过高，导致发散。该方法还避免了上述方法初始学习率过高，一次“穿越”最优值的隐患。这是Leslie n.Smith在2015年的论文《训练神经网络的循环学习率》中提出的方法。

keras训练好的网络，怎么在c 程序中调用？

我尝试使用其他培训数据来调用Java。一些建议。首先，如果训练模型很小，可以先得到训练参数，然后用C语言调用，当然，矩阵的计算需要自己准备。

我以前是这样的，但它有很大的局限性。最大的问题是这种方法的前提，当模型不复杂时。这样，公共应用服务器仍然可以承受计算负载。

但是，如果模型复杂，则不建议这样做。机器无法运行，针对性的浮点优化也无法在短时间内解决。此时仍建议使用培训机通过web服务完成Python的远程调用，实现业务应用。

Keras还是TensorFlow，程序员该如何选择深度学习框架？

如果您想用少量代码尽快构建和测试神经网络，keras是最快的，而且顺序API和模型非常强大。而且keras的设计非常人性化。以数据输入和输出为例，与keras的简单操作相比，tensorflow编译码的构造过程非常复杂（尤其对于初学者来说，大量的记忆过程非常痛苦）。此外，keras将模块化作为设计原则之一，用户可以根据自己的需求进行组合。如果你只是想快速建立通用模型来实现你的想法，keras可以是第一选择。

但是，包装后，keras将变得非常不灵活，其速度相对较慢。如果高度包装，上述缺点将更加明显。除了一些对速度要求较低的工业应用外，由于tensorflow的速度较高，因此会选择tensorflow

如果您在验证您的想法时，想定义损失函数而不是使用现有的设置，与keras相比，tensorflow提供了更大的个性空间。此外，对神经网络的控制程度将在很大程度上决定对网络的理解和优化，而keras提供的权限很少。相反，tensorflow提供了更多的控制权，比如是否训练其中一个变量、操作梯度（以获得训练进度）等等。

尽管它们都提供了深度学习模型通常需要的功能，但如果用户仍然追求一些高阶功能选择，例如研究特殊类型的模型，则需要tensorflow。例如，如果您想加快计算速度，可以使用tensorflow的thread函数来实现与多个线程的相同会话。此外，它还提供了调试器功能，有助于推断错误和加快操作速度。

keras加载模型权重继续训练 keras继续训练 keras初次训练的模型再训练

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。