为什么使用交叉熵 能否尽量通俗地解释什么叫做“熵”？
能否尽量通俗地解释什么叫做“熵”？
简而言之，熵是事物接近混沌的程度。无序的事物越多，它们就越混乱，熵也就越大。世界上的一切事物都有一个从高阶到低阶的自然趋势，这就是熵增加的趋势。好像每个人都很懒。想象一下，当没有人清理时，环境就会开始变得一团糟。这就是熵。
通常情况下，瓶子更容易打碎玻璃渣，从玻璃渣中回收到整个瓶子需要消耗能量。周边环境更容易变得凌乱和恶劣，而要恢复一个干净有序的环境，我们需要做工作来实现，必须有能源消耗。世界上的一切事物，甚至宇宙，都无法逃脱熵的诅咒，并逐渐变得混乱，最终达到温度的平衡。整个宇宙都处于一种寒冷而孤独的死亡状态。
但对于生命，薛定谔早就提出，它是建立在负熵的基础上的，即生物体可以通过吃、喝、呼吸和外界物质交换来维持生命的秩序，这相当于从周围环境中获得秩序。从出生到死亡，熵增加到最大。
为什么交叉熵cross-entropy可以用于计算代价？
“熵”什么意思？它的变化有什么意义？
熵是一种进口产品，在英语中是一个浓缩词，其中en=能量，TR=trans，superse/more and more，Op=开放，y[后缀]表示特征。
所以熵的字面意思是能量越来越开放。一般来说，熵是浓度扩散的特征。
事实上，古代道家早已认识到熵增原理。它的“无限”就是“熵到”。
无极，顾名思义，是生命力的无极性分布（即最无序）。
熵增原理：在封闭系统中，高密度状态总是需要辐射能量或自我分解，发散到附近空间，最终形成热平衡。
例如，将油墨滴入一杯清水中，由于浓度扩散效应，油墨分子会渗透并稀释到所有水分子中，形成最分散、最均匀、最无序的分布状态。
1000公里大气中的气体分子可以在大约50000公里的高真空下进入地球辐射带。由于浓度扩散效应或熵增能，气体分子会自发分解成等离子体或子原子，如自由电子和自由质子，其分布最为混乱，振荡最为无序。
光要常红，水要常低，水要常蒸发，热要常膨胀，忧郁症要发泄，抢富能扶贫，冷热要平。这是熵增加的自然现象。
物理学的新视野旨在对物理/逻辑/双语问题进行建设性的新思维和共同讨论。
为什么信息熵要定义成-Σp*log(p)？
你好。信息熵有公理化的定义。根据信息论的描述，可以得出如下结论：
基于这些基本假设，可以证明信息熵的表达式必须是主体给出的形式。大多数教科书都证明了这一点。受试者应该能够证明这一点。随后，小编将验证香农熵公式是否满足这三个要求。
我们来谈谈第三个。这实际上类似于概率论中的全概率公式的含义。我们计算一个事件可以分两步完成的概率，即考虑每个子事件的概率权重和。把这个移植到信息量的计算中，得到第三个。
下面的小系列验证香农熵是否满足上述三个假设。
由于信息熵的表达式中只有对数函数和线性函数的乘积，连续性是不可避免的。[有一个约定0log0=0。】
单调性：考虑pi=1/N，则香农熵退化为h=logn，且对数的底一般是大于1的正实数，所以h一定是N的单调增函数
现在考虑第三个。在不失一般性的前提下，让我们考虑三种可能的结果。概率依次为P1、P2和P3。现在将事件过程分为两步，第一步分为两个结果，概率为P1，（P2 P3）-第一个结果对应前面的第一个结果，第二个结果分为两个结果对应第二步的两个结果，概率为P2/（P2 P3），P3/（P2 P3）。显然，这两个结果与下面的结果相对应。根据Shannon熵，我们可以计算一步的信息量为
H=-p1log（P1）-p2log（P2）-p3log（P3）
根据第三个条件，我们得到另一个结果
H “=-p1log（P1）-（P2 P3）log（P2 P3）-p2log（P2）-p3log（P3）p2log（P2 P3）=H。这表明Shannon熵满足第三个条件。
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
