思考,如何理解相对熵是负数?相对熵有没有可能是负数?
相对熵永远不能是负数
因为你犯错误的信息量一定比原来的信息量要大!
交叉熵做损失函数
原文:https://www.cnblogs.com/china520/p/11483668.html