Softmax Vs Softmax loss

Softmax-loss layer:输出 loss 值

$L=-\sum_{j} y_{j} \log p_{j}$

layer { 
    name: "loss" 
    type: "SoftmaxWithLoss" 
    bottom: "ip1" 
    bottom: "label" 
    top: "loss" 
} 

Softmax layer: 输出似然值

$p_{j}=\frac{e_{j}^{o}}{\sum_{k} e^{o_{k}}}$

layers { 
    bottom: "cls3_fc" 
    top: "prob" 
    name: "prob" 
    type: “Softmax" 
}

 上一篇
CNN中的注意力机制 CNN中的注意力机制
通道注意力机制SENetSENet(Squeeze-and-Excitation Networks,SENet)是ImageNet2017分类比赛的冠军模型,主要思想为对H×W×C的feature map进行处理,得到一个1×1×C的权重,
2020-05-14
下一篇 
Distilling Knowledge from Refinement in MLDN Distilling Knowledge from Refinement in MLDN
摘要基于MIL的弱监督目标检测方法通常从一组候选区域中选择得分最高的实例,然后再根据IoU取其相近区域。在本篇文章中,作者提出了一种自适应监督聚合函数(adaptive supervision aggregation function),可
2020-05-12
  目录