Matrix Capsule with EM Routing
2018-02-02 21:21:09
【Abstract】
一个 capsule 是一组神经元，其输出代表了同一个实例的不同属性。capsule network 的每层包括多个 capsule。我们一种 capsule，每个 capsule 拥有一个逻辑单元来表示一个实例是否出现，以及一个 4*4 的矩阵来学习表示实例和视角（姿态）之间的关系。一个 layer 的 capsule 投票给 该 layer 之上的许多不同的 capsules 的 pose matrix，通过用 可训练的视角不变的转换矩阵（trainable viewpoint-invariant transformation matrices）乘以 自身的 pose matrix，来学习表示部分和整体之间的关系（to represent part-whole relationships）。每一个这样子的投票都会被给予一个系数进行加权（each of these votes is weighted by an assignment coefficient）。这些系数可以 用 期望最大化算法（the Expectation-Maximization algorithm）来迭代的进行更新，such that the output of each capsule is routed to a capsule in the layer above that receives a cluster of similar votes。转换矩阵是通过 BP 算法进行更新的，through the unrolled iterations of EM between each pair of adjacent capsule layers. 在 smallNORB data 上，capsule 降低了测试误差，并且也显示了对对抗攻击（adversarial attack）的更好的抵抗能力。
【Introduction】