多GPU真的能加速吗？

一、实验

      采用keras的multi_gpu_model函数注释中的示例代码

　　经过实验发现，当batch_size=4的时候，2GPU速度为30s/epoch，4GPU速度为36s/epoch。速度反而下降了

      当batch_size=32时，2GPU速度为10s/epoch，4GPU速度为8s/epoch，速度1.25倍

      当batch_size=64时，2GPU速度为9s/epoch，4GPU速度为6s/epoch，速度1.5倍

二、结论

     多GPU模式存在通信开销，batch_size越大，GPU计算开销所占比例越大，通信开销所占比例越小，多GPU的速度提高越接近准线性

多GPU真的能加速吗？

原文：https://www.cnblogs.com/mimandehuanxue/p/9232855.html