**使用多个GPU卡训练同一个深度学习任务就是分布式计算**
Russian like
https://www.sohu.com/a/340384890_120053730
Horovod 是 什 么 ？
Horovod是基于Ring-AllReduce方法的深度分布式学习插件，以支持多种流行架构包括TensorFlow、Keras、PyTorch
这样平台开发者只需要为Horovod进行配置，而不是对每个架构有不同的配置方法。
[装好之后需要有tk代码训练来指定GPU 名称来运行]
原文：https://www.cnblogs.com/sxgaofeng/p/13231412.html