조금 techy한 글인 것 같습니다만, multi gpu를 효과적으로 활용하기 위한 노력의 일환으로 사용될 수 있는 방법에 대한 소개 글입니다. gpu간 통신을 효과적으로 하기 위해서 NCCL을 이용해 multi gpu 트레이닝 코드를 작성하는 방법에 대한 설명입니다. nccl을 사용하지 않는 경우 이상적인 사용량의 절반도 사용하지 못하는 케이스에 적용해, gpu 8개를 거의 이상적인 성능까지 근접하게 사용해 학습 속도를 개선하였습니다.
NCCL을 이용한 Efficient한 Tensorflow MultiGPU Training 코드 작성하기
예전에 Tensorpack과 Multigpu를 활용한 빠른 트레이닝 코드 작성하기에서 언급한 것처럼, multi gpu를 이용해서 트레이닝 코드를 작성하면 당연히 효율이 좋아집니다. 이 때, input queue가 충분히 빠르게 채워져야하는 것이나 네트워크 .....
Facebook post: https://facebook.com/255834461424286_620457231628672
