トップページ

よおこそ

備忘録的な何かということで始めてみましたが全然違うことも書いています．

サイト名は「あまほど しじゅうはっちょう」と読みます．

• 記事一覧

• 英語版（一部記事のみ）

• 自己紹介

• ホストサーバについて

ATSUKAN Project

1. High Performance ATSUKAN Computing
2. 酒冷という選択肢
3. Multi-node High Performance ATSUKAN Computing

最近投稿した記事

1. 2021-12-30 cuRANDの各アルゴリズムのスループット比較
2. 2021-09-26 CUDAのカーネル関数内mallocの挙動について
3. 2021-09-24 Fortran/OpenACCのループ内サブルーチンの可変長配列の実体について
4. 2021-09-19 CUDAの単精度浮動小数点数近似除算命令
5. 2021-08-08 Occupancyを可視化する

アクセスの多い記事

1. figureのcaption幅の調整
2. SlurmでN枚GPUの刺さったノードにNジョブ割り当てるには
3. Beamerでページ番号を消したり総ページ数から無視したり
4. Nsight Computeの簡単な使い方
5. --dkmsを指定してNVIDIAのドライバをインストールしようとしてコケた話

最新記事

cuRANDの各アルゴリズムのスループット比較

何の話か

NVIDIA謹製の疑似乱数生成ライブラリcuRANDにはカーネル関数内で呼ぶ関数群とホストから呼ぶ関数群があります。
疑似乱数生成アルゴリズムはメルセンヌ・ツイスタなどいくつかあるのですが、この記事はホストから呼ぶ関数でアルゴリズムによるスループットの違いを調べたので、簡単にちょろっとまとめます。

検証コード

enp1s0 / curand-perf - GitHub

内容としてはcurandGenerateUniformを用いて単精度の一様乱数列を生成します。
比較する疑似乱数アルゴリズムは以下のものです。

• CURAND_RNG_PSEUDO_DEFAULT
• CURAND_RNG_PSEUDO_XORWOW
• CURAND_RNG_PSEUDO_MRG32K3A
• CURAND_RNG_PSEUDO_MTGP32
• CURAND_RNG_PSEUDO_MT19937
• CURAND_RNG_PSEUDO_PHILOX4_32_10
• CURAND_RNG_QUASI_DEFAULT
• CURAND_RNG_QUASI_SOBOL32
• CURAND_RNG_QUASI_SCRAMBLED_SOBOL32

結果

横軸が生成する乱数列の長さ、縦軸が生成スループット[GB/s]です。
使用したGPUはNVIDIA A100 40GBで、デバイスメモリのバンド幅は1555[GB/s]です。
乱数アルゴリズムにこだわりがなく、ある程度の長さの乱数列を生成する場合はCURAND_RNG_PSEUDO_PHILOX4_32_10を指定しておくと良さそうです。
調べた範囲では最大80%くらいバンド幅を使っています。

CURAND_RNG_PSEUDO_DEFAULTはCURAND_RNG_PSEUDO_XORWOWと同じと (1)に書いてありますし、スループットも同じとなっています。

並列疑似乱数アルゴリズムの話やスループットに関してもっと知りたい場合は

• John K. Salmon, Mark A. Moraes, Ron O. Dror, and David E. Shaw, Parallel Random Numbers: As Easy as 1, 2, 3, SC11, 2011 [paper]

参考

1. 5.1. Host API - CUDA Toolkit Documentation