分析速度について
hope366 
2021/10/29(Fri) 16:05 No.1204
私の環境ではlizzieyzy2.4.5は、分析速度に関してlizzie改良版よりも遅いです。
OpenCL版、TensorRT版のどちらで検証しても、lizzie改良版のほうが約1.5倍ほどの速度が出ます。
分析速度に影響しそうな下記のパラメータは、lizzieyzy2.4.5、lizzie改良版共に下記の数値に固定しました。
numSearchThreads = 16（デフォルト＝6）
analysisWideRootNoise = 0.04（デフォルト）
何故分析速度に違いが生じるのかが分からず、現在lizzieyzyのIssuesに投稿しているところです。
皆さんの環境ではどうでしょうか。
hope366 2021/10/29(Fri) 16:05 No.1204
Re: 分析速度について私の環境（RTX2080）でパラメーターをhope366さんと同じにしてやってみました。
Lizzie改良版で20万playouts、lizzieyzyで20万visitsとなるまでの分析時間の比較です。
openclエンジンで
Lizzie改良版は平均42秒（5000-6000visits/s）、lizzieyzyは平均4分55秒（600-900visits/s）
TensorRTエンジンで
Lizzie改良版は平均34秒（6000-8000visits/s）、lizzieyzyは平均4分13秒（680-980visits/s）
lizzieyzyの40b network(weight)をLizzie改良版と同じにしてみましたが、結果は同じでした。Lizzie改良版のplayoutsとlizzieyzyのvisitsが同じものという確証はありませんので、他に調査対象があれば教えてください。Eba
Re: 分析速度についてEbaさん、検証して頂き有難うございます。
lizzie改良版とlizzieyzyで大きな差が見受けられますが、碁盤に一つも石が無い状態で検証されたのではないでしょうか？回転、対称の関係で最初だけ大きな数値になるのだと思います。lizzieyzyではそうならないような仕様なのだと思います。
それだと正確な比較になりませんので、ある程度石を配置してから再度検証してみてください。私がIssuesに投稿した時の検証では添付画像のような配置で行いました。
GPU-Zというアプリを使ってGPUにかかる負荷をチェックしたのですが、lizzie改良版はlizzieyzyの約1.5倍の負荷がかかっていて、分析速度も同じように約1.5倍の差がありました。
上記の条件で添付画像の局面を分析したところ、
lizzie改良版・・OpenCL40bで500visits/s前後、TensorRT40bで750visits/s前後
lizzieyzy ・・・OpenCL40bで350visits/s前後、TensorRT40bで500visits/s前後
多少ブレはありますが、ほぼこの値で推移しました。
40bのweightは全てkata1-s1015.gzを使用しました。Re: 分析速度についてhope366さんの仰る通りだと思います。
空の碁盤で異様な速度が出るのはもちろん、異なる手順で同じ形になりやすいパターンでも大量の“被り”が発生して加速しやすくなる傾向があります（石塔シボリが絡む長手順の攻め合い等：アルファ碁ｖｓイ・セドル五番勝負の第五局で検証するとわかりやすいです）。Re: 分析速度について図の配置13手目の局面から分析してみました。
Lizzie改良版で20万playouts、lizzieyzyで20万visitsとなるまでの分析時間の比較（２回ずつの平均値）です。
openclエンジンで
Lizzie改良版は4分20秒、lizzieyzyは5分46秒
TensorRTエンジンで
Lizzie改良版は3分40秒、lizzieyzyは4分52秒でした。
テスト中は他のすべてのアプリを閉じています。テスト後GPU-Zでみると負荷は1.3-1.4倍でした。Re: 分析速度について再度検証頂き有難うございます。
Ebaさんのと同じ局面図を用いて、こちらは10万プレイアウトまたはvisitsになるまでの時間を計測してみました。
opclエンジンで
lizzie改良版で3分6秒、lizzieyzyで4分17秒 1.38倍
TensorRTエンジンで
lizzie改良版で1分59秒、lizzieyzyで2分48秒 1.41倍
Ebaさんの検証結果を計算してみたらどちらも約1.33倍でした。環境によって誤差はあるもののだいたい似たような数値になる感じですね。
GPUへの負荷は、クロック数で約1.5倍、消費電力も項目によってはかなりの差がありました。
lizzieyzyは高機能で素晴らしいソフトですが、せっかくのTensorRTの恩恵が半減してしまうのは残念です。改善バージョンがリリースされるかもしれませんので期待したいです。
ところで、Ebaさんは「テスト後GPU-Zで・・」と言われていますが、このアプリはリアルタイムの状況しか見れないような気がするのですが、過去の状況を確認する方法があるのでしょうか？
道草さん、情報頂き有難うございます。
アルファ碁対イセドルの第五局の石塔の局面を分析してみましたが、通常700～800visits/s程度なのが、石塔の局面だと瞬間的に5000visits/sになることもありました。分析速度を計測するときは、長手順の一本道みたいな局面は避けたほうが良いということでしょうか。「テスト後GPU-Zで・・」説明不足ですみません。
20万playoutsのテスト終了後も分析を継続したままGPU-Zを起動して測定したものです。Re: 「テスト後GPU-Zで・・」なるほどそういうことでしたか。
了解しました。有難うございます。Re: 分析速度についてhope366さん、検証ありがとうございます。
例えば実戦進行は図のABCDEF順なわけですが、これをEFABCDやABEFCDの順にする進行もけっこうな割合でAIは読んでいます。
この先で二子アテる場合も(どちらの割合も高く)図の被りが生じやすいので、visitの再利用はかなり頻繁に生じていると思われます。
厳密に再現される現象でないのが厄介ですが、「手順を変えても全く同じ局面になりやすい長手順」は避けた方がよさそうです。Re: 分析速度についてhope366さんへ
lizzieyzy2.4.5よりlizzie改良版のほうが約1.5倍ほどの速度が出ると言われましたが分析速度は
そのうち修正されると思います TotalVisits20000 FirstVisits10000というような細かい指定が
GUI上から手軽にできる他 多くの便利な機能があります そろそろlizzieyzyをメイン使用に切り
替えてもいいのでは？
TensorRT版katago
Eba 2021/10/27(Wed) 15:42 No.1193
レスが長くなってきたのでこちらに。
T.Lさんと道草さんに教えていただいたTensorRT版katagoを起動する方法を「CUDAのインストール」のページ下部に書き加えました。
https://www.h-eba.com/Lizzie/cuda.html
Eba 2021/10/27(Wed) 15:42 No.1193
Re: TensorRT版katagonumSearchThreads = 16
nnMaxBatchSize = 8
この設定でやってみたら、40bも60bもデフォルトの設定時と比較して3倍近い探索速度が出ました。
但し開発者は、nnMaxBatchSizeに関してはデフォルトの設定を推奨しています。速度が上がっても精度や強度に悪影響があるということでしょうか？
lizzieyzyについてですが、TensorRT版は2回目以降の起動時でも2分強かかります。lizzie改良版だと30秒程度です。katago_tensorRTフォルダにTensorRTのlibフォルダに含まれているファイルのうち2個しか無かったのでこれが原因かと思ったのですが違いました。
使用されているKataGoの実行ファイルの違いにより、生成されるtrtcacheのサイズが大きく異なることが原因のようです。
katago.exeを置き換えたら起動時間が大幅に短縮されました。
※TensorRTのlibフォルダに含まれる9個のファイルのうち必要なのは以下の2個のようです。
・nvinfer.dll
・nvinfer_builder_resource.dllRe: TensorRT版katagohope366さんへ
>katago.exeを置き換えたら起動時間が大幅に短縮されました。
具体的に説明をしてもらえますかRe: TensorRT版katago私の場合は、公式のkatago(katago-v1.10.0-trt8.2-cuda11.2-windows-x64)から以下の3つのファイルをlizzieyzyのkatago_tensorRTフォルダに持ってきて、config.txtのkatago20211025_trt_64.exeをkatago.exeに変更しました。
・katago.exe
・libcrypto-1_1-x64.dll
・libssl-1_1-x64.dll
公式のkatagoフォルダをそのまま持ってきてエンジンコマンドを新たに作成する方法もあると思います。Re: TensorRT版katagohope366さんへ
私はてっきりlizzieyzyに同梱されているTensorRT用の実行ファイルは
公開されたTensorRT用の実行ファイルと同一のものだと思っていました
早速チェックしてみます ありがとうございましたRe: TensorRT版katagoなるほど、lizzieyzyが使っているkatago-trt.exeは謎ですね。
katago_20211025_trt64.exeという名前から見ると発表されたばかりの最新版のようですが、サイズが違います。Re: TensorRT版katagokatago_20211025_trt64.exeはyzyrayさんが独自に作成したもので、起動時に生成されるtrtcacheのサイズが通常のkatagoと比較して非常に大きいです。これが起動に時間がかかる理由みたいです。
lizzieyzyのIssuesでいろいろ教えて頂いているところです。
https://github.com/yzyray/lizzieyzy/issues/7Re: TensorRT版katagohope366さんは行動が早いな♪
opencl版もサイズが違うので独自に開発したものでしょうね。ひょっとしたら夏頃から野狐囲碁に常駐しているkatagoはこれなのかな？Re: TensorRT版katagolizzieyzyの最新バージョンの2.4.5を試しましたが、TensorRT版の起動が前回よりもはるかに速いです。特に2回目以降は40bで3秒、60bで7秒程度で起動しました😄
lizzie改良版のkatagoフォルダにkatago_20211025_trt64.exeをもってきたら、こちらも同様の速さとなりました。Re: TensorRT版katagolizzieyzyに同梱されているの実行ファイルと公開された実行ファイルのTensorRT版及び
opencl版の実行ファイル同士をlizzieyzyの自動対局機能を使用してTotalVisits4000
FirstVisits2000で各100戦させた NWは全て40bのs1015です
結果は両方共微差だが 公開された実行ファイルが52-48で勝ち越したRe: TensorRT版katago検証おつかれさまでした。
つまり公開ファイルの方がtensorrt,opencl両方とも52%ほどの勝率ということでしょうか？
100回の母集団では52%は有意でありませんが（1000回なら有意）、２つの例ならもう少し信憑性が高まります。Re: TensorRT版katagoEbaさんへ
TensorRT版 opencl版 共に52-48で公開版の勝ち越しです
katago-v1.10.0リリース
Eba 2021/10/25(Mon) 13:03 No.1180
katago-v1.10.0がリリースされました。
https://github.com/lightvector/KataGo/releases/tag/v1.10.0
これまでのopencl版、cuda版、eigen版にTensorRT版が加わりました。
細かな改善とバグフィクスがありますが、非アスキー文字をパスに使えるようになったのが、一般のユーザーにとっては有用でしょう。
詳細はリリースページをご覧ください。
導入方法はこちらも見てください。
https://www.h-eba.com/Lizzie/soft.html#gk5
TensorRTについては、以下の２つの解説が分かりやすいです。
https://qiita.com/Hiroaki-K4/items/e8dc965c7640c67fdf02
https://www.macnica.co.jp/business/semiconductor/articles/nvidia/136485/
TensorRTのダウンロード方法は「CUDAのインストール」のページ下部に書きましたが、Windows環境でインストールするには Python環境でターミナルを開く必要があるなど一般ユーザーにとってハードルが高いです。もし簡単にインストールできる方法があったらお教えください。
https://www.h-eba.com/Lizzie/cuda.html
Eba 2021/10/25(Mon) 13:03 No.1180
Re: katago-v1.10.0リリース初めまして。
こちらのレスを見て早速試しました。
TensorRTに関しては、ダウンロード→解凍→lib中のファイルをlizzieに移す、これだけで速くなりました。
自分はPCの素人でさらに速くなる方法は知りませんが、一応情報の提供だけでもお役に立てたらと思ってます。Re: katago-v1.10.0リリースT.L さん、情報をありがとうございます。
TensorRT版をLizzie改良版を使って入れてみました。ちゃんと動きました。
私のやり方は以下です。（CUDA 11.1+、CUDNN 8.2+は先にインストールしてあります。https://www.h-eba.com/Lizzie/cuda.html参照）
１、TensorRT版のkatago.exeをLizzie改良版のkatagoフォルダにコピーしてkatago-trt.exeと名前を変更します
２、ダウンロードしたTensorRT-8.2.0.6フォルダの livフォルダにあるファイル9個を全部Lizzie改良版のkatagoフォルダにコピーします
３、Lizzie改良版のkatagoフォルダに40blockのnetworkをコピーして、40b-default_model.bin.gzと名前を変更します
４、Lizzie改良版を起動して、設定→エンジンでエンジンの空欄に<KataGo-trt (40bGPU)> katago/katago-trt gtp -config katago/default_gtp.cfg -model katago/40b-default_model.bin.gz と記入してOKで閉じます
５、Lizzie改良版のエンジン選択メニューで KataGo-trt (40bGPU)を指定します
KataGo-trt (40bGPU)をロードするのに初回は３分弱、その後も毎回40秒ほど待たされます。
なお、katago-opencl.exeを使うKataGo (40bGPU)と比較してみました。
katago-opencl 50万playoutに1分57秒、訪問数/秒は3500～5000
katago-trt 50万playoutに1分53秒、訪問数/秒は4000～5000
で、特に早くなった感じはありませんでしたが訪問数/秒の平均値は少し上がっているように思いました。
以上、あくまで私の環境でのデータと感想です。Re: katago-v1.10.0リリースPythonを弄れなくても速くなるようですね。
もっと良いチューニングの仕方が楽しみです。
それぞれ環境の違いによるでしょうか、私の場合はかなり顕著な違いがありました。
同じ時間内、b60の場合17k→22~3k、b40の場合40k→60k。
単純にv1.9からv1.10になったおかげなのか、
それともTensorRTが利いてるのかは検証しておりませんでしたが。
P.S. いつもこちらのサイトで設定の勉強や情報の収集させて頂いております。
Ebaさんを始め沢山の方々に感謝申し上げます。Re: katago-v1.10.0リリースcuda_11.5.0_496.13_win10のインストールがうまくいかず、途中で「インストールが失敗しました」となります。ローカルとネットワークどちらでやってもダメで、NVIDIAのドライバを最新のにしてもダメでした。
仕方なく、以前katagoのCUDAバージョンを動かした時と同じようにメガパックからライブラリを拝借しました。
cublas64_11.dll
cublasLt64_11.dll
cudart64_110.dll
cudnn_cnn_infer64_8.dll
cudnn_ops_infer64_8.dll
cudnn64_8.dll
メガパックのlizzieフォルダにあるこれらのファイルと、「TensorRT-8.2.0.6.Windows10.x86_64.cuda-11.4.cudnn8.2」の中にあるlibフォルダの中身をkatagoフォルダにコピーすることで無事起動しました。最初起動させる時にGTPコンソールで何かを実行している様子がないので、何かの不具合なのかと諦めそうになりました。OpenCLのチューニングみたいなのを予想していたので戸惑いました。
分析速度については以下のような感じでした。
GPU=RTX2060
40b 1.9.1-opencl 500v/s
1.10.1-opencl 500v/s
1.10.1-trt 750v/s
60b 1.9.1-opencl 250v/s
1.10.1-opencl 150v/s
1.10.1-trt 320v/s
1.10.1-trtは最初それほど速くなかったのですが、numSearchThreadsをデフォルトの6から通常使用している16へ変更することでだいぶ速くなりました。
40bで1.5倍、60bで1.3倍くらいです。60bの1.10.1-openclが1.9.1-openclよりだいぶ遅いのですが理由が分かりません。
T.Lさん、便利な方法を教えて頂き有難うございました。Re: katago-v1.10.0リリースLizzieyzy v2.4.4が早くも TensorRT版をエンジンに載せてますが、同じように livフォルダの中身を移動してありますね。
hope366さん、
私はcuda_11.5.0ではなく、11.4.2をインストールしました。
前のバージョンはこちらにあります。https://developer.nvidia.com/cuda-toolkit-archive
katagoのTensorRT版はCUDA 11.1以上、CUDNN 8.2以上となっていますので、以前のバージョンでインストールに成功するものがあればいいのですが。。。Re: katago-v1.10.0リリースLizzieyzy v2.4.4のkatago_tensorRTフォルダの中にlibのファイルを全部は
コピーしていないようで GTX1070機では動作しませんでしたが 残り全部を
コピーしたらGTX1070機でも動作しました RTX機ほど速くはならないと思い
ますが 現在 検証しています
それとLizzieyzyにCPUモードのエンジンをインストールする時 実行(.exe)
ファイルだけでなくlibssl-1_1-x64.dll及びlibcrypto-1_1-x64.dllの2つを
エンジンフォルダにコピーする必要がありますRe: katago-v1.10.0リリースEbaさん、アドバイス有難うございます。
11.4.2を試してみたのですが、11.5.0と同じようにエラーになりました。
メガパックにCUDA、cuDNN、TensorRTのそれぞれ必要なファイルが同梱されていますので、どのファイルか予め分かっていればこちらのほうが手間が少なく成功率が高そうです。Re: katago-v1.10.0リリース[作業内容]
割とクリーンなWindows10環境(GPUはRTX2060)で、CUDA11.4.2のネットワークインストールに成功。それからcuDNN8.2.4.15のライブラリをCUDAに導入。(ここまではいつもと同じ)
TensorRT-8.2.0.6のフォルダをそのまま「NVIDIA GPU Computing Toolkit」フォルダに置き、システム環境変数のPATHにTensorRT-8.2.0.6\libまでのフルパスを追加。
とりあえずこれだけの作業で、katago-v1.10.0-trt8.2-cuda11.2は動きました。
60bでの探索速度は、1.9.1のOpenCLバージョンと比べて２倍くらい出ています。
（numSearchThreads = 18、nnMaxBatchSize = 8に設定）Re: katago-v1.10.0リリースパスを通す作業はしばらくやってなくて忘れていました。道草さんの紹介された方法をやってみました。
ちゃんとkatago-v1.10.0-trt8.2-cuda11.2-windows-x64のkatagoが動きました。
道草さんと同様 v1.9openclとv1.10trtを60bネットで比較したらtrtが1.4～1.6倍速になりました。(GPU RTX2080, numSearchThreads 16)
この方法はアプリを変更するたびに TensorRTのlivフォルダをコピーする面倒はないので楽ですね。しかし、一般のWindowsユーザーには危険を伴う方法なのでお薦めできません。パソコン作業に慣れている方にはお薦めしますが、あくまで自己責任でお願いします。
Windowsで環境変数を設定する方法は検索すればたくさん出てきます。以下など参考にしてください。
https://proengineer.internous.co.jp/content/columnfeature/5205
Lizzieyzy v2.4.4リリース
Eba 2021/10/25(Mon) 22:55 No.1184
Lizzieyzy v2.4.4がリリースされました。
https://github.com/yzyray/lizzieyzy/releases/tag/2.4.4.1
非常に大きな碁盤（52以上）での棋譜を保存、野狐囲碁の棋譜を直接開く機能の追加、など幾つかの変更点があります。詳細はリリースページをご覧ください。
導入方法はこちらも見てください。
https://www.h-eba.com/Lizzie/soft.html#gk21
Eba 2021/10/25(Mon) 22:55 No.1184
Re: Lizzieyzy v2.4.4リリースLizzieyzyにはkatagoの TensorRT版がエンジンとして登録されていますので、他のエンジンを登録する方法などを掲載しました。
https://www.h-eba.com/Lizzie/soft.html#gk21
使ってみると、軽いし意外に使いやすいソフトです。
前のスレの odagaki0621さんへ
Lizzieyzyの情報ありがとうございました。katagoのCPU版は、katago-v1.10.0-eigen-windows-x64をそのままLizzieyzyのフォルダに入れれば動きました。eigenavx2も同様です。Lizzieyzy v2.4.5リリースLizzieyzy v2.4.5がリリースされました。v2.4.4のバグフィクスです。
https://github.com/yzyray/lizzieyzy/releases/tag/2.4.5
1. TensorRTエンジンで、碁盤サイズを切り替えるとポイントの選択に混乱が生じる問題を修正
2. 碁盤サイズを切り替えた際に、基板表示の更新が間に合わない問題を修正
LizGobanアップデート
Eba 2021/10/23(Sat) 22:18 No.1179
LizGoban-0.7.0-pre1がリリースされました。
https://github.com/kaorahi/lizgoban/releases/tag/v0.7.0-pre1
棋譜を読み込むと最終手まで簡易分析していたのをツールメニューからオンオフできるようになりました。
黒白の領域計算が少し正確になりました。
棋譜にルールが明示されていない場合でもコミから推察します。
その他詳細はリリースページおよび起動してヘルプ（日本語）をご覧下さい。
導入方法はこちらも参考にして下さい。
https://www.h-eba.com/Lizzie/soft.html#gk16
Eba 2021/10/23(Sat) 22:18 No.1179
Lizzieの改良版 Lizzieyzy
odagaki0621 2021/10/22(Fri) 00:07 No.1176
最近Lizzieの改良版 Lizzieyzy2.4.3とLizzieyzyに連珠アプリのKatago版を載せたKatagomoにハマってる
LizzieyzyはLizzieとkatrainと自動対局ツール「GoGuiTool」の特長を併せ持ったユニークなアプリだと思う
使用経験の無い方は一度使用することをお勧めする まだ日本語に対応していないが日頃Lizzieを使用して
いる方は直感でかなり使用できると思います
Katagomoは人類最後？の砦の連珠もついにAIに完全に屈したと思われるアプリ(特にRTX専用のCUDA版) 但し
連珠に関係ないコミ等の囲碁の設定項目が残っているが無視して下さい 二つの下の方がKatagomoのページ
https://github.com/yzyray/lizzieyzy/releases/tag/2.4.3
https://github.com/hzyhhzy/KataGo/releases
odagaki0621 2021/10/22(Fri) 00:07 No.1176
Re: Lizzieの改良版 Lizzieyzyodagaki0621さん、新情報をありがとうございます。
今年の７月に前バージョンをDLしていたのを忘れていました。使ってみてから「他AIの導入方法」で紹介したいと思います。（rarファイルの解凍が一般の人には慣れないかも）
開発者名に "ray"が入っているのでRAYのzakkiさんかと思ったら中国の方のようですね。説明やメニューの一部が中国語ですが、基本的な使い方に限れば使えそうです。Lizzieyzy囲碁検討ソフト「 Lizzieyzy」を他AIの導入方法に載せました。
https://www.h-eba.com/Lizzie/soft.html#gk21
本家LizzieのPull requestsにあった Lizzieの改良パーツを集合してありますから、プログラムとしてはLizzie改良版と大きな違いは無さそうです。
紹介文に訂正・補足等ありましたら教えてください。
Lizzieyzyで動く連珠専用ソフト「Katagomo」も、ついでに紹介しておきました。
KataGo-Golaxy Friendly Match
最近行われた KataGo-Golaxy Friendly Match を紹介いたします。
KataGo：40b with 5x 2080ti + 5x v100 GPUs
speed -averaged 7k-20k visit/s on 40 block engine.
Golaxy ：32x 50b
speed - averaged 8k visit/s on 50 block engine
No.20 KataGo-Golaxy Friendly match 19-Oct-2021
https://youtu.be/oNq1EFvd5G8
No.21 KataGo-Golaxy Friendly match 20-Oct-2021
https://youtu.be/aCDXZHAFwSo
No.22 KataGo-Golaxy Friendly match 20-Oct-2021
https://youtu.be/OmYx8Q72yeM