024733
cache_planは やはり出来が悪い?
katago v1.13.1版fastinitのkatago_cache_planを本家のkatago v1.13.1と双方S658及びb18c384nbt-uecをLizzieYzy v2.53を使用して
1手3秒で60戦させて検証しました 元祖fastinitは公開当時 本家のkatagoと対戦して負け越したことがありませんでした
上段2セットはGPU RTX3070 下段2セットはGPU RTX2080

総対局数: 60 結果: 37:23 勝率: 61.67%

最初のエンジン((TRT)Kata1131-b18S658):
全体での勝ち数 : 37 黒番での勝ち数 : 17 白番での勝ち数: 20 トータル消費時間 18704.49 秒 トータル訪問数: 104909186
2番目のエンジン((TRT)Kata_cache_p-b18S658):
全体での勝ち数 : 23 黒番での勝ち数 : 10 白番での勝ち数: 13 トータル消費時間 18682.617 秒 トータル訪問数: 104952465

総対局数: 60 結果: 41:19 勝率: 68.33%

最初のエンジン((TRT)Kata1131-b18c384):
全体での勝ち数 : 41 黒番での勝ち数 : 21 白番での勝ち数: 20 トータル消費時間 18841.611 秒 トータル訪問数: 133913239
2番目のエンジン((TRT)Kata_cache_p-b18c384):
全体での勝ち数 : 19 黒番での勝ち数 : 10 白番での勝ち数: 9 トータル消費時間 18796.64 秒 トータル訪問数: 83315804

総対局数: 60 結果: 29:31 勝率: 48.33%

最初のエンジン((TRT)Kata1131-b18S658):
全体での勝ち数 : 29 黒番での勝ち数 : 15 白番での勝ち数: 14 トータル消費時間 18763.248 秒 トータル訪問数: 58041846
2番目のエンジン((TRT)Kata_cache_p-b18S658):
全体での勝ち数 : 31 黒番での勝ち数 : 16 白番での勝ち数: 15 トータル消費時間 18785.713 秒 トータル訪問数: 56602819

総対局数: 60 結果: 39:21 勝率: 65.00%

最初のエンジン((TRT)Kata1131-b18c384):
全体での勝ち数 : 39 黒番での勝ち数 : 23 白番での勝ち数: 16 トータル消費時間 19133.123 秒 トータル訪問数: 88334815
2番目のエンジン((TRT)Kata_cache_p-b18c384):
全体での勝ち数 : 21 黒番での勝ち数 : 14 白番での勝ち数: 7 トータル消費時間 19100.494 秒 トータル訪問数: 60336245
odagaki0621 2023/07/04(Tue) 21:42 No.461  記事編集
katago fastinitは現在も最強?
政光順二氏のTwitterのページにLizzieによるプロ棋士の棋譜の解析が表示されていた エンジンは40bのS1184と前バージョンのTRT高速起動版の
fastinitの様でした せっかくfastinitを使用して解析するのなら18bNWの方が明らかに軽くて強いのをご存じないのでしょうか 残念です
最近は最新版のkatagoしかチェックしていなかったので双方b18c384nbt-uecとLizzieYzy v2.53を使用して最新のkatagoTRT通常版とfastinitを
1手3秒で60戦させて検証しました 結果はfastinitが最新のTRT通常版に36-24 勝率60.00%で大きく勝ち越しました
残念?ながらfastinitは現在も最強でした GPU RTX2080

最初のエンジン((TRT)Kata_fastinit-b18c384):
全体での勝ち数 : 36 黒番での勝ち数 : 18 白番での勝ち数: 18 トータル消費時間 19661.48 秒 トータル訪問数: 100956626
2番目のエンジン((TRT)Kata1131b18c384):
全体での勝ち数 : 24 黒番での勝ち数 : 12 白番での勝ち数: 12 トータル消費時間 19631.61 秒 トータル訪問数: 87667426
odagaki0621 2023/06/24(Sat) 17:51 No.448  記事編集
katago v1.13.1版fastinitのkatago_cache_plan
katago v1.13.1版fastinitのkatago_cache_planを本家のfastinitと双方b18c384nbt-uec及びLizzieYzy v2.53を使用して1手3秒で
60戦させて検証しました 結果は本家のfastinitがkatago_cache_planに42-18 勝率70.00%で大きく勝ち越しました GPU RTX3070

最初のエンジン((TRT)Kata_fastinit-b18c384):
全体での勝ち数 : 42 黒番での勝ち数 : 23 白番での勝ち数: 19 トータル消費時間 19213.15 秒 トータル訪問数: 145376224
2番目のエンジン((TRT)Kata_cache_p-b18c384):
全体での勝ち数 : 18 黒番での勝ち数 : 11 白番での勝ち数: 7 トータル消費時間 19173.783 秒 トータル訪問数: 84177280
odagaki0621   2023/06/26(Mon) 21:26 No.450 記事編集
fastinitで使用出来てS658と互角のS595
最新のTRT通常版+S658とfastinit+S595をLizzieYzy v2.53を使用して1手3秒で60戦させて検証しました 結果はfastinit+S595が
通常版+S658に36-24 勝率60.00%で大きく勝ち越しました GPU RTX2080

最初のエンジン((TRT)Kata_fastinit-b18S595):
全体での勝ち数 : 36 黒番での勝ち数 : 19 白番での勝ち数: 17 トータル消費時間 18636.576 秒 トータル訪問数: 84123125
2番目のエンジン((TRT)Kata1131-b18S658):
全体での勝ち数 : 24 黒番での勝ち数 : 13 白番での勝ち数: 11 トータル消費時間 18638.383 秒 トータル訪問数: 53175017

追記 hope366さんへ 出来の悪いcache_planを中心に検証をされてますがfastinitによる検証も お願いします

追記2 hope366さんへ 回答ありがとうございました もしよければcache_planの出来の悪さについての考えを
書いて頂ければ幸いです

追記3 hope366さんへ 再度 最新のTRT通常版+S658とfastinit+S595をLizzieYzy v2.53を使用して1手3秒で60戦させて検証しましたが
やはり不明確な結果でした 最近導入したRTX2080はエージングが不足しているのかもしれません 改めてRTX3070機を使用して上記の
条件で検証しました 結果は通常版+S658が31-29 勝率51.67%で ほぼ互角でした 質問掲示板の内容も訂正しました GPU RTX3070

最初のエンジン((TRT)Kata1131-b18S658):
全体での勝ち数 : 31 黒番での勝ち数 : 15 白番での勝ち数: 16 トータル消費時間 18353.146 秒 トータル訪問数: 102654617
2番目のエンジン((TRT)Kata_fastinit-b18S595):
全体での勝ち数 : 29 黒番での勝ち数 : 14 白番での勝ち数: 15 トータル消費時間 18346.168 秒 トータル訪問数: 99257295

追記4 hope366さんへ cache_planは私の環境でも遅いです
odagaki0621   2023/06/28(Wed) 09:49 No.451 記事編集
Re: katago fastinitは現在も最強?
私の環境(i7-9700+RTX2060)での数値(ベンチマークテストの結果です。スレッド数は全て推奨値の20です。)

katago_cache_plan.exe + s658 visits/s = 734.18
katago_cache_plan.exe + s595 visits/s = 942.85

公式版TensorRT 1.13.1 + s658 visits/s = 901.33
公式版TensorRT 1.13.1 + s595 visits/s = 942.64

odagaki0621さんの検証結果から算出した数値

katago_cache_plan.exe + s595 visits/s = 4513.87  
公式版TensorRT 1.13.1 + s658 visits/s = 2752.98

s595とs658は訪問数同等の条件下ではs658から見てElo差+77(勝率60.9%)となっていますが、odagaki0621さんの検証では分析速度に大きな違いがあり、それが理由で時間同等の条件下では逆にs595から見てElo差+70.4(勝率60.0%)となっています。
しかし、見ての通り私の環境では分析速度に関してそれほど大きな違いは見られませんでした。odagaki0621さんの検証で約1.64倍もあった分析速度の違いが、私の環境ではわずか1.05倍です。この程度の違いではElo差77をひっくり返すとは到底考えられません。
つまり、私の環境での最強はおそらく公式版TensorRT+s658ということになりそうです。

私の環境では、katago_cache_plan.exe + s658の分析速度が、katago_cache_plan.exe + s595 よりもかなり遅かったです。他の人の環境でどうなのか気になるところです。

あと、odagaki0621さんの環境での分析速度が異常に速いのも気になります。私の環境と比較して、公式版TensorRT 1.13.1 + s658では約3.05倍、katago_cache_plan.exe + s595では約4.79倍もあります。
2060と2080の性能差(約1.5倍程度)から大きく乖離しています。
私のはベンチマークテストの結果ですが、odagaki0621さんのは対局結果の数値から割り出した数値です。
hope366   2023/06/28(Wed) 19:44 No.452 記事編集
Re: katago fastinitは現在も最強?
fast-init + s595 visits/s = 926.18 となりました。
前回検証した次の2つとほとんど同じ数値です。
katago_cache_plan.exe + s595 visits/s = 942.85
公式版TensorRT 1.13.1 + s595 visits/s = 942.64

前回も書きましたが、
公式版TensorRT 1.13.1 + s658 visits/s = 901.33 です。
s658とs595のElo差は「77」です。s595のほうがs658よりわずかに速いですが、77Eloをひっくり返すとは思えませんので、やはり私の環境での最強は、
公式版TensorRT 1.13.1 + s658
です。


 
hope366   2023/06/29(Thu) 19:54 No.453 記事編集
Re: katago fastinitは現在も最強?
cache_planについてはよく分かりません。
私の環境でだけ遅いのかどうかも分かっていませんし。
hope366   2023/06/30(Fri) 19:45 No.454 記事編集
Re: katago fastinitは現在も最強?
私の環境(i7-8700+RTX2080)でのベンチマークテストの結果です。スレッド数は全て推奨値の20です。

katago_cache_plan.exe + s658 visits/s = 1276.77
katago_cache_plan.exe + s595 visits/s = 1063.60

公式版TensorRT 1.13.1 + s658 visits/s = 1179.76
公式版TensorRT 1.13.1 + s595 visits/s = 841.56

benchmarkコマンドは
katago benchmark -config default_gtp.cfg -model kata1-b18c384nbt-s6582191360-d3422816034.bin.gz -tune -time 3
と分析時間3秒にしましたが、これを指定しなくても似た値でした。
皆さんとの違いの原因は分かりません。default_gtp.cfgはnumSearchThreadsを20にした以外の数値は変えていません。
Eba   2023/06/30(Fri) 21:02 No.455 記事編集
Re: katago fastinitは現在も最強?
Ebaさんの環境では、起動が速い「katago_cache_plan.exe」と最強weightの「s658」の組み合わせが一番速いということで、理想的な感じですね。

一つ疑問に感じたのは、
公式版TensorRT 1.13.1 + s595 visits/s = 841.56
公式版TensorRT 1.13.1 + s595 visits/s = 942.64
上がEbaさん(2080)で、下が私(2060)です。
2080のほうが性能が上のはずなのに数値が低くなっています。
hope366   2023/07/01(Sat) 07:31 No.456 記事編集
Re: katago fastinitは現在も最強?
言われてみればおかしいのでやり直してみましたが、3回やってみても同じような数字でした。
公式版TensorRT 1.13.1 + s595 visits/s = 841~848
Eba   2023/07/01(Sat) 15:49 No.457 記事編集
Re: katago fastinitは現在も最強?
私のほうでも、もう一度やってみました。

公式版TensorRT 1.13.1 + s595 visits/s = 681.07

前回のときよりだいぶ低い数値になりました。これだとEbaさんの2080との釣り合いが取れている感じです。
前回の高い数値は何だったんだろう?と思って、今度はインターネットのブラウザを閉じて、ベンチマークテスト以外では何も起動してない状態にしてからやってみました。

公式版TensorRT 1.13.1 + s595 visits/s = 929.07

前回とほぼ同じくらいの数値になりました。
普段LizzieYzyで分析をかける時も気にはなっていたのですが、ブラウザを開いている時と閉じている時で、分析オンの時にPC本体から聞こえてくる音(GPUに負荷がかかっている時に聞こえる独特の音)が明らかに違います。
他の人の環境ではどうだか分かりませんが、私の環境ではブラウザを開いている時と閉じている時でKataGoの分析速度に大きな違いが生じているようです。
hope366   2023/07/01(Sat) 18:45 No.458 記事編集
Re: katago fastinitは現在も最強?
前回のテストではブラウザなど起動した状態でしたので、ベンチマークテスト以外のアプリはすべて終了させGPUへの負荷0でテストしてみました。

katago_cache_plan.exe + s658 visits/s = 1340.15
katago_cache_plan.exe + s595 visits/s = 1057.67

公式版TensorRT 1.13.1 + s658 visits/s = 1155.17
公式版TensorRT 1.13.1 + s595 visits/s = 824.43

私の環境ではブラウザなどを起動していてもあまり影響が無さそうです。でもテストに際しては負荷を無くした方が良いのは自明でしたね。
Eba   2023/07/01(Sat) 23:12 No.459 記事編集
kata1の主なNW 最新版32
katagoの新世代高レート60bNW(opcl)をs330とmv2000で
各20戦x5セット計100戦づつさせた 左側が新世代NW

s703 60b同士 64-36 (12-8 13-7 13-7 13-7 13-7)
s704 60b同士 62-38 (13-7 13-7 13-7 13-7 10-10)
s706 60b同士 65-35 (14-6 15-5 11-9 10-10 15-5)
s708 60b同士 61-39 (13-7 17-3 8-12 13-7 10-10)
s711 60b同士 71-29 (15-5 15-5 14-6 13-7 14-6)
s713 60b同士 70-30 (14-6 11-9 16-4 16-4 13-7)
s716 60b同士 80-20 (17-3 14-6 15-5 19-1 15-5)
s718 60b同士 69-31 (11-9 13-7 15-5 13-7 17-3)
s721 60b同士 69-31 (16-4 12-8 13-7 14-6 14-6)
s723 60b同士 68-32 (16-4 13-7 10-10 15-5 14-6)
odagaki0621 2023/06/26(Mon) 11:16 No.449  記事編集
b18NWの5971Mは本当に強いのか
LizzieYzy v2.53に同梱されているb18c384nbt-optimisticv13-s5971Mを同じくv2.53に同梱されている AVX2 CUDA TRT の3種類を
現在 kata1最高レートの18bNWのS658とLizzieYzy v2.53を使用して1手3秒で各60戦させて検証しました 結果はTRTのみ大差でs5971Mが
圧勝してAVX2とCUDAはS658と互角でした RTXのグラボを内蔵していないPCではS658でも良い? 使用エンジン katago v1.13 GPU RTX2080
https://katagotraining.org/networks/kata1/

最初のエンジン((AVX2)Kata1130b18S658):
全体での勝ち数 : 31 黒番での勝ち数 : 15 白番での勝ち数: 16 トータル消費時間 12559.476 秒 トータル訪問数: 137835
2番目のエンジン((AVX2)Kata1130b18s5971M):
全体での勝ち数 : 29 黒番での勝ち数 : 14 白番での勝ち数: 15 トータル消費時間 12553.659 秒 トータル訪問数: 131551

最初のエンジン((CUDA)Kata1130b18S658):
全体での勝ち数 : 30 黒番での勝ち数 : 13 白番での勝ち数: 17 トータル消費時間 18469.236 秒 トータル訪問数: 51311481
2番目のエンジン((CUDA)Kata1130b18s5971M):
全体での勝ち数 : 30 黒番での勝ち数 : 13 白番での勝ち数: 17 トータル消費時間 18459.955 秒 トータル訪問数: 50193996

最初のエンジン((TRT)Kata1131b18S658):
全体での勝ち数 : 17 黒番での勝ち数 : 7 白番での勝ち数: 10 トータル消費時間 19131.148 秒 トータル訪問数: 59216801
2番目のエンジン((TRT)Kata1131-b18s5971M):
全体での勝ち数 : 43 黒番での勝ち数 : 20 白番での勝ち数: 23 トータル消費時間 19163.06 秒 トータル訪問数: 100650529
odagaki0621 2023/06/21(Wed) 19:20 No.447  記事編集
LizzieYzy v2.53の同梱エンジンについて
先月 価格の下がったRTX2080(中古)のグラボを購入してGTX1060(3G)機→RTX2080機(CPU Ryzen 7 1700)にグレードアップしました
numSearchThreadsの数値は同一エンジンを18と20に設定して数十局対戦させた結果18が勝越し同様に16にも勝越したので18に固定しました
念のためRTX3070機(CPU i7-10700KF)も2080機と同様にチェックしたところ20が最強だったので引き続き20に固定します

v2.53のkatago_tensorRTに同梱されているkatago_cache_planはkatago v1.13.1版katago_fastinitだと思われますが問題は通常の
TRTと比べた時の棋力です 通常版と同等以上の棋力が無ければ高速起動の特長が生かされません 残念ながらcache_planはfastinitと
異なり通常版よりかなり弱いようです b18c384nbt-uecとLizzieYzy v2.53を使用して1手3秒で60戦させて検証しました 結果は通常版が
42-18 勝率70.00%で大きく勝ち越しました
しかし同じく同梱のNWのb18s***5971Mはb18c384nbt-uec相手にTRT通常版同士で上記の条件で60戦させて検証しました 結果は5971Mが
43-17 勝率71.66%で大きく勝ち越しました 使用エンジン katago v1.131TRT GPU RTX2080 ちなみにRTX3070でもほぼ同じ結果でした

最初のエンジン((TRT)Kata1131-b18c384):
全体での勝ち数 : 42 黒番での勝ち数 : 19 白番での勝ち数: 23 トータル消費時間 18179.02 秒 トータル訪問数: 78484943
2番目のエンジン((TRT)Kata1131-b18c384p):
全体での勝ち数 : 18 黒番での勝ち数 : 7 白番での勝ち数: 11 トータル消費時間 18136.48 秒 トータル訪問数: 54913604

最初のエンジン((TRT)Kata1131-b18c384):
全体での勝ち数 : 17 黒番での勝ち数 : 7 白番での勝ち数: 10 トータル消費時間 18366.0 秒 トータル訪問数: 74601484
2番目のエンジン((TRT)Kata1131-b18s5971M):
全体での勝ち数 : 43 黒番での勝ち数 : 20 白番での勝ち数: 23 トータル消費時間 18416.04 秒 トータル訪問数: 91054100
odagaki0621 2023/06/18(Sun) 18:54 No.446  記事編集

- Joyful Note -
- Smart Board Type-G v2.1 -
++ Edited by TRANSFORM ++