CUDAのインストール、TensorRTのダウンロード
ホームへ

CUDAのインストールTensorRTのダウンロード



《CUDAのインストール》


CUDA(クーダ)のインストール
GPU向けのツールであるCUDAの最新版をインストールします。

CUDAのページに行き、「Windows」「11」(windows10なら[10])「exe[network]」と順にクリックしていくと右側下に「Download[**.*MB]」というボタンが現れますからダウンロードします。その「cuda_**.*.*_network.exe」をダブルクリックすると NVIDIA CUDAのインストールが始まります。「システムチェック」「使用許諾契約書」「オプション」「インストール」と進みます。
インストールが完了するとCドライブにCUDA version **.*のフォルダが作られています。(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v**.*)

もしもお使いのGPUで最新版のCUDAが動かない場合は、古いバージョンを試して下さい。
CUDA Toolkit Archiveのページに行き、お使いのGPUに対応した Toolkitのバージョンを選んでクリックします。


cuDNNのダウンロード
Deep Learning用のライブラリであるcuDNNをダウンロードします。
cuDNNのページに行き、「Download cuDNN Library」ボタンを押します。
続いてログインページになります。初めての場合は「join」を、既に登録しているなら「Login」してください。
英語ばかりですが、「join」を選ぶとメールアドレスとパスワード、生年月日等を入力します。メールが来るので「VERIFY EMAIL ADDRESS」ボタンをクリックして登録完了です。
「I'm not a robot」で写真を選択するのに苦労するかもしれません。初めてログインするといろいろ聞かれますが適当に答えてください。

ログインできていれば最新バージョンのダウンロードページになります。最新バージョンでよければ「Windows」をクリックしてダウンロードします。
過去から現在のリストは[Archive of Previous Releases]にあります。


ダウンロードできるcuDNNのバージョンが幾つも現れます。一番上が最新ですがインストールしてあるCUDAのバージョンに対応したものを選びます。


「Download cuDNN v*.*.* (製作年月日), for CUDA **.*」をクリックするとそのバージョンのダウンロードページに飛びます。「Windows」「x86_64」 「10」 「exe(local)」と順にクリックしていくと右側下に「Download[**.*MB]」というボタンが現れますからダウンロードします。

展開すると図のようなフォルダがありますから、これらのフォルダの中身をインストールしてあるCUDAのフォルダにコピーします。
具体的には、CドライブのNVIDIA GPU Computing Toolkitフォルダ(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v**.*)の中の同名のフォルダにコピーします。「\bin」「\include」「\lib\x64」です。
Cドライブにコピーするとき管理者権限がないとできない場合もあります。

以上でCUDAのインストールは終了です。一度パソコンを再起動してから次の作業に移ってください。


なお、最新のcuDNNでは環境によっては動かない場合があります。
そういうときはcuDNNのバージョンを下げてみて下さい。



※※修正・追記(Aug. 06, 2024)※※

《TensorRTのダウンロード》


TensorRTのダウンロード
Deep Learning用の推論エンジンであるTensorRTをダウンロードします。
TensorRTのページに行き、「Download now」をクリックします。

続いてログインページになります。初めての場合は「join」を、既に登録しているなら「Login」してください。
英語ばかりですが、「join」を選ぶとメールアドレスとパスワード、生年月日等を入力します。メールが来るので「VERIFY EMAIL ADDRESS」ボタンをクリックして登録完了です。
「I'm not a robot」で写真を選択するのに苦労するかもしれません。初めてログインするといろいろ聞かれますが適当に答えてください。
久しぶりに「Log in」するとアカウントのセキュリティ確保のための認証システムなどの利用を勧められます。先に進むなら「Not now」を押します。続いてユーザープロフィールを確定するページで「Submit」を押します。
ログインしていればダウンロード可能なTensorRTバージョンリストが現れます。一番上が最新です。

TensorRTのダウンロードページに来たら、[ I Agree To the Terms of the NVIDIA TensorRT License Agreement ]をチェックして、現れた一番上の最新のもの「TensortRT 10.2GA」をクリックします。

どのように使うのかなどアンケートされた後にやっとダウンロードページになります。
お使いのパソコンにCUDA12がインストールされているなら、下にあるWindows版「TensorRT 10.2 GA for Windows 10, 11, Server 2019, Server 2022 and CUDA 12.0 to 12.5 ZIP Package」をダウンロードします。
ダウンロードしたTensorRTパッケージの中のlibフォルダに必要なdllファイルが入っていますので囲碁AIエンジンと同じフォルダに置くだけでエンジンを起動できます。(一般的には[nvinfer_10.dll]と[nvinfer_builder_resource_10.dll]をコピーすればいいでしょう)

なお、Windows環境で完全にインストールするには Python環境でターミナルを開く必要があるなど一般ユーザーにとってハードルが高いです。やる気のある人は以下を参考に頑張ってください。。
Support Matrix
Installation Guide


以前のLizzie改良版LizzieYzy日本語版などは何もインストールしてなくともTensorRTエンジンが起動できるようになっています。


また以下の2つの方法でTensorRTエンジンを動かすことも可能です。
CUDA 11.1以上、CUDNN 8.2以上は先にインストールしてあるのが前提です。

【T.Lさんの方法】
1、TensorRT版のkatago.exeをLizzie改良版のkatagoフォルダにコピーしてkatago-trt.exeと名前を変更します
2、ダウンロードしたTensorRT-8.2.0.6フォルダの livフォルダにあるファイル9個を全部Lizzie改良版のkatagoフォルダにコピーします
3、Lizzie改良版のkatagoフォルダに40blockのnetworkをコピーして、40b-default_model.bin.gzと名前を変更します
4、Lizzie改良版を起動して、設定→エンジンでエンジンの空欄に katago/katago-trt gtp -config katago/default_gtp.cfg -model katago/40b-default_model.bin.gz と記入してOKで閉じます
5、Lizzie改良版のエンジン選択メニューで KataGo-trt (40bGPU)を指定します

【道草さんの方法】※※この方法はシステムパスを書き換える部分を使うので自己責任でお願いします※※
1、C:\Program FilesのNVIDIA GPU Computing ToolkitフォルダにTensorRT-8.*.*.*フォルダをコピー
2、「コントロールパネル→システム→システムの詳細設定」または[Windows]キー+[Pause/Break]キー→システムの詳細設定
3、システムのプロパティで詳細設定タブ→環境変数
4、システム環境変数の中の Pathを編集
5、編集画面で新規→空欄に C:\Program Files\NVIDIA GPU Computing Toolkit\TensorRT-8.*.*.*\lib\ と記入してOK
6、その後はOKでシステムの詳細設定を抜け、一度パソコンを再起動すれば、以降はTensorRT版のkatagoがどのアプリにあっても動くようになります。

なお、LizzieなどでTensorRT版のエンジンをロードするのに初回は長時間(2~5分)、その後も毎回1分近く待たされます。



※※修正・追記(Aug. 06, 2024)※※
"