2024年2月13日、NVIDIAが、ローカル環境下で使用できる新しいチャットボット「Chat with RTX」を発表しました。この技術は、RTX GPUを搭載したWindows PC向けに設計されており、ローカルでの高速なパーソナライズ可能なカスタム生成AIを実現します。

ローカルで使用できるチャットボット

Chat with RTXは、個人のデータを活用して瞬時に質問に答えることができる技術デモです。これにより、ユーザは自身のファイルやコンテンツを直接チャットボットに統合し、それに応じた応答を得ることができます。NVIDIA GeForce RTX 30シリーズGPU (またはそれ以上)と最低8GBのVRAMを搭載したPCで動作し、Windows 10またはWindows 11が必要です。

Chat with RTXの仕組み

Chat with RTXは、Retrieval-augmented generation (RAG)、NVIDIAのTensorRT-LLMソフトウェア、そしてNVIDIA RTXのアクセラレーションを駆使しています。これにより、オープンソースの大規模言語モデル(例：MistralやLlama 2)を活用し、ユーザのローカルファイルから迅速に情報を取得して質問に答えることができます。

機能と利点

• 高速ローカル処理： Chat with RTXはPC上で直接動作するため、クラウドベースのサービスに依存せず、高速な応答が可能です。
• データプライバシー： ユーザーのデータはデバイス上に留まり、外部に送信されることはありません。
• 多様なファイルサポート： .txt、.pdf、.doc/.docx、.xmlなど、さまざまなファイル形式に対応しています。
• YouTubeコンテンツの統合： YouTubeのビデオやプレイリストから情報を取り込み、チャットボットの知識ベースとして利用できます。

Chat with RTXの利用シナリオ

ユーザは、「ラスベガスでパートナーがおすすめしたレストランは？」のような質問をすることで、Chat with RTXに指定したローカルファイル内の情報を即座に検索し、関連する回答を得ることができます。これは、旅行計画、学習資料のレビュー、プロジェクトのドキュメント管理など、多岐にわたる用途で利用可能です。

注意事項と開発の行方

現在、インストールディレクトリの変更時に問題が発生するという既知の問題がありますが、NVIDIAは近い将来のアップデートでこれを修正する予定としています。また、Chat with RTXは開発者コミュニティにも開放されており、TensorRT-LLM RAG開発者リファレンスプロジェクトを通じて、さらに多くのカスタマイズされたアプリケーションが生まれることが期待されます。

NVIDIAは「NVIDIA Generative AI on NVIDIA RTX」開発者コンテストも開催中で、革新的なアプリケーションを提出した開発者には、GeForce RTX 4090 GPUやNVIDIA GTCのフルカンファレンスパスなど、豪華な賞品が用意されています。

まとめ

現在利用できるChatGPTなどのチャットボットの大半はサーバ上で処理されるものが多く、Chat with RTXのようなローカルで利用できるプロジェクトは大変歓迎できます。Chat with RTXの登場により、パーソナライズされたAIがより身近なものとなり、日常のタスクや情報検索が大きく効率化されることが期待されます。