這個技術展示Demo讓任何擁有 RTX GPU 的人都能享受強大的個人定制化的 GPT 聊天機器人。

February 13, 2024 by Jesse Clayton

在基于 NVIDIA GPU 的云端服務器支持下,全球每天有數(shù)百萬人使用聊天機器人?，F(xiàn)在這些開創(chuàng)性的工具將出現(xiàn)在搭載 NVIDIA RTX的 Windows PC 上,以實現(xiàn)本地、快速、信息定制的生成式AI。

Chat with RTX 技術演示版,現(xiàn)已開放免費下載,用戶可在搭載 NVIDIA GeForce RTX 30 系列或更高版本的 GPU(至少 8GB顯存)進行本地部署,打造個人專屬聊天機器人。

問我一切

Chat with RTX 借助檢索增強生成(RAG)、NVIDIA TensorRT-LLM 軟件及 NVIDIA RTX 加速技術,將生成式AI功能引入由GeForce 賦能的本地 Windows PC。用戶可快速輕松地將桌面端上的資料當成數(shù)據(jù)集,連接到 Mistral 或 Llama 2 這一類開源大型語言模型,以便快速查詢與上下文有關的內(nèi)容。

https://www.youtube.com/watch?v=gdsRJZT3IJw

用戶只要輸入查詢內(nèi)容即可,無需搜尋筆記或儲存的內(nèi)容。例如用戶可以問:「我的合作伙伴推薦拉斯維加斯的哪家餐廳?」Chat with RTX 工具就會掃描用戶指向的桌面端資料,并且按照上下文提供答案。

Chat with RTX 工具支持包括 .txt、.pdf、.doc/.docx 和 .xml 在內(nèi)的多種文件格式。將應用程序指向含有這些資料的文件夾,Chat with RTX 工具就會在幾秒鐘內(nèi)將它們載入到資料庫中。

用戶還能加入 YouTube 視頻和播放列表里的信息。在 Chat with RTX 里加入視頻網(wǎng)址,用戶便能將這些知識與聊天機器人進行整合,進行上下文查詢。例如根據(jù)最喜歡的旅游KOL所發(fā)布的視頻內(nèi)容來詢問推薦的旅游內(nèi)容,或是按照頂尖教育資源獲取快速教學和操作方法。

Chat with RTX 可以將 YouTube 影片內(nèi)容的知識加入查詢結(jié)果。

Chat with RTX 可以在 Windows RTX PC 和工作站上以本地部署的方式運行,再加上用戶的數(shù)據(jù)還是保留在本地設備裝置上,因此能夠快速提供查詢結(jié)果。與依賴云端環(huán)境的 LLM 服務不同,Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料,無需分享給第三方或是連接到網(wǎng)絡。

除了需要配備 GeForce RTX 30 系列或更高版本的 GPU (至少 8GB 顯存),使用 Chat with RTX 還需要搭配操作系統(tǒng) Windows 10 或 11 和最新的 NVIDIA GPU 驅(qū)動。

編注:目前 Chat with RTX 中存在一個問題,用戶選擇不同的安裝目錄時,會造成安裝失敗。我們將在日后的版本中修復這個問題。目前用戶應使用默認的安裝目錄(「C:\Users\\AppData\Local\NVIDIA\ChatWithRTX」)。

使用 RTX 開發(fā)以 LLM 為基礎的應用

Chat with RTX 展現(xiàn)出利用 RTX GPU 加速 LLM 的潛力。這款應用使用 GitHub 上的 TensorRT-LLM RAG 開發(fā)者參考項目構(gòu)建而成。開發(fā)者可以使用該參考項目,為 RTX 開發(fā)和部署私人以 RAG 為基礎的應用,并且由 TensorRT-LLM 進行加速。深入了解如何建立以 LLM 為基礎的應用。

深入了解 Chat with RTX。