這個(gè)技術(shù)展示Demo讓任何擁有 RTX GPU 的人都能享受強(qiáng)大的個(gè)人定制化的 GPT 聊天機(jī)器人。

February 13, 2024 by Jesse Clayton

在基于 NVIDIA GPU 的云端服務(wù)器支持下,全球每天有數(shù)百萬人使用聊天機(jī)器人?，F(xiàn)在這些開創(chuàng)性的工具將出現(xiàn)在搭載 NVIDIA RTX的 Windows PC 上,以實(shí)現(xiàn)本地、快速、信息定制的生成式AI。

Chat with RTX 技術(shù)演示版,現(xiàn)已開放免費(fèi)下載,用戶可在搭載 NVIDIA GeForce RTX 30 系列或更高版本的 GPU(至少 8GB顯存)進(jìn)行本地部署,打造個(gè)人專屬聊天機(jī)器人。

問我一切

Chat with RTX 借助檢索增強(qiáng)生成(RAG)、NVIDIA TensorRT-LLM 軟件及 NVIDIA RTX 加速技術(shù),將生成式AI功能引入由GeForce 賦能的本地 Windows PC。用戶可快速輕松地將桌面端上的資料當(dāng)成數(shù)據(jù)集,連接到 Mistral 或 Llama 2 這一類開源大型語言模型,以便快速查詢與上下文有關(guān)的內(nèi)容。

https://www.youtube.com/watch?v=gdsRJZT3IJw

用戶只要輸入查詢內(nèi)容即可,無需搜尋筆記或儲(chǔ)存的內(nèi)容。例如用戶可以問:「我的合作伙伴推薦拉斯維加斯的哪家餐廳?」Chat with RTX 工具就會(huì)掃描用戶指向的桌面端資料,并且按照上下文提供答案。

Chat with RTX 工具支持包括 .txt、.pdf、.doc/.docx 和 .xml 在內(nèi)的多種文件格式。將應(yīng)用程序指向含有這些資料的文件夾,Chat with RTX 工具就會(huì)在幾秒鐘內(nèi)將它們載入到資料庫中。

用戶還能加入 YouTube 視頻和播放列表里的信息。在 Chat with RTX 里加入視頻網(wǎng)址,用戶便能將這些知識(shí)與聊天機(jī)器人進(jìn)行整合,進(jìn)行上下文查詢。例如根據(jù)最喜歡的旅游KOL所發(fā)布的視頻內(nèi)容來詢問推薦的旅游內(nèi)容,或是按照頂尖教育資源獲取快速教學(xué)和操作方法。

Chat with RTX 可以將 YouTube 影片內(nèi)容的知識(shí)加入查詢結(jié)果。

Chat with RTX 可以在 Windows RTX PC 和工作站上以本地部署的方式運(yùn)行,再加上用戶的數(shù)據(jù)還是保留在本地設(shè)備裝置上,因此能夠快速提供查詢結(jié)果。與依賴云端環(huán)境的 LLM 服務(wù)不同,Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料,無需分享給第三方或是連接到網(wǎng)絡(luò)。

除了需要配備 GeForce RTX 30 系列或更高版本的 GPU (至少 8GB 顯存),使用 Chat with RTX 還需要搭配操作系統(tǒng) Windows 10 或 11 和最新的 NVIDIA GPU 驅(qū)動(dòng)。

編注:目前 Chat with RTX 中存在一個(gè)問題,用戶選擇不同的安裝目錄時(shí),會(huì)造成安裝失敗。我們將在日后的版本中修復(fù)這個(gè)問題。目前用戶應(yīng)使用默認(rèn)的安裝目錄(「C:\Users\\AppData\Local\NVIDIA\ChatWithRTX」)。

使用 RTX 開發(fā)以 LLM 為基礎(chǔ)的應(yīng)用

Chat with RTX 展現(xiàn)出利用 RTX GPU 加速 LLM 的潛力。這款應(yīng)用使用 GitHub 上的 TensorRT-LLM RAG 開發(fā)者參考項(xiàng)目構(gòu)建而成。開發(fā)者可以使用該參考項(xiàng)目,為 RTX 開發(fā)和部署私人以 RAG 為基礎(chǔ)的應(yīng)用,并且由 TensorRT-LLM 進(jìn)行加速。深入了解如何建立以 LLM 為基礎(chǔ)的應(yīng)用。

深入了解 Chat with RTX。