作者
標題 [討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型
時間 Fri Apr 7 12:57:00 2023
標題 [討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型
時間 Fri Apr 7 12:57:00 2023
祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。
LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT，但
是硬體需求大大降低，是個人電腦甚至旗艦手機都跑得動的程度。
根據他們paper的說法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本對答。
一些LLaMA可以達成的任務
這邊的截圖是來自Dalai LLaMA，它只是一個LLaMA的網頁前端。
目前LLaMA只支援英文，未來應該會有中文模型。
1. 幫我把這句話翻譯成中文：Taiwan is a country.
https://i.imgur.com/G4o7TYs.png
![[圖]](https://i.imgur.com/G4o7TYs.png)
2. 解釋Skinner行為主義心理學理論的優缺點，並舉出五個例子
https://i.imgur.com/MtYgomt.png
![[圖]](https://i.imgur.com/MtYgomth.png)
3. 寫個Python程式，尋找一個字串中出現最多次的字元
https://i.imgur.com/3OKMDun.png
![[圖]](https://i.imgur.com/3OKMDunh.png)
4. 幫我想五個新文章標題候選：使用Linux當主力系統的好處
https://i.imgur.com/jjx5prE.png
![[圖]](https://i.imgur.com/jjx5prEh.png)
5. 段落抓重點：請抓出以下有關普遍文法 (Universal Grammar) 段落的重點，並用十句
話解釋何為普遍文法。
https://i.imgur.com/6DccCwW.png
![[圖]](https://i.imgur.com/6DccCwWh.png)
在Android手機跑LLaMA
除了LLaMA以外，還有Alpaca模型，這是史丹佛大學微調後的版本。同樣的資源耗用較小，
且有人製作了純CPU運算的版本llama.cpp，不用依賴顯示卡。
因此除了在個人電腦跑，也可以跑在Android手機上。
最小的LLaMA 7B至少需要4GB RAM，保險起見手機最好有8GB RAM才不會跑到一半手機自動
重開。
簡單的辦法就是裝Termux，解開signal9的錯誤
然後設定Proot Debian，把模型下載下來，alpaca.cpp編譯一下就可以開始聊天了。
https://i.imgur.com/M24wDqr.png
![[圖]](https://i.imgur.com/M24wDqrh.png)
詳細安裝方法：https://reurl.cc/OVDRVg
Android手機Termux跑Alpaca (LLaMA) 大型語言模型 | Ivon的部落格
![[圖]]()
English version LLaMA是Meta釋出的大型語言模型，Alpaca則是史丹佛大學微調後的版本。這二個模型因為資源耗用較小，且有人製作了純CPU運算的版本，不用依賴顯示卡，因此除了在個人電腦跑，也可以跑在Andr…… ...
![[圖]](https://ivonblog.com/posts/alpaca-cpp-termux-android/images/answered.webp)
手機RAM低於8GB的也不用灰心，你可以root後，設定chroot Ubuntu，掛載SWAP強行增大
虛擬記憶體。
手機與電腦速度比較
問一個10個字的問句
純CPU運算下，LLaMA在Intel Core i5-7400的CPU約10秒就會開始作答，寫完回答約1分鐘
。
高通s845處理器要等30秒才會開始回答，並且寫完整個回答2分鐘。
如果使用GPU加速，速度應該會快許多，要用GPU加速可嘗試Text Generation WebUI。
LLaMA的回答品質不可能像ChatGPT那麼神，胡言亂語機率更高
但好處是沒有任何道德限制～想聊什麼就聊什麼～
隨著這類模型的開源，大型語言模型可能會走向Stable Diffusion那樣的發展路徑。
(雖說LLaMA一開始是提前外洩才為人所知的)
--
想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png
Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由，不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣)
※ 作者: ivon852 2023-04-07 12:57:00
※ 文章代碼(AID): #1aBwAWur (MobileComm)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1680843424.A.E35.html
推 : 兩年前在實驗室就用開源框架把GPT2放到手機上試過了
只是沒必要 畢竟網路發達 中心運算就好1F 04/07 13:19
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦只是沒必要 畢竟網路發達 中心運算就好1F 04/07 13:19
推 : 推，技術力真強3F 04/07 13:24
推 : 認真說 我覺得他們應該去跟line合作 去幫我打字的句子找出對應的貼圖4F 04/07 13:42
Google的先見之明(咦
推 : 太酷了8F 04/07 14:14
推 : @@9F 04/07 15:16
推 : 不錯xd10F 04/07 15:57
推 : 能不用網路也是有很多用處，例如語音助理11F 04/07 16:08
推 : 用Android NDK打包llama.cpp不知道會不會比較快12F 04/07 18:32
有，llama.cpp作者就有示範用NDK編譯，應會比proot快推 : 推13F 04/07 18:41
推 : 好厲害14F 04/07 19:23
推 : 推，我連docker都還沒改kernel…太有行動力了15F 04/07 20:05
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/07/2023 21:15:31推 : 問一個白癡問題 chatgpt不是手機上就可以跑了嗎？ 就一個網頁不是？
我覺得AI還是交給網路別人算就好 幾秒鐘才回答==手機有網路chatgpt一兩秒就回答了16F 04/07 21:59
確實算力不如人的情況下雲端較有優勢，不過開源自架的價值就在於可以自己掌控。我覺得AI還是交給網路別人算就好 幾秒鐘才回答==手機有網路chatgpt一兩秒就回答了16F 04/07 21:59
推 : 不是每個國家都吃到飽20F 04/07 22:40
推 : 歐@@21F 04/07 22:43
→ : 這個有點厲害22F 04/07 23:20
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/08/2023 00:23:09推 : 你好厲害23F 04/08 03:41
推 : 如果chatGPT可以離線不知道模型庫會多大？我猜跟Stable Diffusion,不會差太多？大概加一加30~50GB?24F 04/08 08:25
--
作者 ivon852 的最新發文:
![]()
在家中自架雲手機並遠端存取的方案。 成果之一，透過Android手機存取遠端樹莓派上的Android 成果之二，透過iPhone手機遠端存取電腦上的Android遊戲。 為免文章內容變空談，文末我附 …43F 36推![]()
分享如何在各大平台看Tachiyomi漫畫的方案「Suwayomi」，支援Linux、Windows、macOS 、Android、iOS，甚至網頁也能看。 首先複習一下Tachiyomi是什麼，這 …156F 51推 14噓![]()
日本開發者製作的去馬賽克播放器 利用AI技術標記馬賽克再用圖像修復模型還原 幾年前出來的時候震撼一波 讓影片的馬賽克降低許多 適用AV與裏番，下面是去碼效果： (抱歉在這裡不能放上真正片子的效果圖 …27F 19推![]()
越獄＋TrollStore能讓舊機還有點利用價值，例如安裝多視窗模組、全螢幕手勢、無廣告 的Youtube續命一波。 iPhone 6s ~ iPhone X，還有搭載A8 ~ A11處理器的iPa …59F 34推 1噓![]()
幾個月前國外開源社群瘋傳的事件，嚴重性不亞於當年獵豹買下「快圖瀏覽」。 2023年11月，簡易相簿與其相關的「Simple Mobile Tools」APP，被一家名為ZipoApps的 公司收購了 …81F 42推 1噓
點此顯示更多發文記錄