回看板
Disp BBS
作者 oopFoo (3d)
標題 Re: [情報] AMD 7800XT/7700XT 售價US$449起 9/6上市
時間 Sat Aug 26 22:30:40 2023

AMD的GPU行銷真的是笨死了。每個人都拜託他們出24GB或48GB的卡，這麼簡單就大賣的方法不作。還在搞FSR，難道不知道現在是大AI時代嗎？

7800xtx 24GB，549鎂，還不賣爆。
79x0xtx 48GB，1200鎂，還不搶光。

現在一堆AI inference的需求，欠缺在ram不夠。Training也許還是不行，但inference社群作一堆了，就等你出卡而已。結果你出16GB???

例如最近mlc-llm測試7900xtx 推理可達4090的80%。
https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
MLC | Making AMD GPUs competitive for LLM inference

 
原作者的中文版
https://zhuanlan.zhihu.com/p/649088095

因為在推理(inference)上gpu的效能已經夠了，是卡在記憶頻寬，所以4090/3090ti/7900xtx效能是大同小異。

https://github.com/ggerganov/llama.cpp
GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
[圖]
Port of Facebook's LLaMA model in C/C++. Contribute to ggerganov/llama.cpp development by creating an account on GitHub. ...

 
現在4bit 30B模型需要19.5GB記憶體，這個模型好又剛好主流24GB卡可跑，3090二手卡搶爆
4bit 65B模型需要38.5 GB，沒有主流卡可跑，只能用CPU慢慢的推動，等於不能用。

7800xtx 24GB，79x0xtx 48GB。AI社群搶爆，程式幫你寫好。不用在那搞沒用的FSR，沒用的FSR，沒用的FSR<<很重要講三遍

https://i.imgur.com/LeYPRd4.jpg
[圖]

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.70.128.119 (臺灣)
※ 作者: oopFoo 2023-08-26 22:30:40
※ 文章代碼(AID): #1awWoMXY (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1693060246.A.862.html
※ 同主題文章:
[情報] AMD 7800XT/7700XT 售價US9起 9/6上市
08-26 10:26 OAOb
Re: [情報] AMD 7800XT/7700XT 售價US9起 9/6上市
08-26 22:30 oopFoo
Re: [情報] AMD 7800XT/7700XT 售價US9起 9/6上市
08-26 23:31 luvstarrysky
推 joshddd: 可是 蘇媽也在推專業卡欸
消費級給到 那麼高他們專業卡怎麼賣
我現在學 metal  了， 蘋果雖然臭，但在gpu ram上竟然最有cp值
不過蘋果的問題是只能單倍精度浮點運算，希望能支援雙倍1F 118.232.62.194 台灣 08/26 22:36
→ oopFoo: AMD在AI根本是0%市占率。老黃不給的，你給的大方，你AI才有機會做起來啊。
性能輸，大給RAM這麼簡單的事不作？到底AMD有在重視AI嗎？7F 219.70.128.119 台灣 08/26 22:45
推 joshddd: 也不算 0 吧？ opencl 用的人很多啊。只是之前套件都只支援 cuda? 想做的人自己寫個 kernel 都很多啊。 就很麻煩而已
原 po 不要這麼生氣啦11F 118.232.62.194 台灣 08/26 22:48
真的是恨鐵不成鋼。有一個大市場在那，ai論壇裡多少人拜託AMD出個大ram的顯卡，就是不理
→ hankower: 消費級VRAM給那麼大 MI系列怎麼賣15F 1.161.70.65 台灣 08/26 23:03
推 s987692: 這種為了臭而臭的發文真討厭16F 218.172.128.46 台灣 08/26 23:08
→ bbkt: 這ID不意外17F 1.168.135.242 台灣 08/26 23:26
推 falcon11: 如果79XTX賣得夠好的話會吧18F 114.42.200.231 台灣 08/26 23:30
推 aegis43210: O大不用疑惑吧，蘇嬤加強繪圖卡的推論性能，那MI250怎麼賣呢?
不過蘇嬤記得是想用FPGA來攻推論這塊19F 175.182.109.59 台灣 08/26 23:32
AMD在AI根本沒有策略，根本也還沒整合。
噓 mayolane: 不值得討論、浪費時間、行銷笨死了，接下來是什麼22F 118.161.8.37 台灣 08/26 23:35
→ E7lijah: 兩篇連著發 兩位是不是有先說好24F 39.10.74.167 台灣 08/26 23:40
→ eric13141230: Amd的Ai如果是0 我看你的Intel可能是負的了25F 218.172.62.63 台灣 08/26 23:41
→ giancarlo82: 笑死 幾天前被炮到臉黑還想翻身阿27F 106.107.240.161 台灣 08/26 23:46
噓 gary886: 天啊，AMD真應該馬上請你來當總裁耶28F 101.9.39.25 台灣 08/26 23:53
→ xoyeh168: 這樓主有病吧，大多數人又不玩AI
大多都拿來打遊戲，所以當然FSR為重29F 218.173.148.110 台灣 08/27 00:13
噓 pcfox: 有料的A黑大師wwww31F 118.160.3.106 台灣 08/27 00:18
推 wpd: AI是消費級的趨勢嗎???  5年時間?還是10年?還是又要等蘋果出來定義消費級AI ??
前人屍體 蘋果通通收割走32F 118.169.49.34 台灣 08/27 00:31
你要不要看現在電蝦多少單是要跑AI的，今年才是AI元年而已
噓 ehai0725: VRAM加大而已還是沒用，會跑AI的也不會放棄N卡cuda35F 39.10.73.106 台灣 08/27 00:34
cuda是訓練方便，跑推理現在大家都在寫custom code。你都知道最近有多少案子要跑llama？對啦台灣是AI沙漠，不知世界已經跑到那裡去了。
噓 nucleargod: 1.大模型請買運算卡
2.我vega還可以用HBCC開上去爽啦37F 218.164.27.111 台灣 08/27 00:45
→ commandoEX: 7900XTX的頻寬跟 RADEON VII差不多
HBM2已經沒啥優勢了39F 118.171.123.90 台灣 08/27 01:29
→ WYchuang: FSR定位跟你想的不太一樣 慢慢看吧41F 142.118.75.55 加拿大 08/27 01:38
FSR真的是阻擋AMD早點邁入AI的技術，多一天在這就是少一天在AI上發展。
噓 BFer: o大師不意外42F 61.224.210.208 台灣 08/27 03:59
噓 SHR4587: 看一下樓上星空我還覺得樓上星空比較正常點43F 220.136.10.253 台灣 08/27 04:36
噓 bian0977: 很幽默喔45F 101.138.88.20 台灣 08/27 06:34
※ 編輯: oopFoo (219.70.128.119 臺灣), 08/27/2023 07:43:42
推 CORYCHAN: 我想o大想表達的意思是製作FSR
吃掉太多軟體開發資源吧？
市場上又輸到脫褲（但開發FSR家機也能爽不能都賴給顯卡？）
不如大RAM投入AI藍海
但就像某樓大大說的
7900XTX賣得好或許就有機會，46F 122.121.225.62 台灣 08/27 09:30
推 zzahoward: 他講的是資源投入錯誤啦53F 1.163.151.86 台灣 08/27 09:37
現實世界就是AI or data center需求屌54F 223.137.111.4 台灣 08/27 10:00
打Gaming55F 223.137.111.4 台灣 08/27 10:00
→ Wilson310: 問題是ROCM的支援度也一言難盡56F 111.71.215.26 台灣 08/27 10:22
噓 a000000000: 蘇媽的軟體策略差不多回推十來年前喇就ibm幫入主amd高層開始
整葛amd軟體團隊跟老黃比跟本雞毛規模實際上現行策略都是console優先
尼在講大AI時代也還不到一年
7000系列gpu開發的時候根本沒人會想到有辦法在amd gpu上跑AI的東西
從頭到尾蘇媽軟體幾乎都是想白嫖合作夥伴   因為沒人沒錢
hpc就這樣搞  蘇媽願意系統便宜賣
老黃只想要ai的高毛利
今年真的很有趣 一堆人不想給老黃強姦結果rocm被弄到可以用惹  才半年不到必須說當年raja在rocm的眼光真的獨到差不多所有跟cuda競爭的只有rocm搞成讓尼cuda code直接轉
現在蘇媽底下在ai真的有較深涉獵的大半都xilinx的人  gpu這塊幾乎沒57F 24.5.246.189 美國 08/27 11:38
→ zzahoward: 阿就老黃毛利高到大家自救阿XDDD75F 1.163.151.86 台灣 08/27 12:24
→ Alwen: GPU這塊不是重點惹吧...
老黃跟進的話，還是被按在地上
下一代都直接說不出超高階卡惹76F 1.172.89.126 台灣 08/27 12:31
→ oopFoo: 現在ai傻錢就像當年千禧年的時候，東西支援度不夠沒差，只要性能夠價錢便宜，都可以解決。ai推理真的不算難寫，跟真正的hpc比，真是容易的很。老黃不可能出大vram的pc顯卡，會打到專業跟dc的市場。這是AMD的切入點，多少ai人才希望AMD成功，老黃吃人也不是新聞了，Intel也是惡名，所以對AMD79F 36.224.213.216 台灣 08/27 12:37
→ Alwen: AMD管理階層不鳥也沒用R86F 1.172.89.126 台灣 08/27 12:42
→ oopFoo: 有最大的期望。87F 36.224.213.216 台灣 08/27 12:42
噓 a000000000: 這兩葛月尼可以看到不少人在用A卡跑這跑那  半年前根本沒人會想到  進展已經神速惹  本來還說rocm最新版要支援win  後來改成要九月
尼pcb改版都沒那摸快好嗎
4說尼要大ram買pro w7900不就48GB
MSRP 4000鎂94惹88F 24.5.246.189 美國 08/27 12:45
現在就要讓利給社群，讓社群把AMD的ai生態系統做大。
48GB那價格就買老黃的就好了，但降到美金2000以下，那就會很多人跳進來玩。
我講的都是AMD可以馬上出的產品，價格可以更有彈性，也讓AIB有點湯吃。
→ zzahoward: 重點是 老黃還有一大段價格可以玩XDDDD95F 1.163.151.86 台灣 08/27 13:16
→ giancarlo82: 老黃有一大段價格可以玩死玩家才對96F 106.107.240.161 台灣 08/27 13:25
→ zzahoward: 不管玩家還是AI需求 老黃總是能榨乾消費者剩餘97F 1.163.151.86 台灣 08/27 13:35
現在是ai需求才讓老黃予取予求。就看AMD醒不醒的過來，還是等INTEL把牛肉端出來
※ 編輯: oopFoo (36.224.213.216 臺灣), 08/27/2023 14:01:15
推 wpd: 今年電蝦菜單有多少跑AI??  我看不到10%
再算上電蝦在大眾數據下的小眾比率99F 118.169.49.34 台灣 08/27 14:29
已經有10%還不殺進來，要等紅海？
→ Ekmund: ...大大 您專業很強我知道 但有沒有想過這種社群的人口基數 遠遠小於一般玩家？這種卡 另外出的吧 再閹割些顯示接口什麼而且也不是砍了FSR的人 AI團隊就生得出來現在搶人搶很兇的啊101F 223.137.174.8 台灣 08/27 16:53
所以FSR的人要轉ai啊，老黃家的都轉了，AMD還不轉。
AI的人少可是現在掌握大量預算，真的再不全力投入就真的被淘汰了。
→ kira925: 不就隨便喊喊 專業社群人少用量也還低
拋棄FSR這種主機能用的技術玩AI 這才亂搞開公司不是這樣玩的106F 220.135.86.145 台灣 08/27 17:44
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
不做ml，不相信gpu compute的效率提昇，證明都是錯的。FSR時代已過，再不跟上連Intel都要把AMD拋下了。
※ 編輯: oopFoo (36.224.213.216 臺灣), 08/27/2023 18:50:13
推 aegis43210: O大意思是蘇嬤應該要重回RAJA時代的繪圖運算通用架構，擴大使用客群109F 175.182.109.59 台灣 08/27 20:20
→ wpd: 不到10%你看成已經有10%  看你自己想看的XDD111F 118.169.49.34 台灣 08/27 20:43
→ Ekmund: 不是轉 是養 從放CUDA到生成自己的生態圈NV也是花了十餘年 不可能說轉就立刻生出這麼多能用的人和軟硬架構啊112F 223.137.174.8 台灣 08/27 21:06

--
作者 oopFoo 的最新發文:
點此顯示更多發文記錄