回看板
Disp BBS
看板 TY_Research
作者 oopFoo (3d)
標題 [討論] AI模型討論
時間 Sun Jul 21 21:46:32 2024

FourCastNet
程式跟Model Weight
https://github.com/NVlabs/FourCastNet
GitHub - NVlabs/FourCastNet: Initial public release of code, data, and model weights for FourCastNet
[圖]
Initial public release of code, data, and model weights for FourCastNet - NVlabs/FourCastNet ...

 
論文
https://arxiv.org/abs/2202.11214
[2202.11214] FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators FourCastNet, short for Fourier Forecasting Neural Network, is a global data-driven weather forecasting model that provides accurate short to medium-ra ...

 
Fourier + vision transformer。最早成功運用vision transformer?

Pangu Weather
程式跟Model Weight
https://github.com/198808xc/Pangu-Weather
GitHub - 198808xc/Pangu-Weather: An official implementation of Pangu-Weather
[圖]
An official implementation of Pangu-Weather. Contribute to 198808xc/Pangu-Weather development by creating an account on GitHub. ...

 
論文
https://www.nature.com/articles/s41586-023-06185-3
3D mesh + vision transformer。暴力解法，model weight最龐大，1.1G

GraphCast
程式跟Model Weight
https://github.com/google-deepmind/graphcast
GitHub - google-deepmind/graphcast
[圖]
Contribute to google-deepmind/graphcast development by creating an account on GitHub. ...

 
不想login拿weight 可到下面link
https://huggingface.co/shermansiu/dm_graphcast
shermansiu/dm_graphcast ·  Hugging Face
[圖]
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...

 
論文
https://arxiv.org/abs/2212.12794
[2212.12794] GraphCast: Learning skillful medium-range global weather forecasting Global medium-range weather forecasting is critical to decision-making across many social and economic domains. Traditional numerical weather predicti ...

 
graph + vision transformer。model weight不到200MB

這3個模型，家用電腦就可以輕鬆運算。

GraphCast跟PanguWeather都強調，颱風/颶風/氣旋的路徑預測，AI比傳統運算準確。但沒講的就....

然後最重要的事，AI以後會不會大幅進步？答案是，不會，除非有新的AI演算法，或者找到新的資料來源。

AI(deep learning)要進步，就是要更多的資料，但氣象的資料就這麼多了，每年的新增資料也有限，所以AI天氣的準確度，大概就停滯在這裡吧。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣)
※ 作者: oopFoo 2024-07-21 21:46:32
※ 文章代碼(AID): #1cdH50ao (TY_Research)
※ 文章網址: https://www.ptt.cc/bbs/TY_Research/M.1721569600.A.932.html
推 aegis43210: GraphCast真的不錯，只是Deepmind又把重心放到其他領域了1F 07/21 21:52
推 mark0204: 感謝分享3F 07/21 21:54
推 HellFly: 出道即巔峰的概念嗎4F 07/21 22:07
→ JuiFu617: 可以了啦，已經不給傳統模式活路5F 07/21 22:08
推 dildoe: 資料來源就那幾個reanalysis,training結果差很大嘛!6F 07/21 22:26
推 hedgehogs: 插更多測站放更多氣球取得更細緻資料能再改善嗎7F 07/21 22:39
推 zxc445567: 這些AI模型都離不開 NVDA H100 還有模組Earth -28F 07/21 22:40
推 shiauber: AI會進步的....即使演算法不變
但演算法是會持續進化的
單純算力的增加都會提高準確率
然後隨時都會有新資料進入
會release的只是basic model
真正在評估的都是實時在更新資料的
資料，算力，演算法，都在讓AI更準確9F 07/21 23:04
推 handfoxx: 怎麼可能不會....光AI會自我學習 未來就有無限可能16F 07/21 23:04
AI自我學習？股版看太多了
→ shiauber: 所以資料要錢 演算法要錢 算力要錢17F 07/21 23:06
推 lsd25968: data augmentation跟GAN: am i a joke to you?18F 07/21 23:09
什麼樣的discriminator才能GAN？如果有這樣的discriminator，傳統預測早就飛天了。
data augmentation也行不通，LLM已經玩過了。好的curated dataset才有好的AI
→ canandmap: 砸錢買最強的老黃顯卡RTX4090就有可能吧?
我有個同事，他的公司電腦就插了4090來算AI的說19F 07/21 23:10
推 fajita: Deep learning把網絡層數加深，相同的資料可以榨出更多細節特徵，其實對於準確性都大有幫助21F 07/21 23:14
推 ryan823520: 演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明很多。23F 07/21 23:20
推 canandmap: 嗯，好像真的在培養一個小孩的說25F 07/21 23:30
→ hnjsh: 除非AI能自創出新的模型，不然用現有的模型去餵能算出來的東西還不是一樣26F 07/21 23:37
→ newsnew: 問題是你每年只有幾個颱風颶風的資料可以訓練28F 07/21 23:50
這就是最大的侷限。DL需要大量正確的data來進步
推 ludwig0201: AI只會持續進化，而且速度加快，毋庸置疑
你如果有能力預測AI的極限，應該忙到沒時間在ptt發文29F 07/21 23:52
→ timidwei: AI會進化 而且不會累 真的是未來趨勢32F 07/22 00:08
推 kevin0316: AI以後如果是像黃爸說的 連地面建築物對風的影響都能算進去 那精準度一定是很高的33F 07/22 00:14
推 yamelody: 如果這次路徑真能提早這麼多天精準預測 其實以時間序列模型來說已經非常厲害了 同時也達到可提早防颱的任務35F 07/22 00:20
→ OBTea: 主要是人類用數學模型還不足以描述大氣現象，AI可以彌補這部分38F 07/22 00:22
推 steven3abc: 運算能力、模型架構、資料量都能夠讓AI能力提升40F 07/22 00:36
推 orze04: 氣象你怎用GAN生資料==
每年的資料就只會多那一點點
重train會怎樣誰也不保證41F 07/22 00:58
→ OBTea: 但是算力提升應該可以做到更早預測44F 07/22 01:01
→ orze04: 增加節點數量和網路深度算最直關粗暴的方法了
另外更細部的接近前地形效應，這個還很有潛力45F 07/22 01:03
推 aegis43210: 算力提升不會更早預測，這不是LLM
掌握強化學習的方向，使模型遵守物理定律更重要47F 07/22 01:08
→ oopFoo: 現在對AI的期待太高了，AI是好用，但有它的侷限。就像5年前的AI自駕，吹太高了，如果當初簡單49F 07/22 06:33
※ 編輯: oopFoo (58.114.66.74 臺灣), 07/22/2024 06:39:40
→ oopFoo: 開始，只專注高速公路，也許現在早就有普及的自駕51F 07/22 06:42
推 CCNK: 你有足夠的資料量和數據給他學習 很可怕的52F 07/22 07:50
→ hnjsh: 放給AI隨機自己去產模型，等等就算出人類應當是三頭六臂這種東西，沒有人類糾正算出來就是一坨垃圾。交給隨機的話怎麼不乾脆去廟裡擲杯，反正是一樣的53F 07/22 08:00
推 wj12240522: 16樓標準的普通人思維  問題是有多少東西可以給AI學 什麼方法學56F 07/22 09:45
→ down: 我看到了不懂AI的人在談論AI....58F 07/22 09:48
推 wj12240522: AI算颶風大概就是給定一個曾經出現的颱風，然後給他當時的大氣環境，最後就是不停的給他算，算到最後要無限接近吻合當時的真實情形，AI訓練不是普通的機器人做事，給他訓練他就會無限變好，要給於懲罰與獎勵，除了已發生的真實案例，可以明確的讓算法設計者知道如何給予目標獎勵外，要他憑空捏造一個人類都不知道正確解答的問題，只會越來越歪像樓上講的一樣算出個三頭六臂，按照樓上什麼架構優化 運算算法什麼算力進步都根本不是重點59F 07/22 09:54
推 canandmap: 不過AI應該很早就出現了吧?只是因為去年開始嶄露頭角，會有人不懂好像也很正常?68F 07/22 09:57
推 wj12240522: 就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦，最後兩者根本是不同類型的工具70F 07/22 09:59
推 t95912: AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂
好像只要加上AI就是一個很厲害的東西？@@72F 07/22 10:24
→ minervava: 這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大聲還以為來到股民討論區74F 07/22 11:34
推 ludwig0201: Ai平台和模型的重大突破也只是去年的事，怎麼老有人愛扯到祖宗十八代
如同工業革命前早有蒸汽機，只是瓦特做了突破性的改良，日後世界就產生重大變革76F 07/22 12:21
推 savishu: 地球平均一年80個熱帶氣旋，每年能餵的資料也不少吧80F 07/22 12:56
→ oopFoo: 問題是，要減少誤差，你需要多多少資料？減半是需要82F 07/22 13:30
推 KyuubiKulama: 一年80個，觀測的數據抓個50年也才4000筆算少的83F 07/22 13:32
→ oopFoo: 多50%?多2x?3x?4x?。這幾個model都是用約40年的資料來訓練。你要減半誤差，要多少個40年的資料？84F 07/22 13:32
推 djmez: 一般模型訓練資料大小至少要是feature10倍以上
上面最小的graphcast每個網格點都要474個input features了86F 07/22 13:52
→ hinajian: 自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤89F 07/22 14:27
推 kevin0316: 自駕車最大的問題不是因為人嗎90F 07/22 14:50
推 nuc1earsub: 自駕車的問題是車禍責任歸屬，就像有人吹AI看病一樣醫療糾紛算誰的?91F 07/22 15:05
推 shiauber: 你可以信與不信 科學的盡頭是玄學
自駕你隨便google waymo就知道了 =.=
人家都在盈利了93F 07/22 15:20
推 snocia: 然而隨便Google也能看到在加州發生重大車禍96F 07/22 16:09
推 shiauber: 台灣也天天在車禍 XD97F 07/22 16:51
推 anachronism: AI準，下周股票大漲， 反之。。。98F 07/22 17:00

--
作者 oopFoo 的最新發文:
點此顯示更多發文記錄