Skip to content
Industry

24GB VRAM 才是本地 AI 的真實硬體門檻

Read the full story at Startup Fortune

r/LocalLLaMA 一項針對 Hugging Face 上 100 組熱門硬體配置的分析顯示,本地推論集中於 24GB VRAM。單張 RTX 4090 主導 7B 至 13B 模型的運行;雙 4090 配置則負責處理 30B 至 70B 模型。.

In-house analysis

本地推論真正跑在哪裡?答案是 Nvidia 消費級晶片,而非雲端。台灣的 GPU 供應鏈,正是每一種配置的底層基石。

24GB VRAM 才是本地 AI 的真實硬體門檻
重點報導
Industry

AI 伺服器需求強勁,鴻海第二季營收年增 40%

鴻海(Foxconn)公布第二季營收新台幣 2.51 兆元(約 790 億美元),年增約 40%,優於市場預期,主要動能來自 AI 伺服器機櫃。6 月單月營收達 8,218 億元,創同月歷史新高。公司預期本季 AI 機櫃出貨將持續成長。

Source: Read full story at Fortune

In-house analysis

鴻海的月營收就是 AI 資本支出之爭的現金裁決。懷疑論者還在爭論模型的投資報酬率,超大規模業者卻每個月匯進台灣 8,000 億台幣買機櫃。

Research

台大醫院試驗:AI 輔助大腸鏡揪出更多癌前病變

台大醫院發表一項 1,356 名受試者的隨機臨床試驗結果,顯示 AI 輔助大腸鏡在高風險族群中偵測出更多腺瘤:整體偵測率 58.5% 對 53.3%,糞便免疫化學檢測陽性者則為 65.3% 對 57.4%。研究由四家醫院共同執行,發表於 JAMA Network Open。

Source: Read full story at Focus Taiwan

In-house analysis

每 100 名高風險患者多揪出八例,這是能撐過炒作週期的 AI 成果:任務明確、隨機試驗、登上 JAMA。台灣的單一健保體系使它成為最適合率先規模化的市場。

Policy

台灣政府 AI 證照吸引 2.1 萬人報考

產業發展署 2025 年推出的「AI 應用規劃師」認證,累計報名人數已突破 2.1 萬人,其中 8,464 人取得認證。這項計畫訓練工作者將現有 AI 工具應用於企業營運,是賴清德總統「AI 島」政策的一環。

Source: Read full story at Focus Taiwan

In-house analysis

台灣製造全世界的 AI 硬體,自身的 AI 軟體導入卻像後段班。認證工具使用者而非模型開發者,是誠實的選擇:這座島的瓶頸在擴散,不在發明。

Policy

美超微主管遭羈押,晶片走私偵辦曝露台灣出口管制法制缺口

基隆地方法院裁准羈押美超微(Super Micro)台灣分公司兩名資深經理與經銷商青雲國際一名副總經理,這是台灣首宗針對輝達晶片轉運中國的刑事偵辦。由於台灣沒有針對 AI 晶片出口的刑事罰則,檢方只能以偽造文書等罪名偵辦。

Source: Read full story at Tech Times

In-house analysis

把晶片走私當文書偽造來辦,是繞道式的執法。在台灣把轉運行為本身寫進刑法之前,全球最關鍵的 AI 硬體咽喉點只能靠一條偽造文書罪來管制出口。

訂閱 TaiwanLLM

每週更新。免費。

You subscribe to The LLM Brief, the network behind TaiwanLLM.

週報簡報

最新週報涵蓋台灣最重要的 AI 發展。

閱讀完整簡報
最新消息