AI算力浪費高達85%？這家新創要靠軟體解決

全球正在瘋狂建造AI資料中心，但這些機器有70%到85%的時間什麼都沒做。

這不是誇張，而是Gimlet Labs創辦人Zain Asgar引用的行業數據。他說：「換個方式想，你正在浪費數千億美元，因為你讓資源閒置在那裡。」上週，他的公司宣布完成由Menlo Ventures領投的8000萬美元A輪融資，總融資額達到9200萬美元。

AI推論的隱藏瓶頸

理解Gimlet Labs在做什麼，需要先了解AI推論（Inference）的運作邏輯。

當一個AI代理（Agent）完成一項任務時，它實際上在執行多個性質截然不同的步驟。Menlo Ventures合夥人Tim Tully在投資說明中寫道：「推論是運算密集型；解碼是記憶體密集型；工具呼叫是網路密集型。」換言之，同一個AI應用在不同階段需要不同類型的晶片——但現有系統傾向於把所有工作都丟給同一批GPU。

結果就是：高階GPU在處理它並不擅長的任務，而其他晶片則在旁邊空轉。Asgar估計，現有硬體的實際使用率僅有15%至30%。

Gimlet Labs開發的軟體層，能夠將AI工作負載拆解並同時分配給NVIDIA、AMD、Intel、ARM、Cerebras和d-Matrix等不同架構的晶片。公司稱此為「多矽推論雲（Multi-Silicon Inference Cloud）」，聲稱在相同成本與電力消耗下，可將推論速度提升3至10倍。

廣告

廣告合作

[email protected]

廣告

這對亞洲科技生態意味著什麼

McKinsey估計，全球資料中心支出到2030年將累計接近7兆美元。在這個數字的背後，是各國政府和企業正在進行的一場算力軍備競賽。

對台灣而言，這個議題有特殊的觀察角度。台灣是全球AI晶片供應鏈的核心——台積電製造了絕大多數先進AI晶片，鴻海、廣達、緯創等代工廠組裝AI伺服器。如果Gimlet Labs的邏輯成立——即未來資料中心將同時運行多種異質晶片——那麼台灣供應鏈服務的對象將不只是NVIDIA一家，而是整個多元晶片生態系。這對台廠既是機會，也是挑戰：如何在更複雜的硬體組合中維持整合優勢？

對中國大陸來說，情況更為微妙。在美國出口管制限制先進GPU輸入的背景下，中國資料中心本就被迫運行更多元的晶片組合——包括華為昇騰、寒武紀等國產AI晶片，以及部分舊型號的NVIDIA晶片。從某種角度看，中國的算力環境已經是「被迫的多矽現實」。Gimlet Labs所解決的問題，中國企業其實早已在用更粗糙的方式摸索。

「軟體吃掉硬體」的邏輯，這次能成立嗎

值得注意的是，Gimlet Labs並非第一個試圖在AI硬體之上建立軟體抽象層的公司。NVIDIA自己的CUDA生態系就是一個極為成功的案例——而CUDA的護城河之深，正是許多競爭對手難以突破的原因。

Gimlet的賭注在於：隨著AI代理架構日趨複雜，單一廠商的垂直整合將無法滿足所有需求，「異質算力編排」將成為剛需。公司已在去年10月公開上線，並宣稱首年即實現超過1000萬美元的營收，客戶包括一家主要模型廠商和一家大型雲端業者（均未具名）。

投資者名單同樣引人注目：Sequoia的Bill Coughran、史丹佛教授Nick McKeown、前VMware CEO Raghu Raghuram，以及Intel CEO Lip-Bu Tan均以天使投資人身份參與。這些名字代表的不只是資金，更是對這條技術路線的背書。