一家低調的矽谷新創公司正致力於針對人工智慧(AI)的軟體問題尋求一勞永逸的解決方式。
Modular AI共同創辦人兼執行長Chris Lattner日前接受《EE Times》的採訪說：「這個產業正處於一個有趣的階段，每個人都知道AI的潛力，也著眼於相關研究，但除了世界上最大的公司以外，其實還未能真正進入產品階段。」
由於AI與機器學習(ML)仍然是新興領域，目前AI/ML軟體堆疊所依賴的一些技術主要都起源於研究專案。
「當時還是純理論的研究，因此，研究實驗室建立這類工具是合理的。」Lattner所指的正是目前廣泛使用的AI架構與編譯器基礎設施。「而當時間快轉來到今日，已經不再只是理論研究了。」
他補充說，這就是AI軟體與工具並不完全可靠的關鍵原因之一。它不但無法預測，而且幾乎沒有安全規範，根本不是為了成為生產軟體而建構的。
根據Lattner指出，目前的AI架構——例如Google TensorFlow、Meta Pytorch或Google Jax，都並非在於讓整個世界的ML變得更棒，而只是為了解決為其付費的公司所面對的問題。「如果一家公司沒有與超大規模資料中心業者(hyperscaler)相同的設置與使用案例，那麼它就算能夠正常運作，也並非專門設計用於特定工作。」
Lattner將此稱為「舊有架構」(hand-me-down infrastructure)問題。Modular共同創辦人與產品長Tim Davis則稱其為「涓滴架構」(trickle-down infrastructure)。
Modular共同創辦人Chris Lattner(左)與Tim Davis(右)。
(來源：Modular AI)
晶片公司面對的問題是在架構層的變化會產生反作用。
Davis說：「硬體公司必須滿足編程模型，並將其降低到硬體層級。隨著這些架構的演進，軟體堆疊必須不斷發展，以滿足硬體的需求，才能讓硬體完全符合並得以利用。這表示需要回歸架構層以便能支援所有不同的架構，但事實證明這具有一定的挑戰性。」
過去幾年來，晶片公司已經推出了幾十個基於特定領域架構的不同加速器。每一個都需要客製的編譯器，在大多數情況下也都必須從頭開始建構。
「關於張量(tensor)與ML曲線，有趣之處在於其隱含的平行性成為運算描述的一部份。」Lattner指出，「這表示當你突然處於一個更高度的抽象層時，代表編譯器可以執行更多功能。就像硬幣都有正反兩面：一是『可以』做得更多，而另一面則是『必須』做這麼多。」
AI軟體的現狀對於開發者來說也是個壞消息，因為同一個程式可能需要部署至多個系統，而其限制條件又各有不同——從伺服器到手機到網路瀏覽器，無所不包。
「如果你想部署的每一個系統都有不同的工具鏈，那麼建構產品的團隊就必須一次又一次地重新編寫程式碼。」Lattner說：「這將會是一項巨大的挑戰。現在，硬體團隊必須打造自家的軟體堆疊，因為缺少適於使用的插件…。我們需要更多標準化的力量，讓硬體人員更容易開發，同時也有助於軟體開發人員解決所遇到的問題——因為工具能夠更妥善利用了。」
Lattner與Davis聯手成立的新創公司Modular打算解決其中一些問題。「我們正著手解決所有熟悉問題，包括如何執行硬體抽象層、如何讓編譯器與各種不同的硬體溝通，以及如何建立可以插入許多不同硬體的部份等。」Lattner說：「大致上，我們在為世界上已使用中的所有工具與技術建構其生產級版本。」
Modular計畫解決架構與硬體之間的一切問題，包括硬體公司面臨的常見問題，同時讓他們為其特定加速器自行打造軟體堆疊元件。
他說：「我們不太可能有能力解決他們各自的獨特問題，但他們之間也有共同的問題。例如，如何載入資料？如何插入Pytorch？我們可以在這些問題上提供價值。」
這也包括像影像解碼和嵌入特性查找表等任務——換句話說，那些與AI加速無關但客戶卻很期待的事情。
Lattner說：「在這方面有很多非常有趣的硬體，但難以被採用，因為他們只是想讓基本的東西得以運作。」Davis補充說，這讓硬體公司在不斷變化的架構需求以及持續發展的演算法中掙扎。
他說：「如何將持續發展的演算法降低到可運用於硬體上，而不是硬體公司必須重新編寫一半的AI軟體堆疊，只為了使其發揮作用？」
現在正是重建AI軟體以釋放開發人員潛能的時候了！
(來源：Modular AI)
為什麼需要一家全新公司傾全力來解決這些問題？
Lattner與Davis的觀點是，業界大多數的編譯器工程師都致力於製作某一特定的硬體工作，時間上也受到嚴格限制。這代表沒有人能夠發現更廣泛的問題。
Lattner說：「這是個繁瑣零碎的問題。編譯器工程人才被分配到不同的晶片領域：這缺乏一個重心，但其實你可以擁有一支團隊，使其瞭解如何打造不僅解決問題而且也能提升品質的事物。」
Modular正在建立一支這樣的團隊，首先就是從LLVM的共同發明人Lattner開始。他的資歷包括Clang、MLIR以及來自SiFive、Google、Apple、特斯拉(Tesla)的Swift等編程語言。
Davis以前曾經在Google從事AI基礎架構任務，包括TFLite與Android ML。Modular的編譯器工程負責人Tatiana Shpeisman先前曾經領導GoogleML的CPU和GPU編譯器基礎架構，也是MLIR的共同創辦人。
團隊中的其他成還包括了XLA、TensorFlow、Pytorch和ONNX等編程語言的背景。整體來說，Modular雇用了大約30人。
Modular的目標是建立一個開發者平台，讓公司的不同技術部份能以不同方式應用在不同的產品。
「我們想做的是從根本上協助ML成長，使得基礎架構變得更可靠，讓人們能在其上建立產品，而無需擔心任何相關事情。」
儘管Modular目前仍低調地處於隱身模式，但計畫今年就會發佈首批產品。
(參考原文：Addressing AI’s ‘Hand-Me-Down Infrastructure’ Issue，by Sally Ward-Foxton)
本文同步刊登於《電子工程專輯》雜誌2023年2月號
The post 解決人工智慧「舊有架構」的問題 appeared first on 電子工程專輯.
