AI市場這兩年發展的一個主旋律可說是在邊緣AI上——或者再進一步縮小到tinyML。參與這一市場的競爭者，不光有傳統MCU/MPU供應商、IP供應商，還有不少新創的邊緣AI晶片供應商。
邊緣AI技術的優勢，例如邊緣AI將推理(inference)部分工作轉往本地，不需要與資料中心或閘道器進行資料通訊，節約功耗和開銷；不需要考慮網路通訊的延遲和頻寬問題；而且這麼做也讓隱私更有保障…等。
不過，邊緣AI未來一段時間將持續火熱的必然原因在於，邊緣端設備數量和市場規模是任何市場參與者都無法漠視的：猶如物聯網(IoT)裝置數量很快會達到百億量級，如果邊緣AI市場發展起來，必然又是個了不得的大蛋糕，這對任何層面的市場參與者而言都是擴大營收的機會。
最近筆者採訪瑞薩電子(Renesas)執行副總裁兼物聯網及基礎設施事業本部本部長Sailesh Chittipeddi時，他援引了Omdia的一份資料，如圖1所示。
圖1：AI市場發展。
(來源：瑞薩電子)
預計到2025年，深度學習晶片的市場營收上，用於推理的AI晶片營收將達到訓練(training) AI晶片的10倍。其中功耗不到5W的AI推理晶片，市場營收將是其他類別的2倍。<5W就是應用於邊緣端的AI晶片，圖1也呈現了企業(enterprise)與邊緣AI晶片的營收變化。
這樣的市場增量當然值得企業下功夫。不過真正要把AI晶片賣出去，可不光是把晶片本身做好這麼簡單。
本月初，瑞薩電子宣佈收購一家嵌入式AI解決方案供應商Reality Analytics (Reality AI)。雖說對瑞薩而言，收購屬於常規操作，但這應該是瑞薩首次執行以AI技術為明確收購目標的操作。瑞薩是在邊緣AI技術上行動相對比較晚的晶片廠商，本文將觀察瑞薩電子的AI技術佈局，及其對該市場的展望，可望有利進一步理解AI的發展現狀和未來的可能性。
邊緣AI市場佈局
瑞薩是傳統MCU廠商中佈局邊緣AI技術的又一個典型代表。英飛凌(Infineon)、德州儀器(TI)也都有類似操作。可見這些大型跨國晶片企業對邊緣AI市場的理解大致相似，雖然它們之間又有各自的側重點。
而談到瑞薩的邊緣AI技術，最先想到的就是其e-AI/DRP (Dynamic Reconfigurable Processor)技術。之前的不少技術展會上，也可看到過瑞薩展示這種專用的AI推理加速器，且AI 加速器DRP-AI前兩年就已經應用於瑞薩RZ/V系列MPU晶片中。
不過，Chittipeddi指出，DRP-AI並非瑞薩邊緣AI佈局的全部，「AI有多種實現方式。其一是CPU+NPU (neural processing unit)，這類方法也可以是CPU和FPGA之類的硬體配合。其二，只用通用MPU (即CPU/MCU)，如64位的MPU來運算；第三種則是DRP-AI。」
市場對AI運算的理解主要偏向專用的神經網路運算加速晶片或單元。不過實際上AI運算用一般的通用處理器也可以，雖然性能和功耗都相對受限。尤其對於邊緣端裝置而言，受制於功耗、運算力和成本，大部分AI推理運算仍然基於通用處理器，例如Arm針對Cortex-M55就特別新增了Helium向量處理單元，著力於加強DSP和ML方面的能力；再如去年發佈的Raspberry Pi Pico能跑TensorFlow Lite Micro，也是基於Cortex-M0+。
且隨著tinyML技術的興起，邊緣AI生態也在想方設法地縮減AI模型尺寸、降低對記憶體容量和運算能力的需求。所以Chittipeddi也特別談到，Reality AI之前與瑞薩之間的合作，其AI模型應用於瑞薩的translator libraries，就是以瑞薩通用MCU、MPU為運算載體。
「DRP-AI作為一種完全彈性化的選擇，是我們提供的解決方案。在高階機器人市場，尤其是針對基於視覺的AI技術，瑞薩認為DRP-AI技術，以及一些新產品會扮演非常重要的角色。」Chittipeddi認為，「這個領域可以等等看，有不少視覺AI相關的有趣工作在持續中。」
各家業者邊緣AI解決方案的效能及功耗比較。
(來源：瑞薩電子)
前兩年瑞薩就開發了DRP-AI，以及DRP-AI translator軟體。這是一種針對視覺AI的神經網路方案，比如能夠應用於工業生產的預測分析(如某個馬達運作故障之前，根據AI分析就能提前預知其故障發生)。之前瑞薩將DRP-AI定位為一種比較典型的前饋神經網路(feed-forward neural network)運算加速方案，相比於其他類型的處理器，以及像是Nvidia Jetson nano GPU和Intel Myriad X向量處理器在效率上有顯著優勢。
AI生態建設需要時間
雖說在硬體效率上有優勢，「但與在雲端有生態基礎的市場競爭者相比，我們目前欠缺的是生態合作夥伴的廣度。」Chittipeddi坦言，「但我們現在正在發展生態系統，今年年底之前就會有數百個合作夥伴。」
「我的期望是隨著時間的累積，DRP技術會在邊緣端視覺AI解決方案上得到越來越好的最佳化。」Chittipeddi說，「如果只是中等性能需求，那麼一般的卷積神經網路(CNN)解決方案就足了。但在視覺AI方面，如果期望尋求能效和功耗高度最佳化的解決方案，應該會考慮採用能夠對自身進行動態重配置的前饋神經網路產品。」
瑞薩在AI生態建設上應當仍處於早期階段，所以Reality AI成為瑞薩的首個與AI相關的收購標的。不過邊緣AI整個領域本身的發展階段尚處於早期，且瑞薩這兩年的動作也還算是頻繁，Chittipeddi就提到，瑞薩內部有個團隊是專注於AI生態合作夥伴開發，其中包含了技術行銷和業務拓展團隊——他們會和不同的客戶進行合作。
而且在這次收購Reality AI後，瑞薩也打算在美國馬里蘭州新建一個AI卓越中心。不久前，瑞薩也宣佈了和嵌入式語音解決方案供應商Cyberon之間的合作，雙方將合作提供VUI (voice user interface)解決方案。Chittipeddi表示，「我們期望擴展MCU、MPU、DRP-AI合作的範圍，讓它們得到最大範圍的應用。」
不僅如此，還有比較典型的生態建設活動，像是前年的瑞薩盃全國大學生電子設計競賽。瑞薩就鼓勵所有的參賽選手能夠在自己的參賽項目中切實地用上DRP-AI資源。
生態補全和差異化競爭
基於這些，就能理解瑞薩收購Reality AI的原因——AI生態和能力擴張自然是其中重點。Chittipeddi說明，「我們之前就和Reality AI有合作了。這家公司是我們生態合作夥伴中的一員，我們在HVAC負載均衡應用方面一直有合作。」
Reality AI涉足的市場和產品。
(來源：瑞薩電子)
「Reality AI和其他競爭者的不同之處在於，他們專注於工業領域。」這也是瑞薩的主場，Chittipeddi說，「對我們來說，這相當匹配。與此同時他們在汽車領域也有涉獵。」
Chittipeddi並補充「我想，基於我們的整體策略，雙方相當合拍。而且這一領域的人才也非常難找。而Reality AI團隊的人在開發AI模型方面非常專業，且也有DSP專家。雖然這個團隊並不大，但預計會快速成長。」
True tinyML範例。
(來源：瑞薩電子)
瑞薩舉了Reality AI模型的兩個例子，並將其稱作「True tinyML」。這裡的回歸模型和分類模型是工業應用中的典型案例，重點在於，最後一行儲存和運算力資源需求量，應當是瑞薩稱其為「True tinyML」的原因。Chittipeddi解釋，「Reality AI和我們的MCU、MPU工作流契合度很高：他們做前端AI模型開發，我們提供translator libraries——經過融合之後(藉由e² studio工具)，就能跑在MCU、MPU上了。」
「如此一來，我們就能為客戶提供更為完整的產品。而且如果客戶需要開發AI模型，但本身又沒有這方面的能力，我們也能提供Reality AI的model-as-a-service模型服務。」Chittipeddi強調。從這番解釋來看，Reality AI是增強瑞薩AI生態建設能力的重要一環。
「Reality AI原本的客戶可以用我們的MCU和MPU；我們對現有的客戶，又能透過Reality AI的工具提供AI模型——提供完整的套裝，端到端的解決方案，從問題定義、AI模型到MCU上的實作。」這也是Chittipeddi反覆提到，瑞薩在邊緣AI市場形成差異化競爭的關鍵。
此外，Reality AI提供的產品可能更多地適配於更小運算力的tinyML裝置上。在運算力需求更高的DRP-AI生態中，Chittipeddi也談到了瑞薩為開發者打造更為全堆疊式、完整系統級解決方案的執著，以期讓AI開發更加無感。
邊緣AI市場正快速發展
「我們相信邊緣AI是個正在快步成長中的領域。我們能夠在這一領域找到相較競爭對手的差異化方向。我們為客戶提供完整的工具套件，部分市場競爭者就很難追上。」Chittipeddi總結，「這其實不是買間公司這麼簡單的事，而是建構一整套全面的解決方案和恰到好處的用戶體驗，讓工具比競爭對手的更易於使用。若瑞薩能做到這些，就能在競爭中勝出。」
最後，Chittipeddi再度強調在Reality AI的加持下，當前瑞薩於邊緣AI領域相較競爭對手的不可替代性——即Reality AI能為客戶，以服務的方式提供AI訓練模型，也就是所謂的AI model-as-a-service，尤其滿足那些不具備這方面能力的企業。即便瑞薩和Reality AI的產品融合還需要一些時間，但在Chittipeddi看來，這方面的能力在市場上已足以實現差異化競爭。
本文同步刊登於《電子工程專輯》雜誌2022年9月號
The post 光有晶片無法實現AI應用 appeared first on 電子工程專輯.
