隨著人工智慧(AI)、高速運算(HPC)等前瞻技術的演進，業界對記憶體頻寬的要求與日俱進，目前以高頻寬記憶體(High Bandwidth Memory，HBM)為主流。不過2021年8月，客製化記憶體廠愛普宣佈成功實現異質整合高頻寬記憶體(Very High-Bandwidth Memory，VHM)，並攜手台積電、力積電打造用於以太幣挖礦機的ASIC，意欲發起革命挑戰HBM的地位。
愛普董事長陳文良
這顆ASIC是少見的3D堆疊IC，以38nm的DRAM和55nm的邏輯晶片堆疊而成。由力積電負責客製化的動態隨機存取記憶體(DRAM)晶圓代工服務，台積電提供邏輯製程晶圓代工及3D堆疊服務，愛普則拿出兩大武器，客製化DRAM設計及系統單晶片(SoC) 整合介面VHMLink IP，客戶是台灣的鯨鏈科技。這個多方合作的心血結晶ASIC，已於去年量產。
愛普自2019年轉型後，專注在DRAM的客製化；本就在極度碎片化市場拚搏的他們，對客製化DRAM的技術並不陌生，不過VHM技術卻是嶄新且難度相當高的嘗試。為了研發這堪稱革命性的創新技術，身兼技術長的愛普董事長陳文良親自主導研發，帶領團隊幾乎從零開始摸索，總算用三年多的時間，打磨出VHM的技術。
「AI或其他應用記憶體和SoC每秒數據的數據流量，是現行方案的10~100倍，這是無法解決的問題，」陳文良表示，HBM一般擺在邏輯晶片周邊，每顆晶片分別以1,024支接腳連接SoC，若要符合現行頻寬需求，增加HBM顆數是一種作法，但2.5D封裝需將晶片和SoC擺在矽中介層(Interposer)上再封裝，空間有所侷限，要擺100顆幾乎是不可能，這也是為何要客製化發明一個技術。
所謂記憶體頻寬，指處理器從記憶體讀取或儲存資料的速率。以HBM來說，已量產且頻寬最快為HBM2E，每堆疊記憶體頻寬最高461GB/s (Gigabyte per second)，每個接腳的傳輸速率為3.6Gbps (bit per second)，傳輸每位元約消耗6pJ的能量；據愛普提供的資料，VHM雖每個接腳的傳輸速率較慢，為0.5Gbps，不過提供比HBM多出近十倍的記憶體頻寬，來到4,600GB/s，傳輸每位元消耗的能量則不到1pJ。
VHM與市面上其他DRAM解決方案，高頻寬及功耗等特性有較佳的表現。
(來源：愛普)
3D堆疊IC設計難關多 愛普手握兩大武器
記憶體頻寬之所以能大幅提升，關鍵之一就在3D堆疊；藉由這樣的方式，比起用2.5D封裝的HBM，愛普所設計面積832mm2的DRAM晶片跟SoC透過數萬支接腳連接，實現頻寬大幅提升、功耗顯著下降，並節省空間的效益。單以規格來看，VHM確實展現優於HBM的特性，但之所以到現在才問世，原因在3D堆疊衍生出的良率、散熱等難題，讓業界對投入研發的態度相對保守。
3D堆疊IC概念約莫十年前出現，然而直到近年摩爾定律的延續遇上瓶頸，發展才開始緩步增速，像台積電這樣的領導大廠，也是到2020年才發表3D Fabric先進封裝技術。業界之所以保守，陳文良歸納出幾個難解的問題，包括堆疊造成良率下降；單片晶圓就有的散熱問題，堆疊後的問題更難解；還有晶圓的裸晶(Die)也要一樣大；另外還有同步性等難關，設計上的挑戰相當多。
再者，陳文良進一步指出，這類產品從前端架構就要跟客戶緊密合作，物聯網(IoT)記憶體的客製化，可能大多是接腳的修改，VHM產品針對晶粒的形狀大小、頻寬、功率、溫度等面向都要考量，尤其這類的記憶體非常重視功耗跟傳輸速度，功耗大一點點就會非常熱，需要極致的客製化，一個案子可能就要耗費數年，「但從產品需求來看，所有會面臨的問題我們都克服了！」
愛普耗時三年，掌握VHM和傳輸介面IP VHMLink技術。
(來源：愛普)
除了DRAM的客製化，愛普另一個、也是陳文良訪談時直呼「厲害」的技術，就是他們掌握的VHM Link IP。VHM Link IP是傳輸介面的IP，整合了DRAM的控制器，以及DRAM儲存及讀取資料時的時脈產生器；內建BIST (Built in Self test)修復功能，以提升良率與降低晶片的測試成本；定義邏輯晶片和VHM DRAM間的傳輸協定，確保DRAM能藉由邏輯晶片I/O順暢的進行數據傳輸。
「讓客戶的SoC，跟我們很多個記憶體的數個位址能頻繁且快速的溝通，這就是我們的Know how。」陳文良形容，以前2.5D只是單純到隔壁鄰居家敲門拿東西，3D堆疊則是1樓跟2樓間有很多電梯，如何控制電梯趕快把東西拿下來，就是厲害的地方。也就是藉由VHM Link IP，讓VHM能用更少的功耗實現跟SoC間的高速資料傳輸。據愛普內部資料，同樣支應4TB/s頻寬，VHM單顆即可符合需求，功耗不到20W；HBM則需使用10顆，總功耗超過200W。
提到這顆以太幣挖礦機ASIC，陳文良顯得信心滿滿，更豪氣的說，之後會慢慢看到那顆ASIC打死大廠的GPU，「以太幣挖礦機的演算法是純粹靠數據流量，量越大跑得越快。我們客戶導入VHM做出以太幣挖礦機的ASIC，數據流量是主流大廠GPU的十倍。現在的產品還只是原型(Prototype) ，未來效能還有機會再往上走。」
VHM挑戰主流地位 陳文良瞄準網通市場進攻
著眼AI等前瞻科技持續演進，未來高頻寬的需求可預見將只增不減。陳文良表示，挖礦機是現階段試驗技術最好的場域，接下來CPU、GPU都有機會採用這樣的架構。即便VHM仍處在有應用、非主流的階段，他堅信愛普獨門的VHM技術躍升主流，將是整個產業發展下必然的趨勢，「不可能有別的方法解決頻寬問題，一定要用3D解決，只是時間問題。」
陳文良點出網通產業，已看到現有技術無法滿足需求的現象。他解釋，網路交換器(Switch)的資料需要先經過緩衝(Buffer)辨識資料，才能正常運作，交換器現在每個接口(Port)速度接近1TB/s，5個接口就需求5TB/s的頻寬，靜態隨機存取記憶體(SRAM)容量不夠，HBM會需求太多顆放不下，到TB量體已經沒有記憶體解決方案，唯有VHM可以跟得上網通的速度。
任何技術要變成主流，需要時間，也需要關鍵應用，才有機會開枝散葉，陳文良預期，網通會是VHM第一個主流突破點。不過除此之外，他也坦言3D IC供應鏈現階段不夠成熟，影響客戶導入的意願，也是客戶最不滿意的環節，尤其3D堆疊技術，主流代工廠有在開發技術，但由於量還未起來，動作相對保守，建產能都是兩、三間非主流的廠商，還需要一點時間。
不像有些技術要成熟，需動輒數十年，陳文良認為憑藉過去三年多研發的經驗，VHM幾年內就有機會漸趨成熟。據悉，愛普在今年初，以發行普通股參與海外存託憑證形式，辦理發行總金額達1.89億美元(約新台幣57億元)的現金增資，其中一個目的，也就是為了更深度投入該技術的發展，和夥伴共同推動供應鏈加速邁向成熟。
愛普並仍積極向外尋找合作夥伴，盼進一步擴大VHM的應用市場，日前加入OpenCAPI聯盟，與業界一同加速近記憶體運算(near-memory computing)的發展；另，也成為由台積電、日月光、高通、AMD等國際大廠組成的小晶片互連產業聯盟(Universal Chiplet Interconnect Express，UCIe)的一員，目標與產業界共同完善小晶片(Chiplet)生態系。
遭遇逆風Q2毛利降 陳文良要靠技術力突圍
愛普歷經轉骨，近年在陳文良領軍下，營運趨穩，去年全年營收66.2億元，稅後純益20.3億元，每股純益13.67元，皆為歷年新高；今年上半年遭遇中國大陸封控、烏俄戰爭等逆風襲擊，加上產業進入庫存調整期，第二季單季毛利率降至41%，為近六季低點。但陳文良並不悲觀，日前法說會時，重申以提高產品IP含量拉升毛利率的策略不變，未來一兩季會調整產品組合，並釋出預期第三季單季毛利率將較第二季41%回升、第四季穩中求升的展望。
陳文良預期，在AI事業部分，VHM在以太幣挖礦領域新設計案不少，也有非挖礦的NRE，長期將專注在VHM跟各領域的推進，為建立完整生態圈及VHM導入主流努力。IoT部分，在IoT需求持續放大的趨勢下，公司已發展十餘年、擁有相對成熟技術的虛擬靜態隨機存取記憶體(Pseudo SRAM，PSRAM)產品，可望發揮競爭優勢，帶來穩定且持續成長的現金流。
IoT事業目前佔愛普八成營收，是其得以持續投入資源在AI事業的重要泉源。談及愛普的競爭優勢，陳文良指出，IoT設備要求體積小、續航力強，所需的記憶體容量落在16~512MB間，SRAM容量多在8MB以下、DRAM最低4GB又太大，這就是PSRAM適合發揮的空間，而愛普的強項是會成為第一個為客戶應用量身訂做、定出規格的廠商，這是標準DRAM做不到的。
因應IoT市場的趨勢，愛普今年也推出512MB UHS (Ultra High Speed)系列產品AP351216C及AP351208，以及32MB ULS (Ultra Low Swing)系列產品AP43208B；UHS系列頻寬比傳統PSRAM高五倍，ULS功耗僅傳統DRAM的三分之一。陳文良表示，IoT著重小型化跟低功耗，比如，現在愛普產品的待機功耗落在10μA左右，以電池供電的電錶至少要能用十年是基本，至今仍在不斷最佳化內部電路，朝越來越細的環節做精進。
陳文良大膽預期：未來DRAM主流應用將走向客製化
AI跟IoT兩大事業體發展逐漸邁向穩健成長，愛普下一階段的重點，將鎖定近年當紅的元宇宙(Metaverse)。陳文良表示，元宇宙現在趨勢是終端裝置的極致微型化，一定會看到手機變得更輕、更小來搭配AR/VR智慧眼鏡，甚至慢慢發展到最後也不用手機，「就像智慧手錶以前要搭配手機，現在也能單獨使用，那也就是智慧眼鏡的進程。智慧眼鏡取代手機，是一定會發生的。」
當AR/VR追求微型化到極致，陳文良認為，記憶體一定要用非常小型的，那也就是客製化的戰場。綜觀未來DRAM發展趨勢，他甚至大膽預期，現在AI、IoT等前瞻應用，鮮少廠商使用雙倍資料率(DDR) DRAM，甚至HBM都有人不想用，這意味著主流應用，將可能走向極致的客製化，未來應用也會離標準品越來越遠，最後價值可能不在製造端，設計公司將掌握最多價值。
「高度客製化是肯定的，因為標準化到此為止！」陳文良進一步指出，任何客戶只要發現市場上買不到某些產品，就會尋找像愛普這樣的廠商來做客製化，誰是客製化的主要供應商還都不知道，愛普雖是規模相對小的公司，不過已站在DRAM客製化的最前端。
對於市場瀰漫著一股悲觀氣氛，陳文良形容，市場循環就像一天睡醒後很快到晚上又天黑，一陣子造成大家營收下來、過陣子又回來，循環相較於技術改進很短暫，「但技術循環是不會改變的，我們做的技術發展可以贏過市場循環。」展望未來，陳文良樂觀以對，「IoT現在市場規模是5億美元，AI規模是10億美元，兩個市場才剛開始，之後很可能是現在的數倍規模，潛在成長機會還很大。」
本文同步刊登於《電子工程專輯》雜誌2022年9月號
The post 愛普董事長陳文良以VHM技術向HBM下戰帖 appeared first on 電子工程專輯.
