張志偉 田 果 王世權

（1.日月新（蘇州）半導體有限公司,江蘇 蘇州 215000；2.亞太芯谷科技研究院（香港）有限公司,中國 香港 999077）

1 AI芯片發(fā)展的歷史與現(xiàn)狀

AI（人工智能）芯片是被專門設計用于加速人工智能計算任務的集成電路。在過去幾十年里，AI芯片經(jīng)歷了持續(xù)的演進和突破，為人工智能領域發(fā)展作出了巨大貢獻。

1.1 AI芯片演進與重大突破

AI芯片的歷史可以追溯到20世紀80年代初。最早的AI計算任務是采用通用微處理器進行人工智能計算而完成的，但由于計算需求與通用處理器性能之間不匹配，計算效率并不高。隨著人工智能領域的迅速發(fā)展，社會對高效計算的需求越來越迫切，AI芯片研究逐漸受到重視。在20世紀90年代，圖形處理單元（GPU）成為AI計算的主要加速器。GPU在圖形渲染方面表現(xiàn)出色，但其架構對于一些特定的AI計算任務并不高效。然而，GPU的并行計算能力為AI芯片發(fā)展奠定了基礎。隨著人工智能的興起，20世紀末和21世紀初一些專用AI加速硬件出現(xiàn)了，如FPGA（現(xiàn)場可編程門陣列）和ASIC（專用集成電路）。這些芯片采用定制化的架構，能夠更好地滿足AI計算的需求，但設計和生產(chǎn)成本較高，限制了其廣泛應用。

2010年，深度學習興起推動了AI芯片技術重大突破。GPU在深度學習中的應用取得了巨大成功，但為了更好地適應深度學習模型的特點，研究人員開始探索新的AI芯片架構。ASIC出現(xiàn)進一步提高了AI計算的性能和能效，諸如Google的TPU（張量處理單元）和NVIDIA的Tensor Cores就是這一時期的代表。

1.2 當前的主流AI芯片技術與其應用場景

目前，AI芯片技術呈現(xiàn)多樣化的發(fā)展趨勢，主要包括以下幾種類型。

（1）圖形處理單元。GPU因其并行計算能力成為早期AI計算的主流加速器?，F(xiàn)代GPU在深度學習訓練和推理方面表現(xiàn)出色，廣泛應用于計算機視覺、自然語言處理等領域。

（2）張量處理單元。TPU是Google推出的專用AI加速器，特別優(yōu)化了張量計算。TPU在大規(guī)模深度學習模型訓練中表現(xiàn)出色，廣泛應用于云端AI服務。

（3）神經(jīng)處理單元（NPU）。NPU是一類專門用于神經(jīng)網(wǎng)絡計算的AI芯片，廣泛應用于智能手機和移動設備中，用于加速圖像識別、語音識別等任務。

（4）量子芯片。量子芯片是一種革命性的AI芯片，利用量子位來進行計算。盡管目前處于早期階段，但量子芯片在解決某些特定問題上顯示出巨大潛力，如優(yōu)化問題和密碼學。

（5）腦神經(jīng)芯片。腦神經(jīng)芯片研發(fā)受到人腦神經(jīng)元結構的啟發(fā)，試圖模擬神經(jīng)元之間的連接和信息傳遞。這種芯片在模擬類腦計算和智能機器方面具有潛在應用。

從廣義上講，能運行AI算法的芯片都叫AI芯片。CPU、GPU、FPGA、NPU、ASIC都能執(zhí)行AI算法，但執(zhí)行效率有巨大的差異。CPU可以快速執(zhí)行復雜的數(shù)學計算，但同時執(zhí)行多項任務時，CPU性能開始下降，目前行業(yè)內(nèi)基本確認CPU不適用于AI計算。CPU+xPU的異構方案成為大算力場景標配，GPU為應用最廣泛的AI芯片。目前業(yè)內(nèi)廣泛認同的AI芯片類型包括GPU、FPGA、NPU等。當前主流AI芯片廣泛應用于各個領域，包括但不限于自動駕駛、智能語音助手、醫(yī)療圖像識別、金融風控等。隨著技術的不斷進步，AI芯片的應用場景將進一步拓展[1]。

1.3 ChatGPT引燃AI及半導體產(chǎn)業(yè)及資本市場熱情

瑞銀集團（UBS）發(fā)布的研究報告顯示，ChatGPT在2023年1月份的月活躍用戶數(shù)已達1億，對比各大熱門平臺月活躍用戶數(shù)破億所需時長，ChatGPT只花了2個月的時間（見圖1），成為史上用戶數(shù)增長最快的消費者應用。在資本市場上，知情人士透露，聊天機器人ChatGPT背后的研究實驗室OpenAI正談判以收購要約的形式出售現(xiàn)有股份，交易對該公司的估值達到290億美元左右，使其在沒有收入的情況下成為賬面上最值錢的美國初創(chuàng)公司之一。國內(nèi)外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮，積極布局生成式AI。與此同時，全球半導體資本市場也迎來大幅上漲，費城半導體指數(shù)自2023年1月至今已上漲約30%（見圖2）。

圖1 各大熱門平臺月活躍用戶數(shù)破億所需時長

圖2 費城半導體2023年1月指數(shù)

1.4 短期內(nèi)GPU增量與市場規(guī)模

參考OpenAI算法，假設每日1億用戶，每人進行10條交互，每個問題的回答長度為50詞，算力利用率30%，則單個大語言模型（LLM）的日常需求有望帶來2.13萬片A100芯片的增量，對應市場規(guī)模2.13億美元。假設有5家大企業(yè)推出此類LLM，則總增量為10.7萬片A100芯片，對應市場規(guī)模10.7億美元。短期服務器增量與市場規(guī)模：單個服務器包含8個GPU，因此單個LLM帶來2 669臺服務器需求，對應市場規(guī)模3.39億美元，5家大企業(yè)共需要13 345臺，對應市場規(guī)模20億美元。長期市場空間：參考谷歌，若每日訪問30億次，需要106.74萬片A100芯片，對應13.3萬臺服務器DGX A100，帶來市場空間200億美元。根據(jù)Verified Market Research數(shù)據(jù)，2020年，全球GPU市場規(guī)模為254.1億美元（約1 717.2億人民幣）。隨著需求的不斷增長，預計到2027年全球?qū)⑦_到1 853億美元，年復合增長率為32.82%，如圖3（左）。2020年中國大陸的獨立GPU市場規(guī)模為47.39億美元，GPU市場廠商NVIDIA、Intel、AMD份額占比分別為79%、1%、20%，如圖3（右），預計2027年將超過345.57億美元。

圖3 GPU市場規(guī)模與市場各廠商份額占比

1.5 AI芯片發(fā)展所面臨的挑戰(zhàn)與問題

雖然AI芯片在過去幾十年取得了顯著的進展，但在其發(fā)展過程中仍然面臨一些挑戰(zhàn)與問題。

（1）復雜的算法與模型。隨著深度學習等復雜算法的出現(xiàn)，其對AI芯片計算能力和存儲要求提出了更高的挑戰(zhàn)。一些大規(guī)模的神經(jīng)網(wǎng)絡模型需要海量的計算資源才能高效運行，因此，如何在芯片設計中實現(xiàn)高度并行和高效的計算，是亟待解決的問題。

（2）能耗和散熱問題。隨著AI芯片計算規(guī)模的增加，能耗和散熱問題變得日益嚴峻。高功耗會導致芯片發(fā)熱過多，進而影響計算性能和穩(wěn)定性。因此，如何在保證性能的同時降低能耗，并解決散熱問題，是AI芯片發(fā)展中需要攻克的難題。

（3）可編程性與定制化。通用處理器如GPU雖然在AI計算中有一定的應用，但其可編程性相對較弱，不能完全適應各類AI任務的需求。與此同時，定制化AI芯片雖然能提供更高效的計算性能，但其開發(fā)和生產(chǎn)成本較高。如何在可編程性與定制化之間找到平衡，是AI芯片發(fā)展的一個重要課題[2]。

（4）安全與隱私問題。AI芯片在智能設備和云端服務中廣泛應用，但這也帶來了安全和隱私方面的問題。一些AI算法可能會面臨對抗攻擊，導致模型輸出錯誤。同時，個人隱私保護也成為AI芯片應用的一大挑戰(zhàn)。

（5）國際競爭與政策制約。AI芯片領域的競爭日益激烈，許多國家都在加大投入進行技術研發(fā)。在國際競爭中，如何保持技術領先優(yōu)勢，以及應對不同國家對AI芯片技術的政策限制，都是需要面對的問題。

2 先進封裝Chiplet技術概述

2.1 Chiplet技術的定義與特性

Chiplet是一種先進封裝技術，它將芯片功能分割成多個獨立的模塊，稱為Chiplet（小芯片）。每個Chiplet都具有特定的功能，例如處理器核心、存儲器控制器或其他外圍設備。這些獨立的Chiplet可以單獨設計、測試和生產(chǎn)，并在封裝過程中組合在一起，形成一個完整的芯片。這種模塊化的設計使得芯片開發(fā)更具靈活性和可擴展性，同時也提高了生產(chǎn)效率。

2.2 Chiplet的主要應用與發(fā)展趨勢

Chiplet技術在現(xiàn)代半導體行業(yè)中具有廣泛的應用和良好的發(fā)展趨勢。其中一個主要應用領域是高性能計算領域，例如數(shù)據(jù)中心和超級計算機。通過組合多個特定功能的Chiplet，可以實現(xiàn)更高的計算能力和效能。此外，將芯片分割成多個模塊還可以提高整體芯片的可靠性和可維護性。另一個重要的應用是在物聯(lián)網(wǎng)（IoT）設備和移動設備中。這些設備通常需要集成多種功能，如無線通信、傳感器、處理器和存儲器。通過使用Chiplet技術，可以獨立開發(fā)和升級不同功能的模塊，從而提供更大的靈活性和可擴展性[3]。

2.3 與傳統(tǒng)芯片封裝的比較

相比傳統(tǒng)的單一芯片封裝方式，Chiplet技術具有一些顯著的優(yōu)勢。首先，可以實現(xiàn)更高的整體芯片集成度，因為不同的模塊可以在較小的面積上組合。其次，芯片的開發(fā)周期可以更短（見表1），因為各個功能模塊可以同步開發(fā)和測試，而不需要等待整個芯片的開發(fā)完成。此外，由于不同模塊可以由不同的制造商提供，因此可以實現(xiàn)更多元化的供應鏈（見圖4），從而提高生產(chǎn)效率并降低成本[4]。使用Chiplet技術將不同設計公司中的不同Wafer 制程的芯片集成為一個系統(tǒng)或子系統(tǒng)中。

表1 Chiplet技術、SoC和分立器件的優(yōu)缺點對比

圖4 Chiplets技術典型應用——異構集成

3 AI芯片與Chiplet結合

3.1 解決AI芯片發(fā)展問題的Chiplet方案

隨著人工智能應用的不斷發(fā)展，AI芯片面臨著一些挑戰(zhàn)，例如計算能力提升、能源效率提高和更高的集成度要求。在這些挑戰(zhàn)中，Chiplet技術可以提供解決方案。例如，TSMC工藝和Xilinx的新一代Virtex系列FPGA產(chǎn)品（見圖5），基于硅基板進行集成[5]。通過將不同的功能模塊作為獨立的Chiplet集成在一個AI芯片上，可以實現(xiàn)更高的計算能力。例如，將處理器核心、神經(jīng)網(wǎng)絡加速器和存儲器控制器作為獨立的模塊，可以獨立開發(fā)和升級，同時在封裝過程中組合在一起，形成一個高性能的AI芯片。

圖5 Xilinx/TSMC的芯片設計和異構集成封裝

3.2 AI芯片與Chiplet結合的實例分析

GPU性能提升與功能豐富逐步滿足AI運算需要。2010年NVIDIA提出的Fermi架構是首個完整的GPU計算架構，其中提出的許多新概念沿用至今。Kepler架構在硬件上擁有了雙精度計算單元（FP64），并提出GPU Direct技術，繞過CPU/System Memory，與其他GPU直接進行數(shù)據(jù)交互。Pascal架構應用了第一代NVLink。Volta架構開始應用Tensor Core，對AI計算加速具有重要意義。簡要回顧NVIDIA GPU硬件變革歷程，工藝、計算核心數(shù)增加等基礎特性的升級持續(xù)推動性能提升，同時每一代架構所包含的功能特性也在不斷豐富，逐漸更好地適配AI運算的需要。

目前已經(jīng)有一些實際的AI芯片與Chiplet技術結合的實例。AMD公司的與Chiplet技術結合的實例是AMD在其Zen 2架構的Ryzen 3000系列CPU中采用了Chiplet設計[6]。該設計允許AMD將更多的CPU核心集成到單個CPU中。同樣，AMD也計劃將Chiplet技術應用于GPU設計中，以解決GPU制造中遇到的一些挑戰(zhàn)，比如增加芯片尺寸導致產(chǎn)量下降和成本增加。在這個GPU的Chiplet設計中，AMD使用了高帶寬互連（HBX）來促進不同Chiplet之間的通信，該互連類似于Zen 3 CPU中使用的互連方式。這種設計通過一個被稱為HBX的交叉連接來解決在GPU計算工作負載中并行性難以跨多個Chiplet傳輸?shù)膯栴}。而這種設計使得CPU與GPU交互時，看起來就像是與一個大型的單一GPU通信，而不是與許多小型GPU通過控制器通信。

3.3 AI芯片與Chiplet結合展望

AI芯片與Chiplet技術結合在未來將繼續(xù)發(fā)展和擴展。隨著人工智能應用的不斷演進，對于更高的計算能力、更低的功耗和更高的集成度的需求將持續(xù)增加。因此，進一步改進和發(fā)展Chiplet技術，并與AI芯片相結合，將是未來的發(fā)展方向。此外，隨著物聯(lián)網(wǎng)設備的普及，對于更靈活、可擴展的芯片解決方案的需求也將增加。因此，將AI芯片與各種不同的Chiplet結合，以滿足不同物聯(lián)網(wǎng)設備的需求，將成為未來的一個重要發(fā)展方向。

4 結論

Chiplet技術是一種模塊化的封裝方法，其優(yōu)勢在于提供了更高的靈活性、可擴展性和生產(chǎn)效率。AI芯片面臨著一些挑戰(zhàn)，如計算能力提升、能源效率提高和更高的集成度要求。

為了更好地發(fā)展AI芯片與先進封裝Chiplet技術結合，提出以下建議。

（1）加強合作。鼓勵芯片制造商、封裝技術供應商和研究機構之間合作，促進技術共享和交流，以加速AI芯片與Chiplet技術結合發(fā)展。

（2）技術創(chuàng)新。持續(xù)投入研發(fā)，不斷創(chuàng)新先進封裝Chiplet技術，以滿足AI芯片不斷提高的性能要求。

（3）標準化。制定相關的技術標準，以確保不同廠商生產(chǎn)的芯片和Chiplet之間的互換性，推動整個行業(yè)健康發(fā)展。

隨著人工智能應用的不斷擴展和技術的進步，AI芯片與先進封裝Chiplet技術結合將會得到更廣泛的應用。這種結合將不僅僅用于高性能計算領域，也將廣泛應用于物聯(lián)網(wǎng)設備、智能手機和其他各種人工智能應用中，為人們的生活和工作帶來更多的便利。