我們正處于人工智能 (AI) 處理將迅速發(fā)展并變得無處不在的時代的開端。雖然人工智能的概念——賦予機器模仿認知功能以學習和解決問題然后采取行動的能力——自 1950 年代中期以來一直是一門學科，但直到最近五年，人工智能處理，主要是以機器學習 (ML) 的形式，可以走出昏暗的研究大廳和一次性的超級計算機，轉(zhuǎn)向?qū)嶋H的日常使用。為什么？

僅從互聯(lián)網(wǎng)和數(shù)十億智能設(shè)備產(chǎn)生的數(shù)據(jù)量就為我們提供了足夠的數(shù)據(jù)來收集大量數(shù)據(jù)集，我們可以使用這些數(shù)據(jù)集進行 ML 過濾和訓練基于 ML 的系統(tǒng)以供使用。此外，今天我們在智能設(shè)備和高帶寬通信基礎(chǔ)設(shè)施中擁有足夠的無處不在的高性能計算能力，可以快速處理和傳輸海量數(shù)據(jù)集。這種計算能力還為我們提供了為特定任務開發(fā)更復雜、更專業(yè)的算法的畫布，進一步擴展了 AI/ML 的應用。

更重要的是，今天有許多殺手級應用程序，從加速的信息基礎(chǔ)設(shè)施和數(shù)據(jù)中心到數(shù)十億的邊緣設(shè)備，AI/ML 處理可以使智能產(chǎn)品變得更智能——甚至是自主的。AI/ML 已經(jīng)被用于數(shù)據(jù)中心、數(shù)據(jù)挖掘、醫(yī)學成像分析設(shè)備、汽車 ADAS 和自主系統(tǒng)、計算機視覺系統(tǒng)、機器人和移動設(shè)備，例如最新的智能手機。AI/ML 技術(shù)的商業(yè)和創(chuàng)新機會似乎是無限的。

這種指數(shù)級 AI/ML 演進的核心將是為更智能的片上系統(tǒng) (SoC) 和更智能的 AI 驅(qū)動的獨立處理器開發(fā)專門的 AI/ML 處理器 IP。對 ML 半導體初創(chuàng)公司的投資遠遠超過對任何其他半導體領(lǐng)域的投資，包括 5G 和加密貨幣。 

提供創(chuàng)新的 AI/ML 處理器 IP 和 IC 需要工程團隊使用更新、更快的工具來增強他們的設(shè)計方法。幸運的是，EDA 行業(yè)也在擁抱 AI/ML，并開始將其整合到其工具中，以使它們更準確、更快。讓我們看看 AI/ML 處理器設(shè)計的方法論挑戰(zhàn)，然后看看 Mentor 等 EDA 公司正在做些什么來幫助工程師更快地交付更智能的創(chuàng)新。

AI/ML 處理器設(shè)計挑戰(zhàn)
AI/ML 在很大程度上是一門數(shù)學和軟件工程學科——數(shù)學家使用數(shù)學工具開發(fā)算法并將算法轉(zhuǎn)換為 C++ 代碼以在處理器上執(zhí)行。在標準單線程微處理器上運行算法一直是一個挑戰(zhàn)，因為算法的某些部分可能無法以最佳方式運行。

為了克服這一瓶頸，公司在過去五年中轉(zhuǎn)向了加速器架構(gòu)。其中最早將多用途/現(xiàn)成的 MPU 設(shè)備與多用途/現(xiàn)成的 GPU 或現(xiàn)場可編程門陣列 (FPGA) 配對，以更有效地執(zhí)行并行處理。隨著加速器架構(gòu)的進步，公司已經(jīng)開始將 GPU 和 FPGA IP 塊集成到他們的 SoC 中。其中最早使用 2.5D 硅中介層或系統(tǒng)級封裝 (SiP) 配置。

在任何這些配置中使用通用 GPU 和 FPGA 都會在功率、熱量和性能方面進行一些重大權(quán)衡。為了減輕這些權(quán)衡，許多公司，尤其是初創(chuàng)公司，已經(jīng)開始開發(fā)專門的 AI/ML 處理器架構(gòu)，以將 IP 集成到邊緣設(shè)備的 SoC 中——作為物聯(lián)網(wǎng) (IoT) 的一部分——以及開發(fā)用于數(shù)據(jù)基礎(chǔ)設(shè)施（服務器、數(shù)據(jù)中心等）的龐然大物專用獨立 AI/ML 處理器，以使它們更高效地執(zhí)行特定任務。甚至提供 GPU 和 FPGA 等標準產(chǎn)品的公司也在開發(fā)更專業(yè)用于 AI/ML 處理的衍生產(chǎn)品。

架構(gòu)
AI/ML 處理器 IP 和 IC 設(shè)計具有某些對傳統(tǒng)工具流程征稅的特征。傳統(tǒng)上，IC 設(shè)計流程從寄存器傳輸級別 (RTL) 開始，其中硬件設(shè)計團隊使用 SystemVerilog 或 VHDL（VHSIC 硬件描述語言）等硬件描述語言開發(fā)其 IP 或 IC 設(shè)計的邏輯。

然而，許多 AI/ML 架構(gòu)一開始是一個復雜的算法，需要工程團隊從開發(fā)算法的 C++ 表示開始。然后，他們必須發(fā)現(xiàn)他們算法的哪些部分在通用處理器上的軟件中運行得最好，哪些部分運行緩慢，這樣他們就可以讓硬件工程師開發(fā)獨特的邏輯塊來加速算法中較慢的部分，從而提出優(yōu)化的系統(tǒng)架構(gòu)。以 RTL 優(yōu)先的方法開發(fā)獨特的硬件（手動開發(fā) RTL）是一個漫長的過程，并且可能會限制設(shè)計團隊集中在最佳 SoC 架構(gòu)上以運行其目標算法的可能性。

幸運的是，現(xiàn)在有高級綜合工具使公司能夠直接從他們的 C++ 代碼快速開發(fā)硬件邏輯。例如，使用 Xilinx Zynq SoC 開發(fā)板（在同一芯片上具有 Arm 處理器和 FPGA 邏輯），設(shè)計團隊可以在 Xilinx Zynq SoC 的嵌入式 Arm 處理器上運行算法，并分析算法的哪些部分運行緩慢僅在處理器上運行。然后，他們可以將這些慢速部分實現(xiàn)到硬件邏輯中，以查看性能是否有所提高。他們可以調(diào)整算法或調(diào)整硬件/軟件邏輯組合，并使用 C++ 綜合來生成軟件和硬件的多個實例，這比使用 RTL 流程要快得多。 

容量
AI/ML 處理器 IP 和 IC 包括許多獨特的切片層來存儲訓練數(shù)據(jù)。然后，他們利用推理得出結(jié)論（正確識別對象、識別模式和數(shù)據(jù)序列等）并進行處理以觸發(fā)動作。瓦片和處理功能還需要大量的本地化片上存儲器。所有這一切都意味著 AI/ML 處理器 IP 和 IC 往往具有大量門數(shù)。SoC 可以達到數(shù)十億個門的范圍。這對工具容量和性能提出了更高的要求，因為團隊仍然需要在合理的時間內(nèi)執(zhí)行 IC 設(shè)計流程中的各個步驟（最長的最好是一夜之間，大約八小時）。

必須處理這種能力的設(shè)計團隊越來越多地轉(zhuǎn)向仿真，以對 AI 驅(qū)動的 IP 和 IC 執(zhí)行功能驗證。仿真系統(tǒng)可以仿真超過 150 億個門設(shè)計——比軟件模擬器多幾個數(shù)量級的門。此外，仿真使設(shè)計團隊能夠運行 ML 基準套件/框架，以確保他們的設(shè)計滿足性能預期。由于仿真執(zhí)行邏輯驗證的速度比仿真快一個數(shù)量級，它還使公司能夠以合理的運行速度開發(fā)和測試軟件，以確保他們的算法在將設(shè)計發(fā)送到布局并最終進入制造之前按預期運行。

功率預算
無論 AI/ML 設(shè)備是在數(shù)據(jù)中心內(nèi)的卡中運行的獨立處理器，還是在邊緣設(shè)備和車輛中運行電池供電的 SoC，功耗都是 AI/ML 開發(fā)的主要設(shè)計考慮因素。數(shù)據(jù)中心 AI/ML 應用的關(guān)鍵是每瓦性能 (PPW) — 以最小的能源足跡獲得最高性能。數(shù)據(jù)中心運行和冷卻消耗大量能源。

在提高性能的同時減少設(shè)備的能源足跡可以為數(shù)據(jù)中心節(jié)省數(shù)百萬美元的 OPEX，因此具有最佳 PPW 的設(shè)備通常會在每一代數(shù)據(jù)中心中獲勝。同樣，AI/ML 邊緣設(shè)備將執(zhí)行高速計算并需要快速傳輸數(shù)據(jù)。這兩種操作都對電力征稅，如果邊緣設(shè)備由電池供電，這將成為一個更大的問題。

為了解決這個問題，設(shè)計團隊需要能夠幫助他們在整個設(shè)計流程中構(gòu)建和監(jiān)控電源效率的工具。在 AI/ML 流程中，這應該從 C++ 架構(gòu)甚至 RT 層面開始，從邏輯驗證綜合、布局布線、物理驗證和測試的每一步開始。

高速 I/O
無論是數(shù)據(jù)中心數(shù)百萬卡的核心，還是物聯(lián)網(wǎng)邊緣的手機或攝像頭，支持 AI/ML 的設(shè)備都需要快速高效地接收和傳輸數(shù)據(jù)。這意味著 AI/ML 設(shè)備將需要高速 I/O，甚至可能在數(shù)據(jù)中心發(fā)展為硅光子互連。這意味著絕大多數(shù) AI/ML 處理器實際上也將是混合信號處理器。這將要求公司在 AMS 設(shè)計和驗證流程的每個步驟中越來越多地使用一流的工具。

為了實現(xiàn)最大性能，這還需要 EDA 供應商和半導體制造商加快硅光子工具的開發(fā)，以幫助將硅光子從實驗室研究轉(zhuǎn)變?yōu)樯虡I(yè)現(xiàn)實。為了使硅光子學成為商業(yè)現(xiàn)實——同時還要處理摩爾定律對許多應用具有挑戰(zhàn)性的事實——設(shè)計團隊需要更加熟悉替代方案，例如 2.5D、封裝設(shè)計中的 CoWoS/系統(tǒng)，甚至 3D，以實現(xiàn)越冒險。

AI/ML 現(xiàn)在正在發(fā)生，通過一些獨創(chuàng)性和協(xié)作，我們可以利用 AI/ML 讓一切“更智能”更快——甚至是我們的 EDA 工具。我期待看到您在未來幾年將提供哪些更智能的創(chuàng)新。

Joseph Sawicki 是 IC 納米設(shè)計和制造挑戰(zhàn)方面的專家。Sawicki 以前負責 Mentor 的芯片設(shè)計產(chǎn)品，包括 Calibre 物理驗證和 DFM 平臺以及 Mentor 的 Tessent 設(shè)計測試產(chǎn)品線，現(xiàn)在負責管理 Mentor IC 部門的所有業(yè)務部門。