當消費者在線上訂購產品時，自動化可為程序中的每個步驟提高效率，不管是製造原料、提高倉庫生產力還是促進宅配，有時只需要幾小時即可送達客戶家中。若想在自動化方面持續進步，將需要更好的機器感知和智慧和更少錯誤，此時只要將人工智慧 (AI) 引進邊緣裝置即可達成此目標。

若要打造更快速、更聰明且更準確的系統，需要從更多感測器獲得更多資料，並需增加處理能力。但資料及運算增加也會對系統性能及其功耗和成本要求帶來挑戰。若想實現系統最佳化與縮短開發週期時間，必須以較實際的方式來設計邊緣 AI 系統。

邊緣 AI 以本機裝置處理 AI 演算法取代雲端處理，改變以深度神經網路 (DNN) 為主要演算法元件的工業和汽車應用。邊緣 AI 應用需要高速與低功耗處理，以及應用及其工作特有的進階整合，才能在尺寸受限、功率和散熱受限且成本受限的環境中有效運作。圖 1 說明運用邊緣 AI 處理來提升性能和效率的部分應用。例如使用視覺輸入的邊緣 AI 系統可在生產線上以單一攝影機進行品質控制，或以多部攝影機支援汽車或行動機器人的功能安全。

圖 1 邊緣智慧存在許多各種應用中

邊緣 AI 系統可協助改善倉庫與工廠效率，讓城市、建築與農業更安全、更有效率，並讓居家與零售環境更加智慧化。讓我們來看看幾個需要高效邊緣 AI 處理的系統：

1. 先進駕駛輔助系統 (ADAS)。ADAS 技術可讓您深入瞭解車輛周圍環境，讓駕駛體驗更方便、更輕鬆且更安全。多數 ADAS 功能都是視覺型系統，從多部攝影機感測器取得高解析度輸入，並使用深度學習與電腦視覺演算法來解讀 ADAS 技術，以提供車輛周圍環境的資訊洞見，讓駕駛體驗更方便、更輕鬆且更安全。多數 ADAS 功能都是視覺型系統，從多部攝影機感測器取得高解析度輸入，並使用深度學習與電腦視覺演算法來解讀 ADAS 技術。
2. 自主行動機器人和無人機。就市售可用機器人來說，晶片系統 (SoC) 必須以高速與低功耗處理複雜的感知與導航堆疊，並需具備最佳系統成本。SoC 也必須為影像消除彎曲、立體聲深度評估、調整、影像金字塔生成與深度學習等運算密集工作進行卸載，以實現最大系統效率。
3. 智慧型購物車。智慧型購物車可計算購物車內物品的訂單總計、建議購物清單品項，並讓消費者能對購物車中的雜貨進行結帳，讓客戶享有更客製化的購物體驗，並可跳過結帳時的排隊人龍。大多數智慧型購物車都有多個視覺感測器以攝影機自動偵測物品，電腦視覺智慧型購物車則可計算放入購物車品項的訂單總計、建議購物清單項目，並讓消費者能對購物車中的雜貨進行結帳，讓客戶享有更客製化的購物體驗，並可跳過結帳時的排隊人龍。
4. 邊緣 AI 運算盒。邊緣 AI 運算盒是運用在零售自動化、工廠監控和建築監控系統的攝影機系統智慧延伸。儘管有尺寸限制、功率和散熱方面的挑戰，高傳輸速率 AI 仍可讓運算盒為更多攝影機執行智慧處理。
5. 機械視覺攝影機。適用光學字元辨識、物件識別、瑕疵偵測和機械手臂導引的機械視覺攝影機運用嵌入式 AI 技術，進一步簡化產品開發並提升系統準確度。

表 1 列出各種應用程序的系統要求。

在高效邊緣 AI 系統中，DNN 無法自行運作。高效 AI 系統需要複雜的視覺管線，通常包含單一或多個攝影機影像處理、傳統電腦視覺，甚至需要多個 DNN。有些應用可能還需影片編碼器和解碼器。為處理所有輸入，系統需要高性能運算。此外，系統可能需要強化安全性和功能安全，以增加系統複雜性和成本。

高效邊緣 AI 系統應針對下列項目進行最佳化：

• 性能。嵌入式處理器必須能夠提供系統所需的速度、延遲和準確度，而且即使在嚴苛的環境中也能可靠地運作。
• 設計限制。嵌入式處理器必須在有電源和散熱限制的設計中運作，包括無風扇設計、具有被動冷卻功能或需要以電池供電方式長時間運作的設計。處理器也必須符合尺寸與重量規格，以符合實體限制。
• 成本。實現高性能且具成本效益的處理能力，進而獲得最低可物料清單 (BOM) 成本。

若要打造高效邊緣 AI 系統，設計人員應考慮哪些架構和核心最適合完成系統所需工作。

嵌入式處理器設計選項有同質架構和異質架構兩種類型，通常整合專用處理功能來處理特定工作。您應根據所需的核心類型，評估最符合您邊緣 AI 系統需求的架構。

邊緣 AI 系統的目標是在最適合的核心上執行 AI、視覺、視訊和其他工作，讓系統在每瓦性能、每秒每 TOPS 性能、成本、尺寸和重量上都能提供最佳效果。擁有適合任務適合核心的異質架構，對邊緣 AI 系統而言至關重要。

並非所有具異質架構的處理器都採用相同設計。矽晶廠商必須選擇適當的處理功能或程序，並決定要對硬體中這些功能進行加速，或採用可配置或可編程方式處理。廠商也必須注意如何將核心整合到系統中。匯流排架構和記憶體子系統必須能夠在核心間有效率地移動資料。

如果 SoC 的工作加速核心類型不正確，或未有效率管理的核心數量過多，或匯流排基礎架構和記憶體子系統效率不佳，視覺邊緣 AI 系統就無法有效發揮作用。