English
2023年8月23日，由電子發燒友網和elexcon深圳國際電子展聯合主辦的2023第七屆人工智能大會在深圳召開。以“智向遠大，能者千面”為主題，本屆大會匯聚行業頂尖的專家、學者、企業代表，共同尋找人工智能產業發展新機遇。
愛芯元智AI推理引擎總監唐琦受邀出席大會，發表《Transformer視覺大模型在邊緣側的部署》主題演講，分享基于愛芯通元混合精度NPU部署Transformer視覺模型的落地實踐，并正式發布開發者套件——愛芯派Pro。第四屆人工智能卓越創新獎同期頒發，憑借在邊緣AI賽道的強大自研實力和突出落地成果，愛芯元智AX650N獲評“最具創新價值產品獎”。
端側智能快速普及，Transformer視覺模型應用走向新高度
自2015年，AI模型的物體識別準確率在ImageNet的圖像分類比賽中首次超過人類以來，人工智能行業便正式進入到新航海時代。而近年來，伴隨著芯片行業制程的進步以及AI模型小型化、輕量化的趨勢，AI模型在掃地機器人、家用攝像頭、智能音箱等產品的本地化部署成為現實，端側智能得到普及。
“到現在為止，基于傳統CNN模型的云、邊、端三角互補的算力主線已經完成”，唐琦在演講中表示。而在AI模型從云端往端側遷移的過程中，Transformer網絡結構也在不斷進步，并隨著ChatGPT的火爆備受關注。回顧Transformer視覺模型的發展歷史，從基于Transformer網絡結構的語義分割模型應用于自動駕駛場景，到分割萬物的SAM和基座視覺大模型DINOv2，Transformer視覺模型的應用正走向新的高度。”
致力于打造世界領先的人工智能視覺芯片，愛芯元智專注于高性能、低功耗的邊緣側、端側人工智能處理器芯片開發，布局智慧城市、智能駕駛和AIoT三大業務市場。基于智慧城市的升級改造，L2/L2+智能駕駛的應用大規模落地，以及終端設備智能化需求的擴大，愛芯元智將在邊緣感知智能芯片上持續投入，持續打造感知和計算基礎能力。
加快AI開發落地效率，用視覺連接數字世界和物理世界
從智慧城市到智能駕駛再到AIoT，愛芯元智之所以能做到三大應用場景全覆蓋，依托于公司自研的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大核心技術。
愛芯智眸AI-ISP是將深度學習算法與傳統的ISP處理單元相結合，作為萬物智能的“眼睛”感知更多信息，特別是暗光全彩的剛需。其擁有六大技術亮點：AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場景增強、AI多傳感器融合，在暗黑道路、隧道出口、顛簸路段等多個行車場景下可全面提高畫質，實現更優質的視覺效果。
愛芯通元混合精度NPU作為愛芯元智另一大核心自研技術，支持INT4/INT8/INT16三種計算精度，具有高性能、低成本、易使用的突出優勢。值得一提的是，在汲取前兩代產品的市場反饋并結合行業前沿技術的發展趨勢之下，第三代愛芯通元混合精度NPU進一步增強了算子支持種類和不同精度的混合計算，優化了內部內存調度機制，同時可高效率支持CNN網絡和Transformer網絡模型。而針對愛芯通元3.0 NPU研發的工具鏈——Pulsar2則進一步完善了工具鏈的功能和易用性，支持主流深度學習訓練框架的模型部署，支持PTQ、QAT兩種不同的量化操作，滿足各種場景的量化調優功能。
Transformer模型在愛芯元智NPU上部署非常簡單高效，以SwinT模型為例：從PyTorch的官方ModelZoo上直接下載SwinT的ONNX模型，不需要做任何模型或算子修改，就可以實現SwinT的量化壓縮和編譯，達到199 FPS/W的高能效比。而會上獲評“最具創新價值產品獎”的AX650N作為愛芯元智在今年推出的高性能芯片產品，基于第三代NPU，在邊緣側、端側部署Transformer具有高性能、高精度、易部署、低功耗等特性，是業內首屈一指的Transformer落地平臺。
打造芯片開發者生態，愛芯派Pro助力視覺大模型落地
大會上，愛芯元智正式推出開發者套件——“愛芯派Pro”，這款聯合硬件生態伙伴共同打造的開發者套件，便于社區開發者低成本地體驗視覺大模型在邊緣側、端側的便捷部署。愛芯派Pro搭載AX650N，擁有高算力和超強編解碼能力，可滿足行業對高性能邊緣智能計算的需求，實現視頻結構化、行為分析、狀態檢測等應用，高效率支持CNN模型和Transformer視覺大模型。
在愛芯派Pro發售的同時，愛芯元智還將釋放集成模型量化、模型編譯、模型部署三合一功能的新一代AI工具鏈Pulsar2的社區版本以及豐富的開發文檔，方便用戶快速進行產品原型驗證和二次開發，幫助用戶在智慧城市、智慧交通、智慧教育、智能制造等領域發揮更大的價值。
目前，愛芯元智已經量產了四代多顆應用于不同行業領域的視覺感知芯片，并堅持基于算法、芯片、產品的垂直整合，為合作伙伴提供全棧式解決方案，幫助客戶實現最新技術的快速落地。面向人工智能產業的高速發展，愛芯元智也將通過持續的技術創新，提高芯片性能、降低成本，讓邊端智能更加普惠，最終實現“普惠AI 造就美好生活”的使命。
