人工智能（AI）技術在行業應用中，大多依賴海量的訓練數據和大規模服務器的算力支持，存儲暴漲、數據堰塞、隱私泄露、能耗高企等問題也隨之而來。隨著近5年來摩爾定律的逐步放緩，IT硬件的發展愈發難以滿足當前AI模型動輒萬億級規模的存儲和算力需求。因此，當前對AI設備和應用的快速響應、隱私保護以及節能減排的需求越發凸顯。如何將AI模型及其計算載體前端化、輕量化，成為亟待解決的問題。
輕量化人工智能（Tiny AI）的興起正在改變這一點。
Tiny AI讓AI更普惠、更主流
剖析智能化應用，我們可以看到，AI使能架構是由芯片（硬件）、AI操作系統（深度學習框架平臺）和算法三個部分組成。而Tiny AI恰是以一系列輕量化技術為驅動提高芯片、平臺和算法的效率，在更緊密的物理空間上實現低功耗的AI訓練和應用部署，不需要依賴與云端交互就能實現智能化操作。
Tiny AI所帶來的突破是顯而易見的。《麻省理工科技評論》在2020年將Tiny AI列為“全球十大突破性技術”，其在評選理由中寫到：“輕量化智能使現有的服務比如語音助手、手機拍照等變得更好更快，不必每次都需要連接云端才能運行深度學習模型；此外，Tiny AI也將使新的應用成為可能，比如基于移動端的醫學檢測分析、對反應時間要求更快的自動駕駛汽車；最后，本地化的AI更利于隱私保護，用戶的數據不再需要離開設備就能實現服務功能的進化。”
更重要的是，Tiny AI將AI推向更主流，它大大降低了AI系統的部署難度和成本，把AI從一場高門檻的科技巨頭競賽變成普惠民生的智能生態。
在AI領域的角逐中，以“輕量化”為賽點的下半場已經來臨。
Tiny AI的外“減”內“加”
Tiny AI對外表現是在做減法，降低能耗、降低對硬件平臺性能指標的要求、降低與云端的通訊需求等，而實質上，輕量化的內核卻是在做加法。產業需求決定了要完成的AI任務越來越復雜，Tiny AI必須通過加速運算效率、提高計算密度才能實現極致的效率。
在精度接近無損的前提下，將AI模型及其計算載體微型化，是一個極具挑戰性的任務，需要對神經網絡進行輕量化設計、計算加速以及設計新的計算架構實現模型的硬件化。
這需要從軟件和硬件兩方面來著手。軟件方面，要進行模型和算法創新，通過輕量化模型設計、矩陣分解、稀疏表示、量化計算來實現模型的微型化和計算加速。而在硬件方面，則須通過流水線設計、存儲模式設計等手段進行硬件架構的創新。
雖然執行神經網絡計算的是硬件，但神經網絡結構和AI平臺決定著計算量的大小和運算方式。所以，極致的輕量化必須是軟件和硬件的協同輕量化：基于復雜的AI應用場景，將芯片、平臺和算法充分結合以聯合加速。
首先，AI芯片作為AI的硬件載體，必須達到更高的性能、更高的效率、更低的功耗和更小的體積，足夠平價高效的計算平臺才能滿足產業需求承載復雜的AI任務，并且使推理和運算從云端遷移到終端成為可能。
其次，輕量化的AI平臺需要以更低的功耗來訓練和運行AI算法，最大化的發掘硬件的能力。
最后，應用輕量化技術的神經網絡模型應小規模、少運算量并保持良好的精度。
AI三層使能架構決定了追求單一算法、平臺或者芯片輕量化并不能最大化實現極致效率，而需要針對應用場景中復雜的AI計算系統全面去考慮，將三者進行協同輕量化。
自動化所：Tiny AI“先行者”
2014年，在卷積神經網絡大規模邁向應用之初，中國科學院自動化研究所（以下簡稱自動化所）就在國際AI頂會發表了多篇神經網絡模型輕量化領域的重要論文，成為國際上最早開始AI輕量化研究的機構之一，相關成果引起包括英偉達公司創始人兼首席執行官黃仁勛等在內的諸多專家的廣泛關注。
自動化所很早就開始了軟硬協同輕量化的技術研究，走在國際的前列。自動化所設計開發的輕量化AI平臺“QEngine”及輕量化算法已經在數十萬終端上部署。2019年，在國際神經信息處理系統大會（NeurIPS）上舉行的MicroNet Challenge競賽中，自動化所與ARM、IBM、高通、Xilinx等國際一流芯片公司同場競技，設計的輕量化神經網絡架構獲得了圖像類雙冠軍。
2020年，自動化所自主研發的世界首款極低比特量化神經處理芯片（QNPU）成功流片，解決了芯片計算領域備受關注的“內存墻”難題，在芯片成本、功耗、計算結構、邊緣計算等方面實現革命性變革。該芯片的面世，也標志著自動化所成為了全球為數不多的擁有“AI芯片—平臺—算法”全線輕量化AI技術機構之一。
面向行業應用的Tiny AI
未來，以AI驅動的小型化設備會越來越多地出現在我們身邊。同時，由AI芯片、平臺和算法組成的Tiny AI智能終端將始終圍繞應用場景而生。
對此，自動化所率先做了一些嘗試。
MCU單片機以低價低功耗的優勢，在各種終端上有著大規模的應用。但是單片機的計算性能極低，一直不被看好是可以實現AI的硬件。自動化所在幾元錢的STM32單片機上成功部署了四十層網絡的人臉檢測模型，運行功耗僅800毫瓦，做了開創性的嘗試——其背后就是基于Tiny AI技術。
在教育行業，自動化所的“輕量化指尖點讀解決方案”顛覆了教育終端的人機互動模式，并成功突破硬件性能瓶頸，賦予低端硬件平臺高端AI算力。
在消費電子行業，自動化所設計的輕量化的算法及輕量化神經網絡計算架構可有效實現暗光增強、超分辨率等，為手機終端、安防終端提供了影像增強效果。
在電力行業，我國的輸電線路覆蓋廣，野外自然環境復雜，檢修維護作業危險系數高難度大。自動化所基于Tiny AI研制的自主巡檢無人機、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統穩定�！�
（作者系中國科學院自動化研究所南京人工智能芯片創新研究院副院長，記者趙廣立整理）