歐盟前沿性NimbleAI項目采用定制RISC-V處理器來支持神經形態視覺與3D集成芯片

隨著越來越多的研究伙伴加入以及新技術和新產品的不斷披露，歐盟于2022年底啟動的NimbleAI這一前沿項目在喧囂的GPT熱潮中，開始展現出一條新的智能化和數字化轉型之道。NimbleAI旨在推動神經形態視覺（neuromorphic vision）傳感和處理技術的發展和研究。作為一種創新的視覺感知和處理技術，神經形態視覺參考了生物系統工作方式，通過檢測動態場景中的變化來決定是否更細致地查看捕捉到的內容，而不是花費大量資源區連續分析整個場景，從而節省大量資源和大幅度縮短延遲。

盡管NimbleAI是一個啟動不久的新項目，它已經在帶動許多新的計算和控制技術的研究和開發。例如，全球領先的定制處理器IP和開發工具提供商Codasip也一直關注和參與該領域的進展；作為Codasip的創新孵化器，該公司旗下的Codasip Labs不斷探索將未來新技術快速推進到應用，因而于近期加入NimbleAI項目，為其開發一個RISC-V可定制內核，賦能神經形態傳感3D集成芯片。

歐盟的NimbleAI項目是一個為期3年、耗資1000萬歐元的研究項目，匯集了來自歐盟和英國的商業組織和學術界的合作伙伴共同參與研發。該項目由歐盟資助，旨在設計一種神經形態視覺傳感和處理的3D集成芯片。在動輒需要上萬張高性能GPU卡和巨量存儲的GPT人工智能時代，這一靈感來自于眼睛對光線的探測和大腦對視覺信息處理的新機器視覺和智能技術，以其對資源和算力的節省再加更低的延遲而廣受關注，因而NimbleAI項目也吸引了眾多的目光。

歐盟NimbleAI項目的部分成員（圖片來源：NimbleAI）

顯而易見，這是一個受生物學啟發的前沿技術，目標是提高下一代基于事件的視覺傳感的神經形態芯片的能源效率和性能。如果一切按計劃進行，那么會創建一種完整的神經形態架構，賦能終端設備有效準確地運行和多樣化的計算機視覺算法。目前這些應用設備通常在資源和面積上受到限制，典型的應用領域包括手持和電池供電的醫療成像設備、自動駕駛車輛智能顯示器、可穿戴的眼球追蹤眼鏡等等。

將生物系統作為電子系統的“黃金基準”是近年來的一個技術趨勢。受到生物學的啟發，NimbleAI正在利用生物眼腦系統作為其系統架構。該項目正在實施一個始終在線的傳感模式，高度專業化的事件驅動處理內核和神經網絡，以使用最少的能量對選定的刺激進行視覺推理。通過基于事件來決定應該發送和分析什么信息，計算系統就可以選擇捕捉和分析有意義的特征信息，而不需要捕捉和分析所有信息。這種基于事件的方法可以大幅度降低資源需求，節省大量能耗，并減少延遲。

作為定制處理器專家，Codasip在該項目中積極探索RISC-V ISA在內存加速器中的擴展，這些加速器由合作伙伴CEA提供。定制的RISC-V處理有助于提高神經形態芯片的性能并降低其功耗。為了實現這一目標，項目選用了Codasip Studio工具和CodAL架構描述語言，這些工具促使定制工作流程變得直接便捷。之后由Codasip開發的RISC-V內核會被映射到Menta SAS的嵌入式FPGA（eFPGA）模塊上。

改變游戲規則的定制處理器技術

目前在NimbleAI項目中，Codasip團隊正在開發基于RISC-V的下一代人工智能處理器。同時這也是Codasip Labs的系列項目中的一個完美案例。Codasip Labs專注于關鍵應用領域，包括安全、功能安全和人工智能/機器學習（AI/ML）等等。以發現和打造創新技術來擴展定制計算的無限可能性為宗旨。在NimbleAI項目之前，Codasip的可定制RISC-V處理器IP和Codasip Studio定制開發工具已經得到了實際應用的廣泛驗證并獲得了多項業界大獎的褒嘉，搭載其IP的處理器的出貨量已超過20億顆。

NimbleAI項目正在證明一個新的趨勢：通過定制的、領域專用的處理器設計，可以加快直接針對智能化應用的定制化/差異化處理器產品的上市時間，并能夠以高性能和低功耗等特性來最終贏得市場青睞。在為期3年的NimbleAI項目結束時，與目前基于幀的CPU或GPU處理視頻標準相比，我們期望看到重大的性能提升。該項目將實現新的功能和實際實現，以解鎖更先進的人工智能和計算機視覺算法和應用。

更多Codasip Labs信息，請訪問：https://codasip.com/labs/
?
注：NimbleAI從歐盟的歐洲地平線研究和創新行動計劃（RIA）中獲得了101070679號撥款協議的資助，并從英國研究和創新的歐洲地平線擔保計劃中獲得了資助。該資金項目為英國脫歐后的實體公司加入歐洲地平線項目提供了歐盟簽約保障。