轉眼,AI大模型的競賽已迎來“升維”,從通用大語言模型的驚艷到如今AI視頻大模型的火爆,
OpenAI的Sora一經發(fā)布就被擠爆服務器,字節(jié)跳動掏出視覺理解模型,1塊錢搞定284張720P照片,多模態(tài)模型價格邁入“厘時代”。
李飛飛在NeurIPS大會上用180頁PPT大談視覺智能,強調解決空間智能問題是邁向全面智能化的基礎和關鍵一步——空間智能讓計算機看見世界、理解世界。
而這種理解世界的能力也讓具身智能賽道迸發(fā)出巨大機會,人形機器人領域融資火爆,今年前11個月融資總額超過50億元,融資事件近50起。近期稚暉君智元機器人等明星創(chuàng)企動作頻頻引起廣泛關注。
硬件層面,蘋果Vision Pro雖沒有成為蘋果下一個爆款產品,但卻推開了空間計算時代的大門,讓我們看到了當下虛擬現實設備能帶來的天花板體驗。
可以說,從硬件到軟件,從技術到生態(tài),人類社會正向著空間計算時代加速發(fā)展。未來AI要認識世界理解世界,具身智能則成為AI與世界交互的載體,這一切都離不開空間計算能力的支撐,需要端側模型來驅動,需要端側AI模型技術和產品的支持。
由此,整個算力產業(yè)都愈發(fā)關注AI在端側的落地和產業(yè)化,尤其是芯片廠商,面對如此快速的產業(yè)變革,都在加快技術和產品的迭代。國內不少年輕創(chuàng)企都在各自細分賽道交出了漂亮的成績單。
比如合肥芯明智能科技有限公司(簡稱:芯明)就亮出了目前全球唯一單芯片集成芯片化實時3D立體視覺感知、AI、實時定位建圖(SLAM)的空間智能系統級芯片。芯明的空間計算技術及產品也已經廣泛落地在人形機器人、移動機器人、機器狗、自主避障無人機、MR、智能機械臂等應用領域。
芯東西與芯明進行了獨家對話,對其核心產品技術優(yōu)勢進行了細致挖掘,并深入探討了當下空間計算時代芯片企業(yè)和AI產業(yè)面臨的機遇和挑戰(zhàn)。
我們所生活的世界是由三維空間組成的,AI想要真正理解世界,就必須要發(fā)展到空間智能階段。未來的空間智能需要能夠理解立體空間的結構、各類移動物體的運動規(guī)律九游中國體育官方入口以及它們之間的相互關系等,從而做出正確的決策和行動。
有了大腦還不夠,AI想要與現實的物理世界進行交互,就必須對物理世界有理解,并可以在物理世界中操控真實的標的物,而這就是具身智能,可以理解為類似人體的神經網絡驅動對物理空間的標的物進行操控或互動。
空間計算技術可以推動人形機器人的具身智能進化,3D視覺技術讓人形機器人實現感知和識別、自主導航和避障,三維多模態(tài)大模型幫助人形機器人認識和理解真實的三維物理世界,提升通用感知和交互能力。
這些都是實現通用人工智能的關鍵,空間智能正在與具身智能結合,向著AGI發(fā)展,兩者也必將成為AI產業(yè)未來發(fā)展的重要方向。
深耕空間計算芯片,自研核心黑科技實現高集成度,破解性能、功耗、成本平衡難題
在這樣的產業(yè)背景下,提供出色的空間計算技術支撐無疑是一個關鍵的產業(yè)“剛需”。
從3D空間感知、空間定位、運動跟蹤到運動交互,從泛機器人、XR、3D掃描到自主避障無人機,這些領域都需要用到大量空間計算相關技術,包括3D立體視覺感知、AI以及SLAM。
這也是為何芯明要做這樣一顆高度集成的空間計算芯片,去解決企業(yè)在空間計算時代的核心痛點。
這種高度集成化的系統級空間計算芯片在各類空間數據處理中都扮演著核心角色。
目前,行業(yè)中的傳統機器視覺行業(yè)解決方案面臨諸多挑戰(zhàn),比如2D視覺已經無法滿足日益復雜的終端應用要求。在具體場景中,很多操作或運動已經無法單純依靠2D視覺執(zhí)行,無三維信息和空間距離也導致很多功能無法高效實現。
此外,傳統AI芯片或FPGA芯片疊加軟件化3D算法的這種方案也開始變得越來越不可持續(xù),延時高、功耗高、無法適應復雜3D場景應用等短板變得越來越明顯。
與此同時,適用于復雜場景的3D感知設備價格昂貴、多傳感器融合也會大幅增加系統成本和復雜度。從MR頭顯、無人機到AMR機器人都會遇到這些挑戰(zhàn)。
目前芯明的3D雙目立體算法是直接固化在芯片上的,無需借助額外的大算力AI芯片及昂貴的定制化傳感器,就可以實現復雜3D環(huán)境的實時高速感知,并且場景更通用,這也更有利于3D視覺的加速普及。
在單一芯片上,芯明實現了3D+AI+SLAM的高度集成,做為單一系統級芯片解決方案兼顧低功耗、低成本、小型化等幾個關鍵特性,這些特性優(yōu)勢對端側設備來說至關重要。
當然,在芯片領域實現功耗、成本、集成度的兼顧向來是一件難事。為此,芯明自研了多傳感器處理和融合處理器、自研了3D深度視覺引擎和部分專用硬件引擎,包括重要的自研SLAM引擎,當然,還有前文提到的算法芯片化能力。
此外,芯明的NU4000和NU4100兩款核心產品都用上了12nm的先進工藝制程,其中,NU4100的AI算力相比NU4000幾乎翻倍,能夠以更低成本、更低功耗的方式助力客戶實現系統升級,進一九游中國體育官方入口步提升能效比。
在架構方面,兩款芯片的通用計算和系統控制及處理均用上了Arm Cortex-A5 CPU,NU4100的CNN神經網絡處理器算力達到了3.5TOPS,可以應對各類常見AI場景。
基于高分辨率ISP和視頻編解碼器,芯明空間計算芯片可以同時處理6路攝像頭數據,3D視覺性能可以支持到1080P 60FPS或720P 120FPS的水平,異步時間扭曲硬件引擎使運動到顯示延時能夠做到約1毫秒。
值得一提的是,芯片系統整體功耗可以控制在1W以內,可以說是真正做到了性能、功耗的兼顧。
不僅是芯片本身,芯明還可以提供端到端全棧產品和解決方案,根據客戶和行業(yè)需求去量身打造相應的產品,更有針對性,實現效率進一步提升。
比如針對泛機器人客戶,芯明有3D立體視覺模組標準和定制產品,企業(yè)客戶可以“開箱即用”,這些產品可以實現深度感知、自主避障、高精度棧板識別、AI智能場景識別、物體識別等功能。
而對于各細分行業(yè)龍頭客戶,芯明也有能滿足其更高需求的空間計算芯片及解決方案,包括從模組到算法庫的端到端全棧解決方案,從硬件到軟件都可以定制化。這一模式在無人機、MR頭顯等領域的頭部客戶中常有應用。
值得一提的是,在實際應用開發(fā)中,芯明積累了大量的應用算法,可快速幫助客戶提供定制產品解決方案及加速產品化周期,這也是芯明在產業(yè)中的核心競爭優(yōu)勢之一。
我們能看到,實現出色的端到端體驗背后,是芯明大量自研技術的創(chuàng)新和突破。據了解,芯明在3D深度視覺、復雜SoC芯片設計、低功耗設計、光學、嵌入式系統軟件、AI邊緣計算和SLAM等關鍵領域有著深厚的研發(fā)積累。
當前,芯明正致力于研發(fā)新一代空間理解模型和算法組件,幫助推動具身智能算法的迭代與部署。
這些技術積累無疑是今天芯明能夠快速把握行業(yè)趨勢、通過產品創(chuàng)新精準洞穿需求痛點的關鍵支撐,讓芯明可以根據客戶的需求快速開發(fā)高性能定制化空間計算芯片。
正如前文所說,2024年是AI加速落地的一年,如何實現商業(yè)化、產業(yè)化是行業(yè)聚焦的,以芯片為代表的算力產業(yè)表現尤為突出。
目前,在人形機器人、MR、機器狗、移動機器人、自主避障無人機、3D掃描這些熱門前沿領域中,我們看到全球范圍內不少頭部廠商已經在產品中應用了芯明的產品和解決方案。
國內我們能看到多家國內消費電子巨頭和互聯網大廠,而海外則有國際物流及機器人巨頭,以及頭部工業(yè)頭顯供應商。
在“強強聯合”的合作模式下,芯明會將自己的技術共享出來,與客戶進行協同創(chuàng)新,雙方的優(yōu)勢互補,進一步提升企業(yè)快速將產品推向市場、拓展業(yè)務領域、最終實現業(yè)務增長的能力。
比如芯明與上市公司天娛數科在空間智能領域的合作探索,天娛數科的空間智能MaaS平臺有80多萬組3D數據、35萬組多模態(tài)數據,將芯明的空間計算芯片和技術、3D視覺模組優(yōu)勢與天娛數科的數據資源、應用場景優(yōu)勢相結合,使得模型訓練、算法優(yōu)化更高效,芯明“感算一體、多路融合”的產品技術特點進一步拓寬了天娛數科智能生態(tài)邊界。
顯然,這種整合和優(yōu)化產業(yè)鏈資源的模式,可以提升產業(yè)鏈的整體效率和競爭力,對雙方企業(yè)和行業(yè)都有積極意義。
面向未來必將會變得更加復雜的市場需求,芯明也做好了準備,但這種準備更像是一種“變化中的不變”。
變得是行業(yè)風向、客戶需求、自身的產品技術迭代,但不變的則是硬核技術創(chuàng)新的底色和積極深入行業(yè)與行業(yè)共創(chuàng)共研的成熟模式。
未來,芯明計劃繼續(xù)拓展消費電子行業(yè),用空間智能技術提高目前產品的性能及功能,同時也會緊跟市場需求推出一些針對行業(yè)痛點的創(chuàng)新產品。
芯明的空間計算芯片解決方案因其高性能、低功耗、出色的多傳感器融合能力、芯片級3D深度視覺引擎、對自主SDK的支持、適應多樣化需求以及全球化的競爭力和產品力,成為這些應用場景中更有競爭力的選擇。
這背后,對技術創(chuàng)新的持續(xù)深耕、積極拓展應用領域,進而提升自身核心競爭力,都值得產業(yè)的學習和借鑒。這也是芯明能不斷推出新的解決方案,以適應市場和技術的變化的根本保證。
空間智能和具身智能已經成為AI產業(yè)確定性的重要發(fā)展方向,當下空間計算產業(yè)的發(fā)展,技術的突破,產業(yè)生態(tài)的完善,仍需各路玩家的合力來解決。
空間計算給產業(yè)帶來了巨大想象空間以及廣闊的發(fā)展前景,空間計算時代才剛剛拉開序幕,要做的事情還很多,精彩還在后面。