近日,特斯聯(lián)正式發(fā)布完整空間智能戰(zhàn)略,構(gòu)建以空間智能大模型(Space-Aware LM)為核心驅(qū)動的空間智能體(Space-Aware Agent),以實現(xiàn)空間智能落地實踐,升級在大模型時代的全新空間智能體驗。
直接計算+間接計算:克服多模態(tài)數(shù)據(jù)理解對齊困境
2024年以來,基礎(chǔ)模型能力的不斷躍遷,使得作為第三代AI核心方向的“空間智能”加速涌現(xiàn)。
空間智能意指在動態(tài)三維世界中理解、推理、生成和行動的統(tǒng)一能力,在特斯聯(lián)的視角中,其能力主要通過“空間要素”、“空間模型”、“空間智能體”三大核心要素實現(xiàn),亦即:基于對物理空間內(nèi)空間要素的感知、理解和處理,以空間大模型作為核心計算與推理引擎,使空間智能體具備自主決策、執(zhí)行以及交互的智能能力,從而建立物理世界與數(shù)字世界的無縫鏈接和融合,進(jìn)而實現(xiàn)萬物互聯(lián)、跨越虛實、空間覺知的AI能力。
推動空間智能落地,其關(guān)鍵在于讓空間參與智能計算。然而,在與三維物理世界交互的過程中,空間內(nèi)多模態(tài)數(shù)據(jù)天然的異構(gòu)性、語義差異及空間動態(tài)性則使空間要素的詞元化和語義對齊成為使空間參與計算的核心難點,乃至空間智能在全球范圍內(nèi)發(fā)展所面臨的先決挑戰(zhàn)。針對這一挑戰(zhàn),基于過往近萬項目積累的多模態(tài)數(shù)據(jù)沉淀及工程經(jīng)驗,特斯聯(lián)采用“空間大模型”(直接空間智能計算)與“模型+系統(tǒng)融合”(間接空間智能計算)并行的路徑。
空間大模型(直接空間智能計算):將空間信息直接融入大模型內(nèi)部進(jìn)行計算和推理的技術(shù)路徑,空間信息本身(如狀態(tài)、位置、關(guān)系等)可直接作為模型訓(xùn)練和推理的輸入,使模型原生地理解和處理空間概念。
模型+系統(tǒng)融合(間接空間智能計算):將模型(或多模態(tài)模型)與外部空間數(shù)據(jù)系統(tǒng)連接的技術(shù)方向。大模型通過調(diào)用外部工具或服務(wù)來獲取和利用空間信息,將這些外部空間數(shù)據(jù)直接作為輸入信息參與大模型推理和決策。
基于該兩種并行路徑,空間要素得以支持空間大模型(Space-Aware LM)全面理解空間信息并輔助計算決策。采用兩種并行路徑的優(yōu)勢在于,既能保證空間計算的快速、高效和全面,又能保證空間推理的高可靠性。
空間智能體(Space-Aware Agent)是數(shù)實融合世界的主要執(zhí)行者,能夠作為與人語言交互和行為交互的智能載體,理解并處理各類空間相關(guān)任務(wù);同時,空間智能體亦可為其他智能體提供空間服務(wù),豐富用戶在空間中的場景體驗。特斯聯(lián)的空間智能體表現(xiàn)出核心的五大能力:空間生成、空間感知、空間交互、空間執(zhí)行和智能進(jìn)化。通過分布在空間維度的各類傳感器和物聯(lián)設(shè)備,以及空間信息數(shù)據(jù),空間智能體可以快速生成智能互聯(lián)的“數(shù)字平行世界”,并感知整個空間結(jié)構(gòu)的物理參數(shù)、環(huán)境數(shù)據(jù)以及發(fā)生在空間因人產(chǎn)生的動態(tài)變化??臻g智能體還可以通過自然語言和人交互,精準(zhǔn)理解人的意圖,提供空間信息數(shù)據(jù)和分析,同時執(zhí)行和操作物理設(shè)備,實現(xiàn)物理世界的反饋,實現(xiàn)從物理世界到數(shù)字世界再到物理世界的任務(wù)執(zhí)行閉環(huán)。隨著數(shù)據(jù)積累和行為變化,空間智能體將進(jìn)行周期性的強(qiáng)化學(xué)習(xí),提高空間理解的精準(zhǔn)度和任務(wù)執(zhí)行的有效性。
完善“N+1+1+5”空間智能體系,特斯聯(lián)打造“空間即服務(wù)”新模式
基于上述架構(gòu)設(shè)計,特斯聯(lián)構(gòu)建了“N+1+1+5”的空間智能服務(wù)體系,以包含空間信息、圖像、視頻、人員行為、語言、動作、物聯(lián)狀態(tài)等在內(nèi)的N個多維空間要素,支撐1個空間大模型進(jìn)行推理決策,通過1個空間智能體統(tǒng)籌廣泛的空間服務(wù)系統(tǒng),賦能涵蓋樓宇空間、社區(qū)空間、園區(qū)空間、城市空間以及多類場景空間的5大類型服務(wù)空間。
籍此,空間得以成為提供服務(wù)的主體,創(chuàng)造空間即服務(wù)(Space as a Service)的全新商業(yè)模式。
相較于傳統(tǒng)智慧系統(tǒng)下的場景體驗(如:用戶通過明確、精準(zhǔn)指令,操控能源、樓控、通行、安防、運維等海量專用系統(tǒng)實現(xiàn)需求),空間作為服務(wù)主體能夠創(chuàng)造獨特的場景價值:空間大模型全面掌握空間信息及數(shù)據(jù),用戶僅需通過模糊的自然語言提出需求,空間大模型即可給出超越人類經(jīng)驗的決策建議和執(zhí)行方案,空間智能體依據(jù)大模型計算決策結(jié)果完成規(guī)劃和執(zhí)行,極大提升執(zhí)行和管理效率。這將徹底改變過去智能化場景的理解,讓空間理解人,服務(wù)于人,創(chuàng)造更加廣闊的真實商業(yè)智慧場景和市場,革新在物理空間的生活工作方式。
不僅如此,特斯聯(lián)還提出了空間智能程度的評價標(biāo)準(zhǔn),空間智能指數(shù)(SAI指數(shù),Space-Aware Intelligence Index),以四大維度量化服務(wù)效能,直觀反應(yīng)空間智能服務(wù)的綜合能力與成熟度——特定空間內(nèi)空間交互密度(可交互要素數(shù)量)越高,空間協(xié)同廣度(可聯(lián)動系統(tǒng)數(shù)量)越廣,空間服務(wù)精度(定位精度、識別準(zhǔn)度、響應(yīng)速率)越高,空間智能應(yīng)用價值越顯著,則該空間的智能服務(wù)效能越高。
特斯聯(lián)CTO華先勝博士表示,特斯聯(lián)空間智能框架體系源于對空間場景、服務(wù)需求和空間覺知多模態(tài)大模型技術(shù)能力的深刻理解。有別于其他空間智能概念,特斯聯(lián)的空間智能以空間要素為基礎(chǔ),通過空間要素參與智能計算,真正發(fā)揮空間價值,帶來全新的空間服務(wù)體驗。未來,特斯聯(lián)亦將帶領(lǐng)優(yōu)秀的技術(shù)團(tuán)隊攜手產(chǎn)學(xué)研各界生態(tài)伙伴,持續(xù)探索多源異構(gòu)數(shù)據(jù)的融合訓(xùn)練和推理技術(shù)策略,加速直接智能計算路徑的完善,優(yōu)化空間大模型的空間分析理解及推理決策能力,推動空間智能的可持續(xù)協(xié)同進(jìn)化。
訪談
更多做行業(yè)賦能者 HID迎接數(shù)字化浪潮新機(jī)遇 破解新挑戰(zhàn)
今年3月份,全球可信身份解決方案提供商HID發(fā)布了最新的《安防行業(yè)現(xiàn)狀報告》(以下簡稱“報告”),該報告…
數(shù)字化浪潮下,安防廠商如何滿足行業(yè)客戶的定制化需求?
回顧近兩年,受疫情因素影響,包括安防在內(nèi)的諸多行業(yè)領(lǐng)域都遭受了來自市場 “不確定性”因素的沖擊,市場…
博思高鄧紹昌:乘產(chǎn)品創(chuàng)新及客戶服務(wù)之舟,在市場變革中逆風(fēng)飛揚
11月24日,由慧聰物聯(lián)網(wǎng)、慧聰安防網(wǎng)、慧聰電子網(wǎng)主辦的2022(第十九屆)中國物聯(lián)網(wǎng)產(chǎn)業(yè)大會暨品牌盛會,在深…