在人工智能領(lǐng)域,人體行為骨架識別是智能監(jiān)控、人機(jī)交互、機(jī)器人等諸多應(yīng)用的一項(xiàng)關(guān)鍵技術(shù),以老人智能看護(hù)為例,判斷老人是否正常吃飯、服藥、是否有異常行動(dòng)出現(xiàn)(例如摔倒);在人機(jī)交互系統(tǒng),猜測對方的“心思”,預(yù)測用戶的意圖;醫(yī)院的康復(fù)訓(xùn)練,評估恢復(fù)程度以提供更好的康復(fù)指導(dǎo)等。
檢信智能骨架識別建模結(jié)構(gòu)主網(wǎng)絡(luò)(Main LSTM Network根據(jù)對特征進(jìn)行提取、時(shí)域相關(guān)性利用和最終的分類),時(shí)域注意力 (Temporal Attention)和空域注意力兩個(gè)子組成。主網(wǎng)絡(luò)同時(shí)引入時(shí)域注意力(TA)和空域注意力(SA)網(wǎng)絡(luò)后,加上聯(lián)合分類回歸的設(shè)計(jì),聯(lián)合分類和回歸循環(huán)網(wǎng)絡(luò)(JCR-RNN)實(shí)現(xiàn)了快速準(zhǔn)確骨架行為檢測,檢信ALLEOMTION骨架識別的精度實(shí)現(xiàn)了大幅提升。
人體的運(yùn)動(dòng)通過15個(gè)關(guān)節(jié)點(diǎn)的移動(dòng)來描述,關(guān)鍵節(jié)點(diǎn)的組合與追蹤便能形成對諸多行為例如跳舞、走路、跑步等的刻畫,做到通過人體關(guān)鍵節(jié)點(diǎn)的運(yùn)動(dòng)來識別行為。計(jì)算機(jī)想要得到到“察言觀色”的技能并不那么容易。識別系統(tǒng)不僅需要判斷行為動(dòng)作的類型,也需要定位行為動(dòng)作發(fā)生的位置,即進(jìn)行行為動(dòng)作檢測。其關(guān)鍵在于兩個(gè)方面:一方面是如何設(shè)計(jì)魯棒和有強(qiáng)判別性的特征,另一方面是如何利用時(shí)域相關(guān)性來對行為動(dòng)作的動(dòng)態(tài)變化進(jìn)行建模。
基于骨架的行為識別技術(shù),檢信智能采用基于LSTM(Long-Short Term Memory)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來搭建基礎(chǔ)框架,用于學(xué)習(xí)有效的特征并且對時(shí)域的動(dòng)態(tài)過程建模,實(shí)現(xiàn)端到端(End-to-End)的行為識別及檢測。
人體骨架由15個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)位置表示。“揮拳”行為動(dòng)作序列示例,行為動(dòng)作要經(jīng)歷不同的階段(比如靠近、高潮、結(jié)束),涉及到不同的具有判別力的關(guān)節(jié)點(diǎn)子集合。注意力模型(Attention Model)其方案就是模擬人類對事物的認(rèn)知,將更多的注意力放在信息量更大的部分。