search
尋找貓咪~QQ 地點 桃園市桃園區 Taoyuan , Taoyuan

大學生設計出專門為聾啞人服務的機器人

不僅能自動翻譯手語,還能對聾啞人的提問做出回復。更方便的是,只用一個小小的手勢,機器人就會自動跟隨著使用者,隨時隨地與他們交流。與以往手語交互機器人相比,最大的不同,就是使用者不用戴任何感測器,只需對著機器人的攝像機鏡頭做出動作,就可以直接實現與機器人的手語對話。

6月4日,鄭州大學張大偉講師指導四位在校大學生設計的這款「手語交互公共服務機器人」,從世界各國105支參賽隊伍中脫穎而出,奪得「2017國際絲綢之路機器人創意大賽決賽」特等獎。大賽評委會這樣評價「手語交互公共服務機器人」:「可以實現手語交互技術和自主跟隨技術,具有改善語言障礙者生活品質的潛質,市場前景十分明朗。」

讓聾啞人也能享受科技帶來的便利

1995年出生的畢成,是鄭州大學服務機器人代表隊的隊長。他從小對機器人有興趣,2015年還在讀大二的時候,就選擇了為聾啞人服務的機器人作為研究方向。他說:「這一選擇主要是基於對現在公共服務機器人產業現狀的認識。一方面,大家都一個勁地研究語音交互,因為產品硬體成本低,容易賺錢;另一方面是slam,因為ros有很多效果不錯還免費的現成功能,整個產業都有一種拿來主義傾向。我們最初的希望,是通過這個項目,幫助聽力及語言殘障人士也享受到科技帶來的便利,另外還能對整個機器人產業的發展提出一個不同的思路。」

「手語交互技術出現的時間比較早,但長期處於試驗階段,有的要帶手套實現手的動作跟蹤,有的是用體感攝像機,但識別率比較低。」談及自己的發明,畢成說:「我們的技術使用了手的模板信息,能夠靠三維信息知道每個手指的彎曲度,並基於深度學習演算法實現人的四肢動作的穩定跟蹤。」

Slam技術是一種能夠讓機器人在未知環境中定位、構建地圖的功能,是一個非常有潛力的技術,但現在主要應用在掃地機器人上。畢成說,造成這種現象的原因,主要是機器人要完成剛才說的功能,空間里就不能有移動的物體,比如人、寵物,機器人在構建地圖時會把你當作牆來看待。而他們基於三維信息提出的人物跟隨功能,能夠把人物和場景分離,機器人知道人在哪,還知道周邊環境,兩種信息互不干擾。在此基礎上,過濾掉高度比較低的物體,比如寵物,就能讓機器人和用戶自然地存在於一個空間,還能讓人帶著機器人走,教會它做一些事情。

這款機器人是針對具有人工接待的場景進行設計的,比如銀行櫃檯、購物中心、餐廳、酒店、醫院、機場、火車站等。。

手語交互技術和人物跟隨技術,是鄭州大學這款機器人的兩大亮點。為了實現自然的交互距離,他們採用一個遠距離攝像機(Kinect V2)與一個近距離攝像機(Realsense SR300),實現RGBD攝像機的視距範圍擴展。對於機器人的移動功能,他們以3D點雲作為數據輸入,開發了抗光照變化的人物跟隨技術。

一個專門為在校大學生設立的實驗室

「你想不到吧?學校專門為我們設立一個實驗室。除了指導老師,我們團隊都是大學部生啊!」 畢成說:「2015年7月實驗室成立的時候,我才讀大二。後來進來的三個成員,都是我學弟,讀大一。我們的指導老師張大偉講師年齡大點,也才33歲。」

鄭州大學大學生就業創業指導服務中心副主任張紅英介紹,鄭州大學有一整套鼓勵學生創新創業的政策,包括大學生創新創業的資金扶持和管理辦法等。學校不僅建有大學科技園(眾創空間)、北校區大學生創新創業基地,還在10個院系依託重點實驗室和工作室建立了11個大學生創新創業基地。學校還建立了創業導師庫,學生有問題都可以找到相關導師諮詢。

畢成就讀的信息工程學院,專門開闢了1000平方米的大學生創新訓練基地,設立了智能機器人、電子設計創新等多個學生創新實驗室,同時設立專項經費,支持學生創新實驗室,資助學生參加創新和競賽活動。

2015年7月,在張大偉老師幫助下,畢成他們幾個同學成立的這個實驗室,當年暑假就完成了一台公共場所講解服務機器人「米粒」,受到不少關注。「加上指導老師,我們團隊5名成員,可以說是一個完美的組合。」科技日報記者採訪時,大家爭相表達這樣的認識。

在這個團隊里,作為學兄,畢成是發起人和負責人,多次參加機器人大賽暨RoboCup公開賽、河南省大學生課外學術科技作品競賽、中航工業全國大學生課外學術科技作品競賽等大賽。他最拿手的是計算機視覺研究,主要負責機器人硬體製作組裝和圖像識別處理等機器人視覺方面的工作。其他三名成員,包括信息工程學院計算機科學與技術專業的謝永威、信息工程學院軟體工程專業的蔣帥,物理工程學院電子科學與技術專業的趙金華,在編程方面知識儲備都非常好。而指導老師張大偉,是鄭州大學信息工程學院講師,鄭州大學產業技術研究院有限公司機器人應用研究所的負責人,多次指導學生參加機器人大賽並獲獎,在激發、調動團隊成員研究潛力方面駕輕就熟。

團隊一開始是完全偏向科研的,側重點是服務機器人關鍵技術,就是想緊跟業界最新的科技進展。畢成說:「現在技術發展的速度動不動就把一個研究領域給終結了,我們必須不斷地研究新的文獻和技術報告!」

一定要拿完美的技術進行產業化

「手語交互機器人」獲獎后,有企業找到團隊,想開發轉化它。但他們沒同意,畢成說目前這個技術還有一定欠缺,雖然深度神經網路的跟蹤效果非常好,能達到和人一樣的水平,但非常依賴顯卡的計算能力,總不能讓每個機器人都搭載一個發燒級遊戲顯卡吧?這顯然是比較荒謬的。這一幫追求完美的大學生自豪地說:「但語言障礙者站在機器人面前自然交流的一天,已經離我們很近了!」

畢成還說,對於未來的產業化,他們其實沒有單一地圍繞這一作品考慮。「因為關鍵技術的突破,可以促成很多產業機會。就拿我們研究的基於深度神經網路的肢體姿態設計,可以擺脫以前三位攝像機的束縛,能夠在任何視頻中得到人的骨架,這就有很多應用前景,比如說自閉症兒童的行為匿名分析,不良視頻內容的分析,安防領域的分析等。」



熱門推薦

本文由 yidianzixun 提供 原文連結

寵物協尋 相信 終究能找到回家的路
寫了7763篇文章,獲得2次喜歡
留言回覆
回覆
精彩推薦