【成果應用】科大訊飛“聽見A.I.的聲音”走進中國殘疾人藝術團 ?——訊飛聽見云會議、錄音寶M1助力殘疾人遠程教學
- 文章來源:
無障礙智庫
- 發布時間:2020.07.24

科大訊飛“聽見A.I.的聲音”
走進中國殘疾人藝術團
——訊飛聽見云會議、錄音寶M1助力殘疾人遠程教學
為了阻斷疫情向校園蔓延,確保師生生命安全和身體健康,教育部明確2020年春季延期開學,并提出“停課不停學”。目前,各地學校陸續開始行動,老師們紛紛通過開設網絡直播給學生上課。受疫情影響,殘疾人藝術團的線下教學工作也受到了一定的阻礙,在“停課不停學”上,因為大多網絡學習課件沒和直播課程有字幕及手語解釋,聽障學生其實更應當收到社會更多的關注與幫助。

2019年5月15日,第二十九個全國助殘日上,中國聾協聯合科大訊飛正式發起了“聽見A.I.的聲音”關愛聽障人士公益行動。訊飛聽見APP承諾向所有聽障用戶提供終身免費轉寫服務。適逢“聽見A.I.的聲音”關愛行動一周年之際,科大訊飛于2020年5月15日再次來到中國殘疾人藝術團,為藝術團的80余名聽障同學進行了一場“云捐贈”,包含訊飛聽見云會議產品及近百臺訊飛聽見錄音寶M1,并通過線下+線上連線的新方式為同學們進行培訓,手把手教會大家使用。網絡授課方式顯著降低了講課聽課的門檻,多種學習軟件、學習視頻、網絡課堂APP層出不窮,讓普通人隨時隨地都可以在線學習,獲取前沿知識。然而,聽力不同的觀眾,對字幕詳細程度的需求差別很大。聽力沒有損失的觀眾,只要畫面上有幻燈片或者關鍵詞,他們已經能輕松地聽明白全部細節。對有聽力損失的觀眾來說,視頻和直播中所有的言語信息要逐字展示,與畫面同步,才是一個完整的、可以理解的信息結構。對于有更嚴重的聽力損失的觀眾來說,有時還需要提示背景環境音,使看不見的聲音能夠被“看”到:比如日本的一些信息無障礙電影中,甚至汽車鳴笛的背景音都要通過文字顯現。最受聽障人士歡迎的,還是配有字幕的網絡課程。無論是電視、電話,還是視頻、音頻,傳輸的聲音信號都有一定的變形,這讓聽障人士,特別是中重度聽障者,辨聽電子聲多少有一定的困難。而帶有字幕的視頻,能夠幫助他們實時對接聲音與畫面。可見,言語信息的逐字字幕是通用無障礙設施的一部分,可以覆蓋到最多人群的需要,和建筑物門口的無障礙斜坡性質是一樣的,它是聲音世界里的坡道。對于聽障學生來說,“云課堂”下的信息無障礙需求,主要體現在搭配字幕。網絡遠程教學的字幕呈現,應該滿足以下幾個原則:1、制作盡量自動化,不需要額外雇用翻譯(速錄師)來同步轉錄,或者要求親戚朋友長時間做兼職的同聲傳譯。4、位置最好在屏幕下方或者右方,并帶有延時交替性(類似卡拉OK那樣,后一句話出現時,前一句話不要馬上消失,逐句頂替)。一些老師講課語速較快,聽障學生低頭記筆記的時候,注意力難以一心二用,很容易錯過老師沒有強調的重點。5、上手簡單快捷,對老師和學生雙方來說,學習成本都很低。6、不容易引起教學內容方面的知識產權爭議,授課者也更愿意配合。為此,科大訊飛利用聽見云會議產品為殘疾人遠程教學提供“軟件+硬件”全套無障礙教學解決方案,軟件服務包括:多方音視頻通信、實時語音轉寫、中英文互譯等;硬件終端包括:一款以多功能視頻通信、實時語音轉寫及翻譯為核心功能,可放置在老師講桌上或辦公桌的高端智能教學設備訊飛聽見L1;提供各類軟件客戶端(IOS,ANDROID,WINDOWS,MAC端),聽障可使用各種設備(手機、電腦、訊飛聽見L1等)開啟教學進行即時溝通,通過業界領先的語音轉寫、翻譯及基于云架構多系統兼容的視頻通信技術,實現視頻教學語音轉寫、遠程課件分享、教學全程記錄、教學成果沉淀、內容快速分享等獨特功能。

5月15日,殘疾人藝術團80余名聽障同學體驗了這種學習新的形式,使用訊飛聽見云會議進行授課,現場通過訊飛聽見云會議遠程連線了身處外地暫時無法復課的同學,產品對發言人提供實時語音轉文字的服務,將字幕呈現在屏幕端,幫助每一位聽障學生進行實時的溝通,變聽為看,成為他們與世界溝通的小耳朵。



“大多數的人會認為聽障群體通過手語就能進行準確的溝通和理解,其實不然。普通人的語言表達其實是非常豐富的,除了肢體表情,還有文字的描述,相近的詞語在不同的語境下表達的意思可能千差萬別。對于他們來說,唇語、手語加文字,如此立體的三方理解培養,至關重要。而隨著技術的不斷成熟,尤其是像訊飛聽見的語音轉文字技術,對于聽障群體來說,是一件幫助他們與世界溝通的有效手段。”中國殘疾人藝術團張京津副團長說道。殘疾人藝術團日常會使用訊飛聽見云會議進行遠程教學,同學們不僅能看見手語,同時還可以看到實時的字幕出現在屏幕下方。藝術團內80余名聽障學生還會使用訊飛聽見錄音寶M1連接手機中的訊飛聽見APP進行日常的溝通、學習。如今A.I.正在持續助力社會的無障礙建設,通過人工智能技術把語音轉化成文字,變聽為看、看聽結合,讓聽障人士通過文字去感受世界、與人溝通交流、順利完成工作學習,建立起與聽障人士溝通的橋梁。“通過這些A.I.技術的加持,現在的聽障孩子們與陌生人、與世界溝通的能力也開始越來越好了。能讓他們在理解能力和溝通能力上與普通人更接近。”張京津副團長如是說。