學(xué)習(xí)一門(mén)語(yǔ)言的最佳方法，通常是讓自己沉浸在說(shuō)這門(mén)語(yǔ)言的人所處的環(huán)境中。持續(xù)沉浸在這種語(yǔ)言環(huán)境中，加上溝通交流的壓力，能幫你很快學(xué)會(huì)和練習(xí)新詞匯。但并不是每個(gè)人都有機(jī)會(huì)在國(guó)外生活或?qū)W習(xí)。
位于美國(guó)紐約州特洛伊市的一所大學(xué)倫斯勒理工學(xué)院（Rensselaer Polytechnic Institute ，RPI）與IBM研究院（IBM Research）進(jìn)行了一項(xiàng)新的合作，為學(xué)生們提供了另一種選擇：360度虛擬環(huán)境。
通過(guò)它將學(xué)生們“傳送”到北京的繁忙街道或擁擠的中餐館，學(xué)生們將有機(jī)會(huì)與街頭小販討價(jià)還價(jià)或購(gòu)買(mǎi)食物，環(huán)境中配有不同的人工智能功能，以便對(duì)其作出實(shí)時(shí)響應(yīng)。
盡管該課堂很大程度上是實(shí)驗(yàn)性的，但今年夏天它將首次被應(yīng)用于這所大學(xué)一門(mén)為期六周的學(xué)分課程中。
該項(xiàng)目的靈感來(lái)自RPI的兩位教師，他們經(jīng)常利用角色扮演游戲來(lái)幫助學(xué)生學(xué)習(xí)漢語(yǔ)。與此同時(shí)，在過(guò)去幾年中，一些研究發(fā)現(xiàn)互動(dòng)式學(xué)習(xí)環(huán)境可以提高語(yǔ)言的理解和記憶。
2018年發(fā)表的一項(xiàng)研究還發(fā)現(xiàn)，在3D虛擬環(huán)境中學(xué)日語(yǔ)使學(xué)生更容易通過(guò)模擬仿真學(xué)會(huì)他們偶然遇到的詞匯。兩位教授與IBM Research基于這些認(rèn)識(shí)展開(kāi)了合作，探討他們是否能為自己的學(xué)生復(fù)制這些好處。
除了讓場(chǎng)景的數(shù)字投影環(huán)繞在學(xué)生周?chē)摥h(huán)境還使用多種類(lèi)型的傳感器來(lái)動(dòng)態(tài)適應(yīng)學(xué)生的話語(yǔ)和動(dòng)作。參與者佩戴的麥克風(fēng)將他們的音頻直接提供給語(yǔ)音識(shí)別算法。
當(dāng)他們指向不同對(duì)象或走向不同的虛擬代理時(shí)，攝像頭會(huì)跟蹤他們的動(dòng)作和手勢(shì)，并在虛擬場(chǎng)景中顯示出來(lái)。例如，如果學(xué)生指向餐廳場(chǎng)景中的一道菜并詢(xún)問(wèn)它是什么，虛擬代理可以用名稱(chēng)和描述來(lái)響應(yīng)。
“敘事生成”技術(shù)還能利用維基百科的知識(shí)，讓每個(gè)虛擬代理為即興提問(wèn)（“這道菜的歷史是什么？”）構(gòu)建更復(fù)雜的答案。（然而，對(duì)話主題仍然有點(diǎn)局限于學(xué)生試圖完成的任務(wù)。）
該環(huán)境中的許多技術(shù)都是已投入商用的產(chǎn)品，它們編織在一起，便形成了一個(gè)整體體驗(yàn)。但有些技術(shù)必須為該項(xiàng)目而專(zhuān)門(mén)開(kāi)發(fā)。例如，普通話有五聲，對(duì)許多新學(xué)習(xí)者來(lái)說(shuō)這是個(gè)挑戰(zhàn)，但它對(duì)傳達(dá)意義至關(guān)重要。說(shuō)“賣(mài)”這個(gè)詞時(shí)稍有出入，你可能會(huì)說(shuō)成“買(mǎi)”。
因此，研究人員發(fā)明了一種算法來(lái)分析學(xué)生發(fā)音的聲調(diào)。它將其與母語(yǔ)為漢語(yǔ)者的聲調(diào)進(jìn)行比較，顯示兩者的不同之處，然后在環(huán)境中直接提供音頻和視覺(jué)反饋。它使學(xué)生能向虛擬代理詢(xún)問(wèn)有些東西該怎么表達(dá)，并立即開(kāi)始練習(xí)新詞匯。
領(lǐng)導(dǎo)這項(xiàng)計(jì)劃的IBM研究院認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室主任蘇輝說(shuō)，他的團(tuán)隊(duì)仍處于了解實(shí)驗(yàn)效果的早期階段。但在2017年底的一個(gè)試點(diǎn)項(xiàng)目中，研究人員有了定性方面的發(fā)現(xiàn)，發(fā)現(xiàn)它提高了學(xué)生在語(yǔ)言學(xué)習(xí)中的參與度和樂(lè)趣，并幫助他們迅速學(xué)會(huì)新的詞匯。
例如，在餐館點(diǎn)菜前，學(xué)生們并沒(méi)有學(xué)支付餐費(fèi)該怎么表達(dá)，但通過(guò)觀察同齡人和虛擬代理交談，許多人學(xué)會(huì)了支付餐費(fèi)的必要詞匯。蘇說(shuō)：“這有點(diǎn)出乎意料。其中一個(gè)學(xué)生評(píng)論說(shuō)，語(yǔ)言教學(xué)就該這樣�！�
第一年新課程將在近一半時(shí)間里使用虛擬環(huán)境，其余時(shí)間里使用傳統(tǒng)課堂，但這種安排未來(lái)可能有變化。
如果該課程能提供學(xué)生學(xué)習(xí)成績(jī)明顯改善的強(qiáng)有力證據(jù)，它就能為其它課程樹(shù)立榜樣。最直接的想法是將其經(jīng)驗(yàn)擴(kuò)展到其他語(yǔ)言上，但它也可以用到大學(xué)以外的地方，指導(dǎo)公司高管，培訓(xùn)政府工作人員，或進(jìn)行其它可能從情景模擬和角色扮演中獲益的準(zhǔn)備活動(dòng)。
蘇輝說(shuō)，這項(xiàng)計(jì)劃最終將為研究人員的長(zhǎng)期任務(wù)提供幫助，使他們能夠理解認(rèn)知與沉浸式環(huán)境是如何影響學(xué)習(xí)、協(xié)作和感知能力的。
