羊小咩享花卡怎么套出現(xiàn)啊?7個(gè)小方法讓你輕松提現(xiàn)


![]()
因漸凍癥(ALS)等病癥而無法言語或打字的人群不容忽視,他們在日常溝通交流中面臨著巨大障礙,急需有效的輔助手段來打破溝通壁壘。
盡管輔助性/替代性溝通(AAC)設(shè)備及眼動(dòng)打字技術(shù)雖能提供一定支持,但頻繁的按鍵操作極易導(dǎo)致眼疲勞和時(shí)間成本,嚴(yán)重阻礙了運(yùn)動(dòng)障礙患者進(jìn)行自然流暢的對話以及充分表達(dá)自我,進(jìn)而影響生活質(zhì)量。
為解決這一問題,來自谷歌的研究團(tuán)隊(duì)及其合作者開發(fā)了一個(gè)由大語言模型(LLM)驅(qū)動(dòng)的用戶界面(UI)——SpeakFaster。
據(jù)介紹,SpeakFaster 利用經(jīng)過微調(diào)的 LLM 和會(huì)話語境,能以極高的準(zhǔn)確率將高度縮略的英文文本(僅為單詞首字母,必要時(shí)還會(huì)添加字母和單詞)擴(kuò)展為所需的完整短語,幫助 ALS 患者眼動(dòng)打字按鍵次數(shù)減少了 57%,文本輸入速度比 baseline 提高了 29-60%。
視頻|SpeakFaster UI 的截屏顯示。該界面允許用戶輸入縮寫文本,并使用對話上下文以完整句子形式建議答復(fù)。
相關(guān)研究論文以“Using large language models to accelerate communication for eye gaze typing users with ALS” 為題,已發(fā)表在 Nature 子刊 Nature Communications 上。
![]()
這些結(jié)果表明,通過大幅提高文本輸入速度并減少身體壓力,SpeakFaster 可以幫助嚴(yán)重運(yùn)動(dòng)障礙患者更準(zhǔn)確、更高效地交流,使他們能夠更充分地參與對話,從而提高獨(dú)立性、社會(huì)參與度、自我表達(dá)能力和生活質(zhì)量。
讓漸凍癥患者更好地溝通
SpeakFaster 提供了一種基于人工智能(AI)的方法,將 LLM 與專為縮寫文本輸入而設(shè)計(jì)的 UI 結(jié)合。
具體而言,研究團(tuán)隊(duì)首先對 SpeakFaster 的 UI 進(jìn)行了設(shè)計(jì),從而確保其允許輕松輸入和優(yōu)化縮寫,保證用戶始終能夠傳達(dá)他們想要的信息,即使初始預(yù)測不是他們想要的。
他們此前證明,經(jīng)過微調(diào)的 LaMDA(64B參數(shù))可以將單詞首字母形式的縮寫(例如“ishpitb”)擴(kuò)展為完整短語(例如“I saw him play in the bed”),在提供對話上下文(即另一位說話者的輪次)時(shí),準(zhǔn)確率高達(dá) 77%。無法找到精確匹配的情況往往發(fā)生在更長、更復(fù)雜的短語上。
![]()
圖|SpeakFaster UI 中縮寫文本輸入的主要交互途徑:僅首字母路徑。
雖然很有希望,但實(shí)際的解決方案需要確保用戶在初始縮寫擴(kuò)展(AE)失敗的情況下能夠隨后輸入任何任意的短語,即用戶在 UI 中永遠(yuǎn)不會(huì)遇到“死胡同”。因此,他們開發(fā)了一個(gè) UI 和兩個(gè)底層微調(diào)的 LLM,作為完整、實(shí)用的解決方案。
其中,KeywordAE 能夠擴(kuò)展混合首字母和完整或部分拼寫單詞的縮寫。KeywordAE 模型還能夠擴(kuò)展僅由首字母組成的縮寫,因此提供了此前他們工作功能的超集。
![]()
圖|KeywordAE UI 途徑。
FillMask 則能夠在周圍單詞的上下文中提供以給定首字母開頭的備選單詞。兩個(gè)模型均使用從四個(gè)公共英語對話數(shù)據(jù)集中合成的大約 180 萬個(gè)獨(dú)特的三元組 {上下文、縮寫、完整短語} 進(jìn)行微調(diào)。
![]()
圖|FillMask UI 路徑。
為了形成通往微調(diào) LLM 的通道,他們還設(shè)計(jì)了一個(gè)具有三個(gè)路徑的 UI,即 Initials-only AE、KeywordAE 和 FillMask,以支持完整的縮寫文本輸入體驗(yàn)。
Initials-only AE 是 SpeakFaster UI 中所有短語輸入工作流程的共同起點(diǎn)。在三個(gè)路徑中,它涉及的按鍵和眼動(dòng)點(diǎn)擊次數(shù)最少,僅首字母路徑就足以滿足簡短和可預(yù)測的短語。當(dāng)用戶輸入縮寫時(shí),UI 在每個(gè)按鍵后自動(dòng)觸發(fā)對 KeywordAE LLM 的調(diào)用,包括用戶鍵入的縮寫以及所有之前的對話輪次作為 LLM 的輸入。每個(gè)調(diào)用返回基于對話上下文和縮寫的 top-5 最有可能的選項(xiàng),這些選項(xiàng)在 UI 中呈現(xiàn)給用戶瀏覽和選擇。
如果通過僅首字母路徑?jīng)]有找到預(yù)期短語,那么 SpeakFaster UI 提供了兩種替代 UI 路徑來幫助用戶找到預(yù)期短語。
第一種替代 UI 路徑是 KeywordAE,允許用戶拼寫多個(gè)單詞。每次按鍵后都會(huì)自動(dòng)觸發(fā)對 KeywordAE 的調(diào)用,而每次調(diào)用后,UI 將呈現(xiàn) KeywordAE LLM 返回的最新 top-5 短語擴(kuò)展。
第二種替代 UI 路徑是 FillMask,這是從找不到精確預(yù)期短語的失敗中恢復(fù)的另一種方法。與 KeywordAE 不同,F(xiàn)illMask 僅適用于擴(kuò)展中的非常少(通常是單個(gè)單詞)單詞不正確的情況。
KeywordAE 和 FillMask 是兩種替代交互模式,用于從通過僅首字母路徑無法獲得預(yù)期短語中恢復(fù)。在當(dāng)前研究中,SpeakFaster UI 允許用戶在使用 KeywordAE 模式后使用 FillMask 模式,這對于在難以預(yù)測的短語中找到正確的單詞很有用。
![]()
圖|由 KeywordAE 和 FillMask 輔助的短語輸入模擬策略。
這樣一來,當(dāng)使用 SpeakFaster 時(shí),用戶首先輸入他們想要的短語中單詞的首字母。然后,經(jīng)過微調(diào)的 LLM 會(huì)預(yù)測整個(gè)短語,并根據(jù)這些首字母和對話上下文顯示最可能的短語。如果所需短語不在選項(xiàng)中,用戶可以通過拼出關(guān)鍵詞或選擇替代詞來優(yōu)化預(yù)測。這種方法大大減少了所需的按鍵次數(shù),從而加快了溝通速度。
之后,為評估 SpeakFaster UI 界面節(jié)省用戶操作動(dòng)作的大致上限,研究團(tuán)隊(duì)開展了模擬實(shí)驗(yàn)。他們使用 Turk Dialogues 語料庫,模擬了三種不同的用戶交互策略:
策略 1:使用首字母縮寫進(jìn)行 AE,如果失敗則使用 KeywordAE 進(jìn)行迭代拼寫,直到找到匹配的短語。
策略 2:與 Strategy 1 相同,但每當(dāng)最佳匹配短語候選詞中只剩下一個(gè)錯(cuò)誤單詞時(shí),就使用 FillMask 進(jìn)行替換。
策略 2A:Strategy 2 的變體,更積極地使用 FillMask,即在最佳選項(xiàng)中剩下兩個(gè)或更少的錯(cuò)誤單詞時(shí)立即使用。
與 Gboard 的預(yù)測 baseline 相比,SpeakFaster 在三種策略下都實(shí)現(xiàn)了顯著的按鍵節(jié)省。在 Strategy 2 下,使用 KeywordAE v2 模型,SpeakFaster 實(shí)現(xiàn)了 0.657 的按鍵節(jié)省率(KSR),比 Gboard 的 KSR(0.482) 高出 36%。這表明,利用 LLM 的上下文感知能力和 FillMask 的詞替換功能,可以在很大程度上提高文本輸入效率。
模擬結(jié)果還表明,SpeakFaster 在提供 5 個(gè)最佳短語選項(xiàng)的情況下表現(xiàn)最佳,并且對話上下文對于 LLM 的預(yù)測能力至關(guān)重要。
![]()
圖|模擬實(shí)驗(yàn)結(jié)果表明,SpeakFaster UI 可大幅節(jié)省按鍵。
除了模擬實(shí)驗(yàn)外,研究團(tuán)隊(duì)還進(jìn)行了用戶研究,從而測試 SpeakFaster 的有效性。
研究團(tuán)隊(duì)測量了動(dòng)作節(jié)省(與要輸入的完整字符集相比節(jié)省的按鍵次數(shù))、實(shí)用性(每分鐘的打字速度)和 SpeakFaster UI 的可學(xué)習(xí)性(人們需要多少練習(xí)才能習(xí)慣使用該系統(tǒng))這三個(gè)指標(biāo)以評估 SpeakFaster 界面。
在運(yùn)動(dòng)節(jié)省指標(biāo)方面,與傳統(tǒng) baseline 相比,SpeakFaster 為 ALS 眼動(dòng)用戶和非 AAC 參與者提供了大量按鍵動(dòng)作節(jié)省。對于非 AAC 用戶,SpeakFaster 在腳本場景中可實(shí)現(xiàn) 56% 的按鍵節(jié)省,在非腳本場景中可實(shí)現(xiàn) 45% 的按鍵節(jié)省。對于 ALS 眼動(dòng)用戶,SpeakFaster 還在腳本階段顯著節(jié)省了按鍵。
![]()
圖|左圖:非 AAC 用戶的KSR。右圖:ALS 眼動(dòng)用戶的 KSR。橙色和紫色條顯示使用 SpeakFaster 系統(tǒng)時(shí)的 KSR,藍(lán)色和綠色條顯示使用 baseline 智能鍵盤時(shí)的 KSR。
在實(shí)用性指標(biāo)方面,對于非 AAC 用戶來說,整體文本輸入速度與傳統(tǒng)打字速度相當(dāng)。然而,在針對一位 ALS 眼動(dòng)用戶的實(shí)驗(yàn)室研究顯示,SpeakFaster 使腳本階段的打字速度提高了 61.3%,非腳本階段的打字速度提高了 46.4%。
![]()
圖|左圖:對于非 AAC 用戶,腳本階段和非腳本階段的整體文本輸入速度沒有出現(xiàn)顯著變化。右圖:對于 ALS 眼動(dòng)用戶,SpeakFaster 顯著提高了腳本階段和非腳本階段的速度。
除了節(jié)省動(dòng)作和提升打字速度外,學(xué)習(xí)曲線和所引入的認(rèn)知負(fù)荷也是評估打字系統(tǒng)和UI的關(guān)鍵指標(biāo)。雖然與非 AAC 用戶相比,ALS 眼動(dòng)用戶在使用 SpeakFaster 時(shí)最初的學(xué)習(xí)曲線略慢,但只需 15 個(gè)練習(xí)對話,ALS 眼動(dòng)用戶就能達(dá)到舒適的打字速度。
![]()
圖|通過為非 AAC 用戶提供 6 個(gè)練習(xí)對話和為 ALS 眼動(dòng)用戶提供 15 個(gè)練習(xí)對話,參與者能夠?qū)W習(xí) SpeakFaster 系統(tǒng)達(dá)到每分鐘 20-30 個(gè)單詞的舒適打字速度(顯示在 y 軸上)。
雖然各項(xiàng)實(shí)驗(yàn)表明 SpeakFaster 幫助嚴(yán)重運(yùn)動(dòng)障礙患者實(shí)習(xí)高效交流方面具有獨(dú)特優(yōu)勢,但目前該研究還存在有模型語言單一、短語長度受限、服務(wù)成本高昂以及研究樣本量較少等局限。
AI 正在改善殘障人士生活
SpeakFaster 并非首個(gè)致力于改善殘障人士生活的 AI 項(xiàng)目。
2019 年,BrightSign 推出了一款基于 AI 的智能手套。該手套內(nèi)置預(yù)定義手語庫,能將手勢轉(zhuǎn)化為語音,結(jié)合機(jī)器學(xué)習(xí)算法,可讓讓聽力或語言障礙者雙向交流、獨(dú)立與他人直接溝通,行動(dòng)受限者如中風(fēng)患者或聽力喪失老人也可使用。
2021 年,加州大學(xué)舊金山分校 Chang Lab 團(tuán)隊(duì)首次用腦機(jī)接口幫助一位癱瘓超過 15 年的失語男子 BRAVO1 恢復(fù)了“說話”能力。該研究通過在被試者大腦內(nèi)植入電極的深度神經(jīng)讀取技術(shù)幫助被試者實(shí)現(xiàn)腦與設(shè)備的信息交換,從而恢復(fù)其與世界溝通的能力。()
2024 年,OpenAI 推出了 Voice Engine 模型的小規(guī)模預(yù)覽成果。該模型使用文本輸入和單個(gè) 15 秒音頻樣本來生成與原始說話者非常相似的自然語音,已經(jīng)幫助一名因血管性腦腫瘤而失去流利語言能力的年輕患者恢復(fù)聲音。
2024 年,北卡羅來納州立大學(xué)與北卡羅來納大學(xué)教堂山分校的蘇浩教授團(tuán)隊(duì)提出了一種在計(jì)算機(jī)仿真環(huán)境中通過強(qiáng)化學(xué)習(xí)來讓機(jī)器人學(xué)習(xí)控制策略的新方法,有望極大地提高老年人,行動(dòng)障礙人士和殘疾人的生活質(zhì)量。
相信在不久的將來,AI 將進(jìn)一步改善殘障人士的生活。
對此,你怎么看?歡迎在評論區(qū)留言。
本文鏈接:http://knowith.com/news-23-55980.html羊小咩享花卡怎么套出現(xiàn)啊?7個(gè)小方法讓你輕松提現(xiàn)
聲明:本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅,請大家謹(jǐn)防詐騙!若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。
全球首個(gè)!遺傳性耳聾基因療法獲重要突破
關(guān)于跨境稅費(fèi)繳庫退庫業(yè)務(wù)管理有關(guān)事項(xiàng)的通知(銀發(fā)〔2024〕4號(hào))
關(guān)于對北京市朝陽區(qū)2023年度第十二批擬認(rèn)定創(chuàng)新型中小企業(yè)名單進(jìn)行公示的通知
【征集】關(guān)于開展商業(yè)航天技術(shù)合作項(xiàng)目指南需求征集的通知
力箭一號(hào)遙三運(yùn)載火箭成功發(fā)射
《原材料工業(yè)數(shù)字化轉(zhuǎn)型工作方案(2024—2026年)》
解讀《關(guān)于優(yōu)化中央企業(yè)資產(chǎn)評估管理有關(guān)事項(xiàng)的通知》
科技部2023年全國人大建議和全國政協(xié)提案辦理情況
@中小微企業(yè) 政策速遞一圖讀懂(熱點(diǎn)政策)
北京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)支持高精尖產(chǎn)業(yè)人才創(chuàng)新創(chuàng)業(yè)實(shí)施辦法(2.0版)