技術通報 291期_為身心障礙者開啟一扇溝通的窗— EOG 眼控型溝通輔具 2023.01.18

       
  身心障礙者開啟一扇溝通的窗—
EOG 眼控型溝通輔具
   
  文/ 嘉創服務部 賴冠融    
         精機中心開發「EOG 眼控型溝通輔具」,運用科技的方法幫助身心障礙者溝通零障礙!漸凍人、腦性麻痺小孩、肌肉萎縮患者、脊椎損傷者等重度身心障礙者,只要眼睛眨一眨,就能夠把心裡話表達給家人,讓溝通與請求精準傳達。
       運動神經元疾病(motor neuron diseases)是一群運動神經元漸進性退化而造成全身肌肉萎縮及無力的疾病,其中肌萎縮性脊髓側索硬化症(ALS)是成人最常見的運動神經元疾病。ALS 在全世界的普及率約為 5/100000 左右,偶發性 ALS 患者的平均年齡多為 55- 75 歲之間,而家族遺傳性 ALS 患者的發病年紀大多較早;男性罹病機率約為女性的1.5-2.5 倍。
       由於漸凍人無法將大腦的命令傳達給肌肉做出反應,會逐步影響到大腦能夠控制的各種肌肉。發病初期大腦能夠持續感知外界種種活動,卻無法指揮身體做出回應,病人的處境就如同逐漸冰凍般無法動彈。但漸凍人患者其實大 部分頭腦意識清楚,只是受限於肢體無法做出動作反應,因此財團法人精
密研究發展中心運用電極貼片來感應患者眨眼的次數與頻率,透過訊號感測分析技術來傳達患者的需求是否需要照顧者的協助,開發出「EOG眼控型溝通輔具」來協助弱勢病友發聲,使患者能透過眨眼的次數即
可表達自身需求。

技術簡介與應用功能說明
技術簡介
應用三個貼片式感應器來偵測人體眨眼時的微幅訊號,再透過訊號放大器將訊號轉換成0~5V 電壓訊號,搭配訊號分析處理技術來辨別人體眨眼的動作與頻率次數,結合軟體開發聯網功能,將即時收集到的訊號上傳至通訊軟體,使用者可在遠端了解現場使用情形。
 
應用功能說明
漸凍人患者其實大部分頭腦意識清楚,只是無法將大腦的命令傳達給肌肉做出反應,病人的處境就如同逐漸冰凍般無法動彈,因此財團法人精密研究發展中心運用電極貼片來感應患者眨眼的次數與頻率,透過訊號感測分析技術來傳達患者的需求是否需要照顧者的協助,開發出「EOG 眼控型溝通輔具」來協助弱勢病友發聲,使患者能透過眨眼維持生命尊嚴及醫療照護品質為目標。
   
     
 

眼控型溝通輔具系統架構

   
眼控型輔具系統拆解圖,如圖二。

依據上頁拆解圖二,共可拆分為 9 項零件,其名稱與功能描述,分別如下表一所示:
控型輔具系統應用
眼控型輔具訊號連接應用如上圖三所示,透過三個感應貼片,黏貼於受測者眼睛上方、下方以及耳朵下方肌膚或眼睛側邊的肌膚上,透過耳機孔 (Audio Jack) 將眼動訊號回傳至訊號放大器,訊號經過濾波電路、放大電路後,傳送回核心處理器中進行運算,計算 10 秒內,眨眼的次數是否有超過4 次,若大於4 次,則會啟動蜂鳴器以及透過wifi 將警報傳送至通訊軟體:LINE 上, 作為照護人員緊急通報使用。此外,由於實驗中發現,蜂鳴器的聲響太小聲,有時候同居的照護人員若未於其他空間,無法即時有效收到通知,因此我們另外設計了一台可連網的 wifi 音箱,若警報響起時,亦會同步於wifi 音箱響起警報通知。眼動訊號感應貼片如下圖四所示,使用 3.9mm 鈕扣式接點,將訊號透過導電膠傳送至核心處理器中,其凝膠可讓感應貼片黏貼於受測者皮膚上。
   
 
鈕扣型 3.5 耳機插頭訊號導線,如下圖五所示,可分別將三個眼動訊號透過導線傳送出來。
 
 

眼控型溝通輔具研究方法

EOG (Electro-OculoGram) 代表眼電圖,是為測量視網膜色素上皮和光感受器細胞之間存在的視網膜靜電位。根據視網膜靜止電位的變化,可用於測定眼球位置及眼球運動的生理變化, 此方法通常使用三個或五個電極檢測視網膜位置,於此專案,我們採用三個電極的方式來執行。
在下圖六所示的垂直 EOG 應用中,電極放置在眼睛上方和下方,還有一個接地電極通常放置在脖子後面,眼動信號放大器(通常在 1000x~2000x 的增益範圍內)將來自電極的微弱信號(以 μV 為單位)放大為 0-5V 範圍內的信號。

EOG 可以用來偵測受試者是否有眨眼的動作,如下圖所示,當眨眼訊號被偵測到的時候, 透過運算程式的判別,會將眨眼訊號繪製成方波,當看到由 low-High-low 的方波時,就代表著一次眨眼的動作,下圖七顯示為五次眨眼的動作。
 
 
由擷取到的訊號波形圖來看,亦可得知眼睛閉合的時間長短,如下圖八為眼動訊號的波形圖,X 軸為時間,Y 軸為訊號的振幅強弱,當看到訊號的low-High-low 的間隔時間十分短暫的話, 代表眼睛快速的閉合,如下圖八箭頭所指 Blink 的波形。若眼睛閉起來的時間稍長的話,則會看到下圖八:long blink 的波形,若眼睛為長時間閉起來的狀態則會看到下圖八:Eyes Close 的波形,因此在偵測眨眼的次數時,也需要將眨眼的時間考量進去,需判別目前的狀態為強制多次眨眼行為或是一般正常眨眼的狀況。
 
 
藉由此偵測方法亦可得知眼球目前所注視的方向,例如向右注視、向左注視、向上注視、向下注視,如下圖九所示,第一個訊號為正常的眨眼動作,第二個訊號 swift left-right 為從左向右注視,第三個訊號為從右向左注視,第四個訊號和第七個訊號為向左注視,第五和第六訊號為向右注視,最後第八和第九個訊號為複合式訊號,因此由此波形可得知眼球所有狀態。
因為此專案需求設計為偵測眨眼次數,因此在訊號的判斷上,僅需要擷取眨眼的訊號是否符合即可,未來若有其他應用需求,亦可將眼前注視的功能加入判斷,可將豐富眼球控制系統的功能性。
 
 
 
眼控型溝通輔具操作介面
此眼控型溝通輔具因具有 2 吋顯示螢幕,所以為了方便使用者操作,為此開發使用者介面於此眼控型溝通輔具上,以下為展示系統介面初次使用之設定流程。
第一步 : 系統啟動後,啟動連線上網,首先,第一次設定時,因為系統找不到之前有連結wifi 的歷史資料,所以 wifi 的圖案會是未連接的狀態,因此需要進行第一次設定,之後若無系統重置的話,則無需再次進行設定。首先按下開機鍵後,按著螢幕下方中間的觸碰按鈕,進入設定模式,則會出現下圖十左的畫面。第二步,按下左側打勾按鈕的選項後,則會跳出這台機器的ID:PMC_EOGx2,如下圖十右所示,此為目前設定在這台裝置的 wifi 連線 ID。
 
第三步:使用手機並打開 wifi 搜尋目前環境中 wifi 訊號,這時候會找到一個訊號名稱為: PMC_EOGx2,如下圖十一左所示,點擊加入此 wifi 網路後,手機上會顯示沒有網路訊號,如下圖十一右,因為我們目前正在將手機透過 wifi 連線進入眼控型輔具中進行設定的動作,所以針對無網際網路的訊息可以不用理會。
 
 
第四步:在 wifi 連線至眼控輔具的狀態下,點選管理路由器,如下圖十二左,選擇後,則會進入到 WiFiManager 的設定頁面,如下圖十二右,再點選 Configure WiFi 進入設定頁面。 
 
 
第五步:點選進入設定頁面後,如下圖十三左所示,再選擇您要連線上網的 wifi 訊號,並輸入 wifi 連線密碼,最後如果有需要設定 LINE 通訊軟體的即時警報提醒功能,如下圖十三右,可以於 Line_API_Token 中,輸入您個人在 LINE 中所設定的 Token,於 Name 的欄位中輸入受測者的姓名,最後一欄 SENSITIVITY 則為設定眼控系統的感應靈敏程度,輸入完畢後,點擊 Save 按鈕,即可完成所有眼控輔具系統的設定。
 
 
 
第六步:手機的部分完成設定後,按下眼控輔具上的完成設定按鈕,如下圖十四左,隨後則會顯示眼控輔具一般的偵測畫面,如下圖十四右,位於上方資訊欄位會分別顯示:wifi 連接狀態、目前時間、電池電量三種資訊,位於畫面的正中間,則會顯示目前所偵測到的眨眼次數為何,若數字大於 4 的時候,則畫面則會變成下圖十五,中間顯示急救的符號,此眼控輔具的蜂鳴器也會響起警報聲音,並同時會傳送 LINE 的訊號通知家人以及 wifi 訊號給相同聯網網絡的音箱設備, 等待家人或是看戶來查看受測者需求,並點選中間按鈕將其警報進行取消的動作。
 
 

結論

漸凍人患者不論照護人力或輔具耗材的開支都相當可觀,考驗一個家庭的經濟能力,即使將患者送到專業照護機構,患者的照護品質通常是病患家屬最擔心的問題,透過 PMC 開發之”EOG 眼控型溝通輔具”能將患者的需求傳達給照護者與遠端家屬同步接收後做適當的處理,讓家屬可以放心,協助漸凍人患者改善生活品質,降低疾病對家庭造成的衝擊。
   
       
 
  1. Lydia Yuhlung, and Hemashree Bordoloi, Khomdram Jolson singh,Irengbam Venkat Mangangcha and Laishram Richard title based on " Lab View based EOG signal Processing" published in International Journal for Research in Emerging Science and Technology,Volume-2,Issue-3,March-2015.
  2. Marina Sokolova, and Guy Lapalme. “A systematic analysis of performance measures for classification tasks,” Information Processing & Management, vol. 45, no. 4, pp. 427-437, 2009.
  3. Masaki Nakanishi, Yasue Mitsukura, YijunWang, Yu-Te Wang, and Tzyy-Ping Jung, “Online voluntary eye blink detection using electrooculogram,” International Symposium on Non-linear Theory and its Applications, pp.114–117, 2012.
  4. Lin, C.T.; Yu, Y.H.; King, J.T.; Liu, C.H.; Liao, L.D. Augmented Wire-Embedded Silicon-Based Dry-Contact Sensors for Electroencephalography Signal Measurements. IEEE Sens. J. 2020, 20, 3831–3837.
  5. J. Casson, "Wearable EEG and beyond", Biomed. Eng. Lett., vol. 9, pp. 53-71, Feb. 2019.
  6. Bai, Y., Wan, X., Zeng, K., Ni, Y., Qiu, L., and Li, X. (2016). Reduction hybrid artifacts of EMG-EOG in electroencephalography evoked by prefrontal transcranial magnetic stimulation. J. Neural Eng. 13:066016. doi: 10.1088/1741-2560/13/6/066016
S. Datta, A. Banerjee, M. Pal, A. Konar, D.N.  Tibarewala, and R. Janarthanan, “Blink recognition to detect  the possibility of eye dystonia based on electrooculogram analysis” , International Conference on Control, Instrumentation, Energy and Communication (CIEC), pp. 186-190, 2014.