【307技術趨勢】_01_透過人員行為檢測與分離速度監控提升人機協作安全性 2025.08.28

▋ 一、 前言

  協作機器人可在無安全圍欄的情況下運行，能夠適應人類行為的不確定性。在這類環境中，確保人機互動的安全至關重要。安全風險評估依賴於人機距離，這需要高可靠性的感測器。隨著互動程度的提高，必須採取更嚴格的設計要求，以在保護工作者的同時提升效率。

1.   根據ISO 15066 [1] 和 ISO 10218-2 [2] 標準，協作模式分為四種類別。Sick AG[3] 比較了這些模式與驗證成本的關係，顯示互動距離越近，成本越高。使用者必須選擇適當的安全方法以防止危害。協作機器人系統需符合ISO 13849-1中Performance Level d (PL d) 的要求，以下為四種協作模式的描述：
   1. 監控安全停機（模式1）
   2. 手動引導（模式2）
   3. 速度與距離監控（模式3）
   4. 功率與力限制（模式4）
   
   圖一、協作模式與成本的關係

     基於上述原因，本研究探討如何透過先進的感測與控制技術，在現有框架下提升人機協作環境的安全性與生產力，從而更好地應對新時代的生產挑戰。

     在安全應用方面，我們以「視覺」、「安全」、「意圖」和「協作」等關鍵字分析台灣專利。在571件專利中，選取了87件進行深入分析，如圖2所示。結果顯示，速度與距離監控的應用有限，顯示出更多研究的潛力。此外，先進影像技術的使用較少，3D攝影機與深度學習尚未被廣泛採用[7]。然而，整合3D攝影機與深度學習技術能促進具成本效益的人機共存安全技術，這也是本研究的基礎所在。-CNS 15364(2013年版)做一簡介。

   
   圖二、安全技術的魚骨圖

   ▋ 二、 人員行為檢測與分離速度監控理論

     為實現人機協作環境的安全性，本研究分為兩大部分：人員行為檢測與分離速度監控。

     在人員行為檢測部分，為避免在協作空間內發生碰撞，視覺傳感器捕捉人員的影像數據，將相關參數轉換為空間坐標，從而預測人員的行為意圖。研究中採用ST-GCN（時空圖卷積網絡）來識別人類行動，並將即時反饋傳遞至機械臂。機器人可自主減速或停止至不危害操作員的速度。

     在分離速度監控部分，機器人需具備安全速度監控功能，根據人員的速度與位置動態調整其運動速度及軌跡。在減速區內，機器人速度必須限制在每秒250 msec以下，以最大限度降低對人員的傷害；而在離開減速區後，機器人恢復正常速度運行。

   實驗方法如下:
   1. 資料收集:
      實驗場景: 設置多種場景，包括站立、行走及工廠地板上的作業。
      數據格式: 將影像數據保存為PNG格式，並將包含34個關鍵點的位置與速度向量保存為JSON格式。
   2. 模型訓練:
      預訓練數據集: 使用HUMAN 3.6M數據集進行預訓練，該數據集包含360萬條姿態軌跡。
      訓練參數: 設置訓練週期為500次，每次週期耗時10秒，記憶體使用量為4GB。
      損失函數: 採用聯合損失（Joint Loss）、重建損失（Reconstruction Loss）及KL散度損失（Kullback-Leibler Divergence Loss）。
   3. 及時測試:
      測試場景: 模擬實際工作場景，測試人員行走與作業過程中的運動預測。
      準確性驗證: 通過比較實際與預測的運動結果計算預測準確率。
   4. 速度與距離關係實驗:
      安全距離定義: 根據ISO 15066標準，為不同距離設置對應的安全速度。
      速度調整策略: 初始設置減速百分比，並逐步採用機器學習方法進行優化。
   5. 整體系統測試:
      動態調整: 根據人員位置與速度即時調整機器人速度，測試系統在不同場景下的響應速度與安全性。
      安全評估: 模擬不同風險場景，評估系統的響應能力與保護效能。

   ▋ 三、 人員行為檢測

     人員行為檢測可分為人體姿態數據收集與人體運動預測兩個部分。

   1. 人體姿態數據收集:
      • 數據收集軟體
        
        圖三、數據採集過程
      • 人體骨架格式
          數據收集軟體使用Zed 2i立體攝影機和Zed SDK開發。透過Zed SDK提供的API，可檢測人體姿態中的34個關鍵點，並應用3D人體擬合技術以平滑運動噪聲。選擇34個關鍵點數據格式是因為其與多個開源運動預測模型具有良好的相容性。
          軟體中的人體追蹤功能（光流法）能估算每個關鍵點在x、y和z方向上的速度。這些人體關鍵點與速度數據透過REST API進行公開，可連接到基於JSON的NoSQL資料庫（TinyDB）。同時，REST API允許多個外部軟體應用程式存取實時數據，如圖四所示。
        
        圖四、人體骨架圖
      • 數據收集與即時顯示
        據收集過程涉及兩種不同的運動場景:
          第一種場景: 包括站立與行走，涵蓋有意識的行走以及在攝像機前站立的動作。
          第二種場景: 涉及工廠地板上的作業，包括圍繞機械進行的各種日常作業動作，例如站立、坐下、行走及手部動作。
        影像數據以PNG格式連同時間戳進行捕捉與保存。此外，所有34個關鍵點的x、y、z座標及其速度向量也以JSON格式存儲，如圖五所示。
        為了實現實時顯示，系統計算最小距離與平均速度，並使用以下公式進行計算: \[ distance = \sqrt{x_{min}^2 + y_{min}^2 + z_{min}^2} \] \[ speed = \sqrt{v_{x_{avg}}^2 + v_{y_{avg}}^2 + v_{z_{avg}}^2} \]
        
        圖五、即時顯示
2. 人體運動預測:
     與確定性模型（如ST-GCN）不同，基於變分自編碼器（VAE）的概率抽樣模型效率更高，儘管在準確性與多場景預測能力之間存在一定的權衡。確定性模型僅能預測未來的單一潛在結果，因此在應對長期預測中的突發變化時較為脆弱。相較之下，概率模型可抽樣多種未來場景，提供具有多樣可能性的多元預測結果。
   由於計算資源限制，本項目採用了DLOW [8] 模型作為人體運動預測工具，如圖六所示。系統參數如下:
   

   圖六、DLOW 框架
   • 訓練週期：500 × 2
   • 每週期訓練時間：10秒
   • 記憶體使用量：4GB
   • CUDA運算：100%
   • 預測時間：0.032秒
   • 預測記憶體使用量：2GB
     1. DLOW結構
          基於抽樣的方法需要大量且多樣化的訓練資料集，如圖七所示。故本研究先使用包含360萬條姿態軌跡的Human 3.6 Million數據集對變分自編碼器（VAE）編碼器-解碼器模型與DLOW模型進行預訓練。隨後，將本實驗室收集的資料集調整為符合Human3.6M格式。
          訓練過程中採用的損失函數包括聯合損失（Joint Loss）、重建損失（Reconstruction Loss）以及KL散度損失（Kullback-Leibler Divergence Loss）。其中，聯合損失旨在最小化關節間的歐氏距離，而重建損失與KL散度結合則提升姿態間的相似度。
        
        圖七、訓練計劃
     2. DLOW訓練
          這研究採用 DLOW 模型進行人體運動預測訓練，資料來源為 Human3.6M 預訓練數據集及本實驗室收集之關鍵點數據。訓練參數設定為 500×2 週期，每週期耗時約 10 秒，使用 GPU CUDA 運算並佔用 4GB 記憶體。損失函數結合聯合損失、重建損失與 KL 散度損失，以同時最小化關節歐氏距離並提升姿態相似度。圖八中顯示了訓練過程的數據記錄，如損失值與運算資源使用情況，以及訓練過程曲線，曲線呈現損失值在訓練迭代中的收斂趨勢。最終模型能在 0.032 秒內完成一次 2.5 秒（25 幀）的人體動作預測，產生 10 種多樣化的未來場景，並達到 81.34% 的預測準確率。
        
        圖八、訓練過程數據與曲線
     3. 預測
          初步預測以 DLOW 模型向前推算 25 幀（約 2.5 秒）為目標，生成 10 種可能的未來動作場景，圖九(a) 顯示了這些預測在動作姿態與時間序列上的差異，反映模型對不確定人類行為的多樣化推測能力。為提升準確性，進一步引入安全速度監控（SSM）模型進行修正，如圖九(b)所示，SSM 模型將動作預測與機械臂安全運動控制結合，使系統可根據預測結果自動調整機械臂速度與軌跡，確保人機分離距離符合安全標準。經測試，最終預測的絕對百分比誤差（APE）為 0.1866，對應預測準確率 81.34%（Accuracy = 1 − 0.1866 = 0.8134）。此結果顯示，透過 DLOW 多場景預測與 SSM 實時安全控制的結合，系統能在短時間內輸出高可信度的人員動作預測，並即時應用於機器人速度管理，降低碰撞風險並維持作業效率。
        
        圖九、(a)初始預測結果與(b)機器人 SSM 預測
     4. DLOW即時測試
          如圖十 所示，本研究針對 DLOW 模型進行即時測試，展示了系統在實際環境中對人員動作的即時關鍵點檢測與未來姿態預測能力。測試中，系統先以 1 秒歷史資料（10 幀/秒）為輸入，經自建的人體姿態檢測模型計算 34 個關鍵點位置與速度，避免依賴現成 SDK，確保與整體系統架構的相容性。關鍵點檢測在 GPU 上僅需 0.05 秒，預測時間則依顯示與否在 0.036~0.25 秒之間，整體 API 響應時間最短可達 0.1 秒，滿足高即時性需求。雖然透過擴展卡爾曼濾波器可進一步平滑姿態數據，但本研究優先採用現有模型以確保系統穩定性。未來將透過擴充資料集（如 Human3.6M）重新訓練模型，以進一步提升多場景下的預測準確度與姿態穩定性，為人機協作中的安全距離監控與速度調整提供更可靠的即時支持。
        
        圖十、DLOW即時測試數據與圖像

▋ 四、 分離控制監控

  以人體運動預測結果作為機械臂分離速度監控的基礎，並將其整合至機械臂控制系統，能進一步提升整體作業效率並強化安全性。分離速度監控包含四個主要組成部分：系統架構、速度變化策略、距離偵測與調整，以及監控管理。

1. 建立距離與速度關係
     系統架構可區分為人機介面層與底層架構層，速度變化的插值機制如圖十一所示。這些組件間的互動影響安全功能的執行效能。當人機介面將資訊傳送至底層架構時，各階段延遲時間如下：控制器傳輸時間為11.375 msec，視覺更新時間為66 msec，Web API傳輸時間為107 msec，機械臂停止時間為500 msec。
     比較各項延遲，系統控制的響應時間明顯短於機械臂的反應時間，足以滿足安全控制需求。系統所擷取的相關資訊如圖十二所示。
   
   圖十一、速度變化插值機制
   
   圖十二、交握時間
     此外，系統架構必須處理奇異性問題，以避免可能的控制失效。需採取預防性措施，限制因機械臂自身運動或整個機器人系統運動引發的逐步移動（Inching）與場景奇異性問題。針對逐步移動奇異性問題，若實際速度超過定義速度的兩倍，系統將主動停止運動。針對場景奇異性問題，若實際速度超過250 mm/s，系統將主動降低速度至安全範圍內。
2. 建立速度變化策略
     此部分根據 ISO 15066 的規範建立距離與速度的關係，如圖十三與圖十四所示，其中 H 代表人，R 代表機器人。對於安全分離距離，當 d-s < 0 時，機械臂將停止運動以確保安全。
   
   圖十三、距離與速度的關係
   
   圖十四、距離定義
     速度變化機制定義了初始階段速度降低的百分比。由於此部分會根據機械臂的額定速度與長度而有所不同，因此需先設定一個初始值，並通過人工智慧訓練逐步優化，以找到最合適的定義。圖十五顯示了在正常速度與變化速度條件下的策略。
   
   圖十五、策略定義
3. 距離檢測
     在速度檢測部分，距離主要分為三個區域：100%、50% 和 0%，如圖十六所示。當人員處於 100% 區域內或更遠時，機器人以正常速度運作；當人員進入 50% 區域 時，機器人調整其速度；而當人員進入 0% 區域 時，機器人停止運作以確保安全。
   
   圖十六、速度定義
4. 調整與監控
     在建立距離、速度與時間的關係並引入速度變化策略後，整體操作流程得以完成。通過圖十七圖十八的比較，可以觀察到在正常速度與變化速度條件下，機器人運動速度與時間的變化情況，進一步驗證了系統的安全性與效率。
   
   圖十七、正常條件下的關係
   

   圖十八、速度變化條件下的關係

▋ 五、 結論

1. 演算法準確性:人員運動預測演算法的準確性與可靠性直接影響整體系統的安全性與效率。需確保該演算法在各種環境下均能維持高準確性，避免因環境變化導致預測誤差。
2. 即時性能: 系統需具備高即時性，能快速響應人員動作，對數據處理與系統整合提出了較高的要求。未來應探索更高效的資料處理與硬體架構以支援即時應用。
3. 合規性: 在應用這些新技術時，確保系統設計與實現符合相關安全標準（如 ISO 15066）至關重要，並需要進行嚴格的測試與驗證以確保實際運行的安全性與穩定性。