실환경 로봇 실험 시스템 구축

Initial Design — STL-based Spatial Visualization

초기에는 gripper의 STL model을 기반으로 한 3D spatial visualization을 구현하였습니다. 로봇의 TCP pose를 이용해 실제 end-effector의 위치와 자세를 3D scene에 반영하고, F/T sensor에서 측정한 힘과 토크를 벡터 형태로 함께 표시하였습니다. 또한 world-frame XYZ 축을 추가하여 gripper의 현재 자세와 외력 방향의 관계를 직관적으로 확인할 수 있도록 구성했습니다. 양팔에 대해 각각 visualization을 생성한 뒤 카메라 이미지와 하나의 화면으로 결합하여, 실제 작업 장면과 end-effector에 가해지는 외력을 동시에 모니터링할 수 있도록 하였습니다.

해당 방식은 특히 gripper의 자세와 힘 방향을 공간적으로 함께 확인할 수 있다는 점에서 유용했습니다. 하지만 실제 teleoperation 과정에서는 몇 가지 한계가 있었습니다. 힘은 직선 벡터로 표현했을 때 비교적 직관적이지만, 토크는 회전축과 회전 경향을 나타내는 물리량임에도 동일한 화살표 형태로 표현되어 즉각적인 해석이 어려웠습니다. 또한 매 순간의 F/T vector만 보여주기 때문에 순간적인 peak, 지속적인 contact load, vibration 등 시간에 따른 변화 양상을 확인하기 어려웠고, 작업자가 특정 순간을 놓치면 직전에 발생한 큰 contact event를 다시 파악하기도 어려웠습니다. 이러한 한계를 바탕으로 이후에는 3D spatial visualization 대신 축별 F/T 값과 최근 변화 추이를 함께 확인할 수 있는 대시보드 형태로 모니터링 인터페이스를 재설계하였습니다.

Final Design — Time-Series F/T Dashboard

이러한 한계를 바탕으로 최종 구현에서는 3D STL visualization을 제거하고, 좌/우 end-effector의 힘과 토크를 time-series 형태로 직접 모니터링하는 대시보드 형태로 변경하였습니다. 각 arm에 대해 Fx, Fy, Fz와 Tx, Ty, Tz를 독립적으로 표시하고, 힘과 토크를 별도의 행으로 분리하였습니다. 실제 카메라 이미지를 화면 상단에 유지한 채 그 아래에 좌/우 힘 패널과 토크 패널을 배치하여, 작업 장면과 F/T state를 하나의 화면에서 동시에 확인할 수 있도록 구성했습니다.

각 패널은 또한 전체 vector norm을 함께 제공하도록 구성하였습니다. 따라서 작업자는 최근 신호의 변화 추이를 그래프로 확인하는 동시에, 현재 Fx/Fy/Fz 또는 Tx/Ty/Tz의 정확한 값을 바로 읽을 수 있습니다. X/Y/Z 축에는 일관된 색상을 적용하여 여러 패널 간에도 동일한 축을 빠르게 추적할 수 있도록 하였습니다.

Time-series 그래프는 전체 history를 별도 자료구조에 계속 누적하는 방식 대신 고정 크기의 image buffer를 scrolling하는 방식으로 구현하였습니다. 매 업데이트마다 기존 trace를 한 픽셀 씩 왼쪽으로 이동시키고, 가장 오른쪽 열에 이전 샘플과 현재 샘플을 연결하는 새로운 line segment만 추가합니다. 이 방식은 모니터링 시간이 길어져도 visualization에 사용하는 메모리와 화면 크기가 증가하지 않으며, 최근 F/T history만 지속적으로 유지할 수 있다는 장점이 있습니다.

Visualization이 teleoperation의 타이밍에 영향을 주지 않는 것을 중요한 설계 조건으로 유지하여 control loop에서는 가장 최신 visualization frame 하나만 queue에 전달하고, OpenCV window rendering은 별도의 daemon thread에서 처리합니다. Queue가 이미 차 있는 경우에는 기존 프레임을 제거하고 새로운 프레임으로 교체하므로, 랜더링 속도가 일시적으로 느려져도 과거 프레임이 쌓이면서 display latency가 증가하지 않습니다.