CAD와 BOM 데이터베이스 기반 Human-Robot Collaboration을 위한 시스템 아키텍처 Layer 개발

Human Robot Interaction(HRI)의 논문 조사 연구(Tsarouchi et al., 2016)에 따르면 1970~2015년 사이의 관련 논문의 주제로 직관적(Intuitive) Robot Programming이 가장 많이 다뤄졌다. HRC의 논문 조사 연구(Wang et al., 2020)도 HRC를 위해 인간과 로봇 사이의 유연한 Communication과 Control 방법이 필요하며, 이를 구현하기 위하여 직관적인 Multimodal 명령어가 필요함을 주장하였다. 여기서 Multimodal 이란 다양한 채널의 인간-로봇 간 상호작용을 채용함을 뜻한다. 그러므로 HRC의 주된 관심 분야는 인간과 로봇 사이의 직관적인 Multimodal 상호작용 방법임을 알 수 있다. 두 연구 모두 공유된 제품 데이터베이스를 통한 HRC를 다루지 않았다.

인간과 로봇의 상호작용 연구로 Tsarouchi et al.은 인간과 로봇의 소통을 위한 직관적 프로그래밍을 Programming by Demonstration(PbD)으로 설명하고 Teaching Pendants와 Touch를 이용한 방법, 제스처(Gesture), 음성 그리고 비전을 이용한 시연 방법으로 분류하였다. 또한 센서 기술을 기반으로 Visual Guidance와 모사(Imitation), 손가락을 이용한 지적 인식, 가속도계를 이용한 제스처 이해 혹은 모션 캡처나 데이터 글로브를 이용한 인간 동작 인식과 학습에 관한 연구를 소개하였다. 또한 음성과 Text to Speech 기술을 이용하여 로봇과 소통하거나 Tactile을 접촉하거나 로봇 자체를 미는 동작으로 로봇과 소통하는 방식도 소개하였다(Tsarouchi et al., 2016).

상호작용의 일부로 진행된 Multimodal 연구로 음성, 접촉, 제스처 등을 함께 사용하는 로봇 제어 방법에 관한 연구와 Multimodal 입력을 효과적으로 처리하는 기계학습 연구가 함께 진행되었다(Wang et al., 2019; Liu et al., 2020). HRC를 위해 가상 세계의 활동 자료를 이용하여 로봇을 제어하는 CPS와 디지털 트윈에 관한 연구도 진행되었다(Tipary and Erdos, 2021; Sun et al., 2022).

기존의 HRC 연구는 주로 인간과 로봇의 상호작용을 위해 유연하고 직관적인 매체와 방법을 제안하였다. 반면, 그동안 인간 사이의 효율적 상호작용을 위해 데이터베이스를 공유하여 협동 작업을 지원하는 방법이 광범위하게 활용돼왔다. 예로 Product Life Management에서 부품 리스트, BOM 그리고 기술 문서 공유를 통해 설계자 간의 협동 제품개발을 효과적으로 지원하고 있다(Do, 2019). 그러므로 본 연구는 HRC에 참여하는 인간과 로봇이 공유할 수 있는 일관된 제품 데이터베이스를 로봇 조립계획과 실행 과정에 제공하여 유연하고 직관적인 상호작용 개발을 시도하였다. 장기적으로 HRC에 자료 기반 AI나 기계학습 적용이 확대되면 이를 지원하는 제품 데이터베이스 역할이 더 중요해질 것으로 예측된다.

본 연구는 로봇 조립계획과 실행 단계에 HRC를 지원하기 위하여 조립 제품의 CAD 모델과 BOM을 인간과 로봇이 공유하는 방법을 사용하였다. 제품자료 공유는 기업에서 인간 기술자가 활용하는 CAD와 BOM 데이터베이스를 로봇이 공유하는 방법을 사용한다. CAD와 BOM 데이터베이스 기반 로봇 조립계획에서 HRC를 지원하기 위해 BOM Editor와 데이터베이스 응용 프로그램(예 Robot Path Simulator)을 지원하고, 로봇 조립 실행에서 Interactive Language를 제공한다.

HRC 논문 조사 연구(Tsarouchi et a., 2016; Wang et al., 2020)에 따르면 HRC Assembly 계획에 관한 연구는 대부분 인간과 로봇의 작업 배분을 다루고 있다. HRC에서 인간과 로봇의 합리적 작업 배분을 위해 인간과 로봇의 장점을 고려하거나, 인간 작업 시간을 최소화하거나 로봇의 작업을 최대로 하는 등의 조립계획이 제안되었다(Tsarouchi et al., 2016; Ranz et al., 2017).

기존 연구에서 HRC Assembly 계획의 주체는 인간이며 계획 과정에서 로봇과 협동 작업이 일어나지 않는다. 반면에 본 연구에서 제안하는 아키텍처는 HRC Assembly 계획 과정에서 인간과 로봇의 협동 작업을 지원한다. 제안된 아키텍처는 로봇이 CAD와 BOM 데이터베이스를 기반으로 로봇 조립계획을 자동으로 생성하고, 이를 P-BOM 형태로 저장한다. 하지만 현재 기술 수준에서 자동 조립계획은 여러 가지 제한이 있다. 그러므로 제안된 아키텍처는 협동 관계에 있는 인간이 BOM Editor를 이용하여 BOM 데이터베이스를 변경함으로써 로봇이 생성한 조립계획을 개선하거나 완결 지을 수 있다.

<Figure 2>는 기존 HRC Assembly에 관한 연구(<Figure 2a>)와 제안된 데이터베이스 기반 연구(<Figure 2b>)의 차이를 보여준다. 기존 연구는 인간이 조립계획을 일방적으로 제공하고 실행 과정에서 센서나 카메라를 통한 Multimodal Interaction을 통한 HRC 구현을 시도한다. 제안된 방법은 CAD와 BOM 데이터베이스의 공유된 제품자료와 조립계획을 기반으로 자동으로 생성된 조립계획을 변경하고 공유된 제품자료에 기반한 Interactive Language를 제공하여 로봇 조립계획과 실행에서 직관적인 HRC를 지원한다.

Figure 2.

Comparisons between Interface Oriented and Database Oriented Approaches

TRIP 아키텍처(<Figure 3>의 TRIP Architecture)는 좌측 위의 조립품을 설계한 CAD 파일로부터 STEP 파일을 입력받아(<Figure 3>의 ①) 우측 아래 물리적 로봇(<Figure 3>의 Physical Robot)을 위한 로봇 조립계획을 자동 생성한다. TRIP 아키텍처의 특징은 CAD 자료를 기하학적 요소로 표현한 CAD 데이터베이스와 제품 구조(Engineering-BOM: E-BOM)를 저장한 BOM 데이터베이스로 전환하고 이를 이용하여 자동으로 로봇 조립계획을 생성한다(<Figure 3>의 ② “Auto Generation”). 이 과정에서 생성되는 부품 조립 순서와 로봇 조립계획을 인간과 공유할 수 있는 BOM 데이터베이스의 Manufacturing-BOM(M-BOM)과 Process-BOM(P-BOM) 형태로 저장한다. P-BOM으로 표현된 로봇 조립계획은 로봇 인터페이스를 거쳐 물리적 로봇을 동작시킨다(<Figure 3>의 ⑤). 각 과정은 관련 연구(Do et al., 2023)에 상세히 설명되어 있다.

HRC layer는 TRIP 아키텍처의 인터페이스 계층에 시스템의 입력과 출력 역할을 하는 CAD와 로봇 인터페이스(<Figure 3>의 ①과⑤) 외에 HRC를 위해 추가한 BOM Editor, Robot Path Simulator 그리고 Interactive Language 인터페이스를 포함한다(<Figure 3>의 ③④⑥).

BOM Editor(<Figure 3>의 ③)

TRIP 아키텍처는 인간과 공유할 수 있는 M-BOM과 P-BOM으로 표현된 로봇 조립계획을 BOM 데이터베이스에 자동 생성한다. 인간 참여자인 Robot Assembly Planner는 BOM Editor를 이용하여 BOM 데이터베이스에 저장된 E-BOM, M-BOM 그리고 P-BOM을 검토하고 필요에 따라 변경할 수 있다(<Figure 3>의 ③). 로봇이 자동으로 생성한 로봇 조립계획이 현실의 조건을 고려하지 못했거나 계획 자체를 생성하지 못하면 Robot Assembly Planner가 BOM Editor를 이용하여 P-BOM 형태의 계획을 변경하거나 추가 작업을 통해 완성할 수 있다.

BOM Editor를 이용하여 로봇 조립계획을 변경할 수 있는 이유는 로봇 조립계획이 인간이 사용하는 P-BOM 형태로 작성되었고 BOM 데이터베이스를 통해 공유될 수 있기 때문이다. TRIP-HRC 아키텍처는 BOM 데이터베이스에 P-BOM 형태로 표현된 로봇 조립계획을 자동 생성하고, 이를 Robot Assembly Planner(인간)가 BOM Editor를 이용하여 변경할 수 있으며, 그 결과를 물리적 로봇에 연결하여 실행시킬 수 있다.

Robot Path Simulator(<Figure 3>의 ④)

Robot Assembly Planner는 로봇 조립계획을 평가하기 위하여 CAD와 BOM 데이터베이스에 연결된 분석 응용 프로그램을 활용할 수 있다. Robot Path Simulator는 BOM 데이터베이스의 P-BOM에 생성된 로봇 조립계획에 연결하여 예상 로봇 궤적을 가시화할 수 있다(<Figure 3>의 ④). 가시화를 통해 로봇 조립계획에 문제가 발견되면 BOM Editor를 통하여 M-BOM과 P-BOM으로 표현된 로봇 조립계획을 변경할 수 있다. 이처럼 CAD와 BOM 데이터베이스를 공유한 응용 프로그램은 다양한 HRC를 지원할 수 있다.

Robot Path Simulator가 연결하는 BOM 데이터베이스의 로봇 조립계획은 P-BOM의 공정 객체에 정의된 로봇 조립 계획의 최소 단위인 action 객체의 순서(Sequence)이다(Do et al., 2023). Action 객체는 로봇 Gripper의 이전 위치에서 현재 위치까지 단위 이동을 표현하며, 참여하는 Gripper와 조립 부품의 3차원 위치를 표현하는 placement 객체(<Figure 4>의 placement 객체)를 참조한다. 해당 action 객체의 Gripper 위치는 CAD와 BOM 데이터베이스의 M-BOM, P-BOM 그리고 부품의 형상과 위치(Placement) 자료를 참조하여 계산된다. 그러므로 Robot Path Simulator는 CAD와 BOM 데이터베이스에 체계적으로 저장된 Gripper의 위치 변화 순서 정보를 연속적으로 가시화하는 데이터베이스 응용 프로그램으로 볼 수 있다.

Figure 4.

The CAD and BOM Database Schema, Extended from (Do et al., 2023)

Interactive Language(<Figure 3>의 ⑥)

TRIP-HRC 아키텍처는 로봇 조립 실행 단계에 Robot Assembly Operator와 로봇의 상호작용을 지원한다. 인간과 로봇은 제공된 Interactive Language를 통해 대화하며 로봇 조립 각 단계를 실행할 수 있다(<Figure 3>의 ⑥). 인간은 준비된 로봇 조립계획을 확인하며 각 단계에 대해 명령을 내릴 수 있다. 또한 조립 부품을 특정 위치와 방향으로 준비하는 등의 물리적 조립 작업에 참여할 수 있다. 로봇은 CAD와 BOM 데이터베이스의 제품 형상과 BOM 정보를 참고하여 인간이 내린 명령을 실행한다. 이때 로봇은 인간이 내린 명령이 계획상 불가능할 경우 Interactive Language 환경을 통해 경고할 수 있다.

Interactive Language는 BOM 데이터베이스를 통해 인간과 로봇이 공유한 제품자료 중 식별자 역할을 하는 부품 번호를 이용한 직관적인 상호작용을 제공한다. Interactive Language는 인간이 사용하는 부품 번호를 통하여 특정 부품의 위치를 로봇에게 알려주거나 조립해야 할 부품을 식별시킬 수 있다. 로봇은 조립된 부품의 부품 번호를 지정함으로써 Robot Assembly Operator가 조립 때문에 생성된 중간 조립품 정보를 확인할 수 있게 한다. 이처럼 BOM 데이터베이스를 통해 부품 번호와 제품자료를 공유함으로써 인간과 로봇의 직관적인 상호작용이 가능하다.

Interactive Language는 Multimodal 상호작용을 구현하기 위하여 키보드를 이용하여 텍스트를 입력하는 방식과 음성을 이용한 방식으로 실행할 수 있다. 음성 모드는 음성으로 명령을 내리면 이를 텍스트로 전환하여 처리하는 방식을 채용하고 있으며 명령에 포함되는 부품 번호도 음성을 이용하여 인식시킬 수 있다.

<Figure 4>는 CAD와 BOM 데이터베이스의 자료 구조인 데이터베이스 스키마를 클래스 다이어그램으로 표현하였다. STEP 표준을 기준으로 모델링된 CAD 데이터베이스의 클래스는 흰색으로 표현되었으며, BOM 데이터베이스에 속한 클래스는 회색으로 표현하였다. CAD 데이터베이스는 부품을 표현하는 item과 형상을 구현하는 face, edge 그리고 vertex(point)를 rel_geo 객체로 연결하는 구조로 되어 있으며 face와 edge의 기하학적 종류를 각각 표현하는 surface와 curve 객체와도 연결되어 있다. 이 구조는 로봇 조립계획을 위한 STEP 표준의 형상 자료를 저장할 수 있게 준비되었다(Do et al., 2023).

BOM 데이터베이스를 구성하는 item과 item 간의 제품구성 관계를 표현하는 rel 객체는 E-BOM, M-BOM 그리고 P-BOM을 표현한다. Rel 객체는 조립품을 구성하는 부품의 상대적 위치를 표현하는 placement 객체와 연결된다(rel_geo의 하위 클래스인 rel_place 객체를 통하여 연결). Placement 객체는 부품의 위치를 표현하기 위해 원점 좌표(location)와 x와 z축의 방향(direction)을 포함한다. Y축 방향은 주어진 x와 z축으로부터 결정된다(Do et al., 2023).

P-BOM에서 공정을 표현하는 work 객체는 item의 하위 클래스로서 단일 중간 조립품에 적용되는 로봇 조립계획을 표현한다. Work 객체를 구성하는 action 객체는 로봇 조립계획의 최소 구성단위로 로봇의 Gripper가 주어진 목표 위치로 이동하는 단일 패스 구성 요소를 표현한다. 그러므로 action 객체의 순서가 단일 중간 조립품을 위한 work 객체를 구성하며, 최종 조립품의 M-BOM을 구성하는 각 중간 조립품의 work 객체를 역순으로 배열하면 조립품 전체를 위한 로봇 조립계획이 완성된다.

<Figure 5>는 그림 좌측의 A, B 그리고 C 부품으로 이루어진 asmD 조립품의 로봇 조립계획의 특정 순간의 CAD와 BOM 데이터베이스 상태를 우측의 Instance 다이어그램으로 표현하였다.

Figure 5.

An instance diagram of CAD and BOM database

<Figure 5> 왼쪽 위의 CAD 모델에는 부품의 형상과 조립품 상의 상대 위치가 정의되어 있다. 이 자료는 Instance 모델의 E-BOM으로 전환된다(<Figure 5>의 asmD:part의 BOM 구조). 조립품 asmD는 A, B 그리고 C 부품으로 구성되어 있으며 구성관계를 표현하는 rel 객체에 해당 부품의 조립품 상의 상대 위치 정보인 placement 객체가 연결되어 있다. 예로 C 부품(C:part)은 asmD와 BOM 계층(asmD-C:rel)으로 연결되어 있고, asmD 조립품 상의 C 부품의 상대 위치(C in asmD:placement) 객체가 rel 객체에 연결되어 있다.

TRIP 아키텍처의 자동 조립계획 생성 프로시저는 E-BOM과 각 부품(Item)의 형상 정보를 이용하여 조립 순서를 결정하는 M-BOM을 생성한다(<Figure 5>의 asm1:part의 BOM 구조). 조립 순서는 로봇에 의해 이동하는 Move 부품과 고정되어 조립되는 Base 부품을 두 개의 하위 조립 부품으로 가진 이진 트리 형태의 BOM 계층을 가진다. 예는 (A, B)와 (asm0,C)를 하위 부품으로 가지는 asm0와 asm1을 중간 조립품과 최종 조립품으로 생성한다(조합의 좌측이 Base 우측이 Move 부품). 예로 A와 B의 조립품인 asm0(Base 부품)에 조립되는 C 부품(Move 부품)은 asm1과 C 부품을 연결하는 asm1-C:rel 객체로 표현할 수 있다.

부품 조립 순서가 M-BOM에 의하여 결정되면 P-BOM을 이용하여 로봇 조립계획을 생성한다. <Figure 5>의 좌측 그림에 A와 B 부품이 조립된 asm0 중간 조립품에 대기 위치에 준비된 C 부품을 집어(a0 단계) 위로 상승하여 조립 위치로 이동하는 Gripper 위치(a2 단계)가 표현되어 있다. 이를 데이터베이스에 표현하기 위하여 asm1 최종 조립품에 공정을 표현하는 op1(op1:work 객체)를 하위 부품으로 연결하여 P-BOM을 생성한 후, op1에 asm1을 조립하기 위해 C 부품을 asm0 부품으로 이동 지키는 action 객체의 순서(a0, ⋯, a2, a3:action)를 생성한다.

Action 객체는 해당 동작의 Gripper 목표 위치(grip place 속성)와 이때 부품의 위치(item place 속성) 정보를 가진다. 로봇 조립계획을 위해서 Gripper의 위치 정보만 필요하지만, Robot Path Simulator를 위하여 부품 위치 정보를 추가하였다. Op1에 연결된 action 순서(Sequence)의 시작인 a0 action(a0:action)은 C 부품의 독립된 부품으로서 위치(일반적으로 [0,0,0] 원점과 [1,0,0], [0,0,1] x와 z 축 방향)를 부품 대기 위치로 평행 이동하여 item place를 계산하며, 이를 기반으로 gripper place를 계산한다. Action 순서의 마지막 동작인 a3(a3:action)은 부품 C를 CAD에서 정의한 조립품 상의 상대 위치(C in asmD:placement)에 놓으면 된다. 그러므로 a3의 item place 속성은 C in asmD:placement와 같아지게 된다. Op1에 연결된 로봇 조립계획은 독립된 C 부품의 위치(<Figure 5>의 initial place of C)에서 시작하여 C 부품의 조립품 asmD에서 상대 위치(<Figure 5>의 destination of C)에서 끝나는 action의 순서가 된다.

<Figure 5> 좌측 Gripper와 부품 C의 현재 위치는 a2:action 객체의 gripper 목표 위치인 grip place 속성의 위치 객체(grip:placement)와 item place 속성의 위치 객체(on_path:placement)이다. Gripper와 부품(item)의 위치(placement 객체)는 해당 부품 C에 대한 조립계획의 시작점과 끝점, Move 부품 C의 형상 정보(<Figure 5>의 Instance 모델에는 표현되지 않음) 그리고 기존 조립된 중간 조립품(asm0)의 형상을 고려한 알고리즘에 의하여 계산한다. Move 부품과 중간 조립품은 조립 목표인 최종 조립품 asm1의 BOM 계층을 통하여 접근할 수 있다(목표 제품 asm1의 왼쪽 하위 부품 asm0가 Base 부품, 오른쪽 하위 부품 C가 Move 부품).

CAD와 BOM 데이터베이스를 기반으로 BOM Editor는 M-BOM과 P-BOM의 BOM 계층(rel 객체)을 추가하거나 삭제하여 로봇 조립계획을 변경할 수 있다(예 <Figure 5>의 asm1-op1:rel). BOM Editor는 BOM 계층의 구성관계 단위인 rel을 시각적으로 표현하고 변경할 수 있는 사용자 중심 웹 기반 환경을 제공한다. 설계변경 등에 의해 새로운 제품의 많은 부분이 기존 BOM 구조를 재사용할 때, BOM Editor를 사용하여 연동된 로봇 조립계획을 재사용할 수 있다.

Robot Path Simulator는 로봇 조립계획의 action 객체의 조립 부품 Placement 정보와 해당 부품의 형상 정보를 CAD 데이터베이스로부터 검색하여 3D CAD API를 이용하여 3차원 가시화한다(예 <Figure 5>의 a0, a2 그리고 a3:action). TRIP-HRC 아키텍처는 Robot Path Simulator를 구현하기 위하여 BOM 데이터베이스를 확장하였다. 기존 TRIP 아키텍처는 action 객체에 자동 계산된 Gripper Placement 자료만 저장하였다. 하지만 Robot Path Simulator의 경우 각 단계의 Gripper의 위치뿐만 아니라 조립 부품의 위치도 필요하므로 action 객체에 해당 단계 부품의 Placement 자료를 확장하였다.

Interactive Language는 인간 Operator를 위해 조립계획에 참가하는 중간과 최종 조립품을 포함한 부품(예 <Figure 5>의 asm0, asm1:part), BOM(rel 객체) 그리고 로봇 조립계획( 예 <Figure 5>의 op1:work와 a2:action 그리고 grip:placement) 정보를 제공하며, 로봇도 같은 정보를 공유하여 인간과 상호작용 시 item 식별자(부품 번호)를 통해 관련 제품자료를 특정할 수 있다. 로봇은 action 객체의 Gripper와 부품 위치(placement 객체) 정보를 로봇 인터페이스를 통해 물리적 로봇에 전달하여 조립 과정을 실행한다.

TRIP 아키텍처의 기반이 되는 CAD와 BOM 데이터베이스는 관계형 데이터베이스 관리 시스템인 MariaDB(MariaDB, 2023)를 사용하여 구현되었다. 이를 위해 <Figure 4>의 클래스 구조를 관계형 데이터베이스 테이블로 전환하였다. CAD 파일과 물리적 로봇의 인터페이스(<Figure 3>의 ①과⑤)는 CAD와 BOM 데이터베이스에 대한 파이선 응용 프로그램으로 개발되었다. 로봇 인터페이스 응용 프로그램(<Figure 3>의 ⑤)은 Dobot 사에서 제공하는 파이선 인터페이스 모듈(Dobot, 2023)을 함께 사용하였다. 로봇 조립계획 자동 생성 프로시저(<Figure 3>의 ②) 역시 파이선 데이터베이스 응용 프로그램으로 개발하였다(Do et al., 2023).

로봇에 의해 생성된 로봇 조립계획을 인간이 확인하고 변경하기 위한 BOM Editor(<Figure 3>의 ③)는 Apache Tomcat(Apache, 2023) 기반의 웹 데이터베이스 응용 프로그램으로 구현하였다. 웹 응용 프로그램을 통하여 E-BOM, M-BOM 그리고 P-BOM과 아이템의 기하학적 객체 정보를 확인할 수 있으며, 조립 순서를 표현한 M-BOM과 로봇 조립계획을 표현한 P-BOM은 변경하거나 추가할 수 있다. BOM Editor는 단위 제품구성 관계(<Figure 4>의 rel 객체)를 추가하거나 삭제하는 기능과 BOM 구조를 웹 환경에서 그래픽 하게 출력하는 기능을 제공한다.

인간 Planner가 로봇이 제공한 조립계획을 검토하기 위하여 사용하는 Simulator(<Figure 3>의 ④)는 3D CAD 시스템인 FreeCAD(FreeCAD, 2023)의 Python Macro를 이용하여 구현하였다(<Figure 6> CAD Python Macro). CAD Python Macro는 BOM 데이터베이스의 P-BOM에 연결하여 로봇 조립계획의 Action 단위 부품과 Gripper의 위치와 모습을 CAD 환경에 동적으로 출력할 수 있다.

Figure 6.

System architecture of Free-CAD-based Robot Path Simulator

Robot Path Simulator는 로봇 조립계획 상의 Gripper와 부품의 형상을 FreeCAD 화면에서 연속적으로 보여주기 위하여 CAD와 BOM 데이터베이스와 최초 입력 때 사용한 CAD 파일을 함께 사용한다. 이는 CAD 데이터베이스에 저장된 제품 형상 정보를 CAD 파일 형식으로 출력하는 기능이 아직 구현되지 않았기 때문이다. CAD API를 내장한 Python Macro인 Robot Path Simulator는 데이터베이스에서 로봇 조립계획을 표현하는 action 객체의 순서와 Move 부품 번호(<Figure 6>의 actions와 item의 id)를 읽고 CAD 시스템에 해당 부품 형상을 action 객체가 정의한 위치에 출력하도록 명령한다. CAD 시스템은 명령에 따라 CAD 파일에서 형상 정보를 읽어 주어진 위치에 출력한다. 그러므로 Planner는 FreeCAD 시스템을 통하여 3차원 형상으로 표현된 로봇 조립계획을 확인할 수 있다.

BOM 데이터베이스에 P-BOM 형태로 준비된 로봇 조립계획은 Interactive Language 실행 환경(<Figure 3>의 ⑥)을 통해 물리적 로봇을 작동시킬 수 있다. Interactive Language 실행 환경은 Python을 이용한 데이터베이스 응용 프로그램으로서 개발되었으며 예제 적용을 위해 4축 로봇 팔인 Dobot Magician(Dobot, 2023)을 연결하여 실행시킬 수 있다.

Itrip으로 명명된 Interactive Language 실행 환경은 Python 정규 표현식(Regular Expression) 모듈을 활용한 데이터베이스 응용 프로그램으로 구현하였다. 그러므로 실행 환경은 인간이 키보드를 이용하여 텍스트 화면에 명령어를 입력하면 로봇이 명령을 실행하고 결과를 출력하는 상호작용 방식으로 동작한다. 또한 파이선 음성 인식 모듈(SpeechRecognition, 2023)을 이용하여 인간이 음성으로 명령을 내리면 이를 Interactive Language 명령으로 전환하는 기능을 구현하였다.

Interactive Language가 제공하는 명령어는 인간이 작성하는 로봇 조립계획 실행, 자료 출력, 위치 공유 그리고 부품 조립 명령어와 로봇이 생성하는 명령 확인 및 경고 출력이 있다(<Table 1>).

Table 1.

Commands/Prompts in Interactive Language

로봇 조립계획 실행 명령은 로봇 조립계획의 단위 계획을 배치로 실행시키는 명령어이다(예 run task). 자료 출력 명령은 데이터베이스 내의 공유 위치, 부품 목록 그리고 로봇 조립계획 등을 출력하는 명령어이다(예 ls items 혹은 ls actions). 위치 정의 및 공유 명령은 인간과 로봇이 작업장 내의 특정 위치를 동적으로 공유하기 위한 명령어이다(예 ls locations 혹은 location of place_a is 100, 100, 0).

부품 조립 명령은 부품을 조립하기 위하여 준비, 이동 그리고 실행하는 명령어이다. 예로 part_a의 위치를 공유하기 위하여 is located 명령을 사용할 수 있다(예 part_a is located on place_a). 로봇이 집어 이동하는 부품(Move 부품)을 조립 대상 부품(Base 부품)의 위에 이동시키기 위해 move 명령을 쓸 수 있다(예 move part_move above part_base). 두 부품을 최종 조립시키기 위해 assemble 명령어를 사용할 수 있다(예 assemble part_move and part_base).

로봇이 실행된 명령을 확인하는 내용을 출력할 수 있다(예 asm_a is assembled from part_move and part_base). 로봇은 부품 조립 방향이나 조립 순서가 준비된 계획과 다를 경우 경고를 할 수 있다(예 Warning! part_a should be assembled with part_b).

로봇에 의해 자동 생성된 로봇 조립계획은 인간인 Robot Assembly Planner에 의하여 검토되고 변경된다(<Figure 3>의 ③ Editing Plan). CAD와 BOM 데이터베이스의 E-BOM, M-BOM, P-BOM 그리고 제품 형상 정보를 검토하기 위하여 웹 기반 BOM Editor 응용 프로그램이 제공된다. <Figure 8>은 생성된 M-BOM과 P-BOM 형식의 로봇 조립계획을 BOM Editor를 이용하여 확인하는 화면을 보여준다. 화면에서 asm2의 M-BOM 구성을 위해 자동으로 추가된 asm0, asm1, asm2 아이템과 조립계획인 P-BOM을 위해 추가된 op0, op1, op2 그리고 op3 공정 객체를 확인하고 변경할 수 있다.

Figure 8.

Browse and Edit M-BOM and P-BOM of Example Product

인간인 Robot Assembly Planner는 로봇 조립계획 검토를 위하여 BOM 데이터베이스의 로봇 조립계획과 CAD 데이터베이스를 이용하여 가상 조립 시뮬레이션을 수행할 수 있다(<Figure 3>의 ④ Simulation). <Figure 9>의 Robot Path Simulator는 CAD와 BOM 데이터베이스에서 로봇 조립계획을 읽어 부품의 3차원 조립 과정을 시각화한다. 응용 프로그램은 BOM 데이터베이스의 Action 순서를 읽어 CAD 화면에 Gripper와 부품을 출력한다. 사용자는 CAD 화면에 나타난 슬라이드 바 그래픽 사용자 환경을 이용하여 모든 로봇 조립 단계의 Gripper와 부품을 CAD 화면에 3차원으로 출력할 수 있다. 이처럼 TRIP-HRC 아키텍처는 제품 형상과 BOM 자료를 일반 데이터베이스로 관리함으로써 로봇 조립계획을 검토하거나 검증할 수 있는 다양한 응용 프로그램을 개발할 수 있다.

Figure 9.

Robot Assembly Simulator

로봇에 의해 생성되어 인간에 의해 검토되고 변경된 로봇 조립계획은 BOM 데이터베이스에 연결된 물리적 로봇에 전달되어 실행된다(<Figure 3>의 ⑤). 이때 인간인 Robot Assembly Operator는 Interactive Language를 이용하여 로봇과 협력한다(<Figure 3>의 ⑥).

예로 예제 제품의 base와 cylinder 부품을 조립하기 위해 인간은 직관적인 assembly 명령어를 사용하여 로봇과 협동 작업할 수 있다. 먼저 인간이 base와 cylinder 부품을 정의된 위치 place1과 place2에 각각 위치시킨 후 is located 명령어로 로봇과 각 부품의 위치를 공유한다. 만일 로봇이 비전 시스템 등을 이용하여 현재 부품과 위치를 인식할 수 있다면 이 명령은 생략될 수 있다.

• itrip> cylinder is located on place1
• itrip> base is located on place2

인간이 로봇에게 cylinder 부품을 Base 부품과 조립하도록 명령한다. 로봇은 BOM 데이터베이스에 저장된 로봇 조립계획(actions 객체)을 이용하여 place1에 있는 cylinder 부품을 이동시켜 place2에 있는 Base 부품에 조립할 수 있다. 로봇은 조립된 중간 조립품이 asm0임을 알려준다. 인간은 사전이나 사후에 BOM Editor나 조립 Simulator를 이용하여 조립계획과 조립품을 확인할 수 있다.

• itrip> assemble cylinder and base
• → asm0 is assembled from cylinder and base

인간이 다음과 같이 top 부품을 place1에 위치시키고 asm0와 조립하도록 명령할 수 있다. 이 경우 로봇은 공유된 BOM 데이터베이스의 P-BOM을 통해 top 아이템이 asm1과 조립되어야 함을 확인할 수 있어 적절한 경고를 인간에게 전달할 수 있다. 즉, 로봇은 인간의 명령이 CAD와 BOM 데이터베이스의 로봇 조립계획과 일치하지 않으면 이를 경고하거나 옳은 방법을 제안할 수 있다.

• itrip> top is located on place1
• itrip> assemble top and asm0
• → Warning! spring should be assembled before top.

<Figure 10>은 Interactive Language의 실행 환경인 itrip 에디터를 통해 인간이 로봇과 협동 작업하는 화면을 보여준다. Interactive Language를 이용한 명령의 입력은 터미널과 키보드를 통해 입력할 수도 있으며 파이선 음성 인식 모듈을 이용하여 인간의 음성으로 실행시킬 수도 있다.

Figure 10.

Itrip, an execution environment of Interactive Language

<Figure 11>은 itrp에 연결된 로봇이 인간 Operator의 Interactive Language를 통한 명령에 따라 부품을 조립하는 동작을 보여준다.

Figure 11.

Execution of Robot Assembly Plan