스마트 카트 설계기 (4) - 두 번째 기능 합치기, 작품 및 시연 환경 꾸미기

 

🔨

 

사람 추적 기능의 변경 및 연동

 

기존에는 사람의 모습을 추적하는 기능을 만들려고 했지만, 상당히 고난도의 지식이 필요하다는 판단에 색상 추적으로 변경하여 구현하는 것으로 변경하였다. 그리고 2학기가 시작할 때쯤, 사람 추적 기능을 담당하던 친구로부터 OpenCV를 통해 해당 기능에 구현을 성공했다는 말을 들었다.

 

OpenCV를 이용한 색상 추적 기능은 라즈베리파이와 카메라 모듈을 이용하여 작동했는데, 화각이 작아서 그런지 간혹 잘 동작하지 않는 경우도 있었다. 또한, 색 구분이 완벽하지 않아서 그런지 주변의 색상에 영향을 받기도 했다. 다소 큰 단점이 있긴 했지만, 이게 어디야… 라는 생각으로 Flask 웹 서버 코드와 연동하기로 결정했다.

 

OpenCV를 통해 색상을 인식하는 동영상

 

외부에서 본 작동 동영상^[각주:1]

 

색상 추적 기능의 연동

우선 색상 추적 코드를 언제, 어떻게 시작할 지에 관해 구상하였다. 여러 가지 방법을 생각하다가 아래와 같은 방법을 사용하는 것이 나을 것 같다고 판단되었다.

 

1. Flask 서버 단에서 ROS를 통해 라즈베리파이에 색상 추적 기능 실행 명령어를 전송하는 방법
2. NFC 태그 기록 때 사용하던 것처럼 쉘과 Flask 서버 단에서 TCP/IP 문자열 전송 방법을 이용하여 색상 추적 기능을 동작시키는 방법

 

아무래도 두 번째 방법인 ROS를 통한 방법이 가장 있어 보이는 방법이어서 ROS를 이용한 전송을 시도해보았지만, 아쉽게도 조원들 모두 ROS에 관한 지식이 깊지가 않아서 ROS를 이용한 명령어 전송에 실패했다. 하는 수 없이 일단은 TCP/IP로 구현해보고, 나중에 시간이 남는다면 ROS로 구현해보기로 했다.

 

elif data.decode('utf-8') == 'b' :
                subpro3 = subprocess.Popen(['python', '/home/pi/Desktop/nfc/camera.py'])
elif data.decode('utf-8') == 'c' :
                subpro3.kill()

사람 추적 코드를 가동하는 코드

 

색상 추적 기능의 문제점 해결 과정

색상 추적 기능의 코드가 작동 상에는 완벽한 줄 알았지만, 작동에는 몇 가지 문제 있었다. 그중에 가장 큰 문제는 다음과 같았다.

 

• 기능의 시작 및 종료 속도가 느리다. 시작과 종료 시 약 3초의 딜레이가 있었다.
• 정지 버튼을 눌렸을 때 마지막 동작을 유지하여 사용에 어려움이 있었다. 앞으로 가는 도중 종료 버튼을 누르면 카트가 그대로 앞으로 움직인다.

 

반응 속도의 문제점

웹 사이트에서 해당 기능의 작동 버튼을 누르면 즉시 동작하는 것이 아닌 약 3초 뒤에 동작을 하며, 작동 중단 버튼을 누르면 약 3초 뒤에 움직임을 멈추었다. 이를 최대한 해결하기 위해서 OpenCV 동작 코드를 간단하게 줄여보기도 했다. 혹시나 동작 데이터 전송의 문제인가 싶어서 동작 데이터 처리 전송 과정을 바꿔보기로 했다.

기존에는 OpenCV를 이용하여 생성된 동작 데이터를 Flask 서버로 보내서 처리하는 방식이었다면, Flask 서버로 전송하지 않고 라즈베리파이 내부에서 동작 데이터를 처리하는 방식으로 바꿔보기도 하는 등 여러 가지 시도를 했었다. 하지만 결과는 그렇게 나아지지 않았다.

후에 OpenCV의 시작 속도를 빠르게 하기 위해서 OpenCV의 더 가벼운 버전을 찾아보는 방법, 그리고 종료 속도를 더 빠르게 하기 위해서 스레딩을 사용하면 더 나아질 수 있지 않을까? 라는 구상도 했다. 하지만, 아쉽게도 시간 관계상 여기서 마무리되었다.

 

마지막 동작을 계속 유지 작동한다는 문제점

본 기능의 동작 중, 움직이고 있을 때 기능을 꺼버리면 카트는 이전에 하고 있던 동작을 계속 반복해서 수행하는 문제점이 있었다. 우리들이 발견한 원인은 다음과 같았으며, 이는 반응 속도 문제와 어느 정도 연관이 되어 있는 것 같았다.

 

1. 카트의 동작을 판단하는(OpenCV) 코드가 종료된 뒤에도 동작을 수행하는 코드가 이전 값을 계속해서 유지해서 동작한다.
2. 사용 종료 버튼을 누를 때 동작을 수행하는 코드를 강제 종료하려고 하여도 카트의 동작을 수행하는 코드가 정상적으로 끝나 지지 않는다.

 

이 문제를 해결하기 위해 소스 코드를 하나씩 파보는 것 대신, 시간 관계상 강제 종료와 강제로 이동에 데이터를 전송하여 이전 값을 차단하는 방법을 이용하였다. 어떻게 보면 완벽한 방법이 아닌 미봉책이긴 하나, 그때 당시에는 시간을 생각한다면 이것이 최선이었던 것 같다.

 

elif data.decode('utf-8') == 'b' :
    subpro3 = subprocess.Popen(['python', '/home/pi/Desktop/nfc/camera.py'])
    subpro4 = subprocess.Popen(['roslaunch', 'turtlebot3_teleop', 'turtlebot3_teleop_key.launch'])
elif data.decode('utf-8') == 'c' :
    subpro3.kill() ##OpenCV 강제 종료
    subpro4.terminate() ##터틀봇3를 움직이는 코드 강제 종료
    subpro5 = subprocess.Popen(['rostopic', 'pub', '-1', '/cmd_vel', 'geometry_msgs/Twist', '--', '[0.0,0.0,0.0]', '[0.0,0.0,0.0]']) ##터틀봇3의 움직임 값을 0으로 전송

 

이렇게 기본적인 코드 설정은 모두 끝이 났다. 이제 남은 것은 외관을 꾸미는 일이었다.

 

터틀봇3 외관 꾸미기

터틀봇3의 앞부분에 카메라를 장착하기 위해서 파이 카메라 프레임을 구매한 후 장착했다.^[각주:2]

 

터틀봇3에 장착한 파이 카메라

 

그리고 물건을 담을 철제 바구니 구매하여 장착, 그리고 쇼핑 카트의 뒷부분에 와플플레이트라는 판을 추가로 장착하여 NFC 모듈을 올려놓을 공간을 만들어 NFC 모듈을 장착했다.

 

터틀봇3에 장착한 NFC 모듈, 바구니

 

대략적으로 완성을 한 뒤, 시험 삼아 동작을 시켜보았다. 처음에는 잘 동작이 되는가 싶더니, 카트가 정지 시에 앞이나 뒤로 갈 때 차체가 버벅거리면서 움직이는 현상이 발생했다. 이는 철제 바구니 쪽으로의 무게 중심 쏠림이 원인일 것이라 생각하여 철제 바구니의 반대쪽인 앞쪽에 무거운 물체를 하나 매달아 줘야 할 것이라 예상했다.

 

그래서 근처 문구 점에 들려 적당한 무게의 물체를 찾기로 했고, 그 결과 타카 심 2팩과 고리를 사서 앞 쪽에 추가로 장착하기로 했다. 그리고 장착한 결과 이전보다 이동 안정성이 훨씬 나아짐을 알 수 있었다.

 

거의 완성된 스마트 쇼핑카트의 외관

 

시연 환경 꾸미기

사람들에게 작품을 보여주기 위한 공간이 필요했다. 시연 공간의 구상은 어떻게 하면 좋을까? 라는 고민 끝에 가로 세로 각각 1M 정도의 공간을 아크릴판으로 구성하기로 했다. ^[각주:3]

 

시연 환경의 구상

 

시연 환경에서의 예상지 못한 문제 발생

아크릴판으로 환경을 구성하고 작동 시연을 준비해보는데, 네비게이션 기능을 실행 시 목적지까지 도착하는 경로가 조금 이상하거나, 목적지까지 움직이던 도중에 멈추는 일이 발생했다.

 

SLAM을 이용한 네비게이션 상태를 보여주는 RViz 창과 네비게이션 코드 실행 창을 띄워보니 목적지까지 움직이는 경로를 만드는데 실패했다는 메시지가 적혀 있었다. 이를 보고 우리는 다음과 같은 문제로 인해 해당 상황이 발생했다고 생각했다.

 

1. Lidar 센서의 난반사 때문이다.
   SLAM 기술은 Lidar 센서로 장애물의 위치를 판단한다. 그리고 우리가 구매한 아크릴판은 흰색 유광 아크릴판이었다. 이때 Lidar 센서의 빛이 아크릴판에 의해서 난반사가 발생하고, 장애물이 없는 곳에 장애물이 있다고 판단이 되었을 것이다.
   
   RViz 창에 갑자기 나타났다가 갑자기 사라지는 난반사로 인한 추정되는 장애물이 실제로 포착되었다.
   
   
2. 알고리즘의 특성에 의한 문제일 것이다.
   여기에 사용된 목적지까지의 경로를 계산하는 알고리즘이 이렇게 좁은 곳에서 작동하는데 적합한 알고리즘이 아닐 수도 있다.

 

난반사 문제 줄이기

그래서 우리는 아크릴판의 난반사를 없애기 위해서 검은색 색지를 사서 아크릴판에 붙여 보았다. 그랬더니 난반사로 인해 발생하는 장애물 감지가 줄어들었음을 확인할 수 있었다. 하지만, 여전히 목적지까지 도달하지 못하는 경우가 발생했다.

 

알고리즘 또는 환경 수정하기

두 번째 알고리즘 문제를 수정하기 위해 네비게이션 담당 친구가 열심히 네비게이션 경로 계획 알고리즘의 파라메터 값들을 수정해보았다. 하지만, 안타깝게도 직접적인 효과가 없었고 개인적인 친구의 사정으로 인해 더 이상 네비게이션 관련 코드나 파일 수정에는 어려움이 따르게 되었다.

 

하는 수 없이, 기존의 가로, 세로 1M 공간을 1.5M로 늘려서 새로 제작하기로 했다. 아크릴판을 다시 구매하여 붙여본 결과 이전의 문제가 말끔히 해결되지는 않았지만, 시연이 가능할 만큼 해당 문제가 줄어들었음을 확인할 수 있었다.

 

기존의 시연 환경과 새로운 시연 환경의 구상, 중간의 아크릴판이 이전에 사용하던 1M 아크릴

 

이렇게 시연을 위한 외부 환경 꾸미기도 여차 저차 끝맺음이 났다.

 

 

[본문 동영상 파일]

 

 

opencv_test.mp4

0.43MB

 

opencv_test2.mp4

2.01MB

 

 

1. 외관을 꾸미고 난 뒤에 만들어진 동영상이어서 전반적인 틀이 모두 갖춰져 있다. [본문으로]
2. 조그만 부품이 1만 원을 넘어간다는 게 참 신기했다…… [본문으로]
3. 여담이지만 처음 환경 제작 시 아크릴 판을 살 때 같이 주문한 1000원짜리 아크릴 접착제를 사용해서 붙였는데, 접착제가 다루기 힘들어서 글루건으로 작업을 했다. [본문으로]