사이트맵

10월 12일 (화) ~ 15일 (금)에 진행되었던 ICCAS 2021는 참가자 전원 코로나 검사 후, 제주도 라마다 플라자 호텔에서 온라인/오프라인 믹스 방식으로 진행되었습니다. 구두 발표 논문 352편과 포스터 발표 논문 197편이 발표되었고, 22개국에서 참여한 꽤 큰 규모의 학회였습니다. 제어로봇학회에서 개최하는 학회인 만큼 로봇과 제어 쪽의 분야가 주를 이뤘고, 딥러닝 관련된 분야들도 학회 중에 발표되었습니다. 더 상세하게는 Artificial Neural Network, Machine Learning, Unmanned Aerial Vehicles, Service and Social Robotics 등의 세션이 열려 여러 주제의 논문들이 발표된 학회였습니다. 

저는 본 학회에 포스터 논문 발표를 하게 되었습니다. 제가 발표하게 된 논문은 'Improving Nighttime Object Detection by Generating Synthetic Nighttime Dataset from Daytime Dataset'이란 제목의 논문입니다. 최근 자율 주행에 대한 관심이 뜨거워지면서 자율 주행에 이용되는 기술들 또한 학계에서 주목받고 있습니다. 그 중에서도 현재 차량의 상태를 파악할 수 있게 주변 물체를 검출해주는 Detection 기술은 가장 많이 연구되고 있는 분야 중 하나입니다. 이에 따라 Detection 기술은 많은 성능 향상을 겪었습니다. 하지만, 활발한 연구가 이어졌음에도 불구하고, 물체가 검출되지 않는 상황이 발생했습니다. 바로 영역 차이 (Domain Gap)가 있는 상황에서의 물체 검출 상황입니다. 예를 들어, Detector를 학습시킬 때 주간 시간의 이미지로만 학습을 진행하게 되면 야간 시간의 어둑어둑한 이미지에서는 물체 검출이 어려울 것입니다. 이런 영역 차이가 생겼을 때 문제되는 상황을 해결하는 방법은 크게 두 가지가 있을 것입니다. 

첫 번째로 해당 상황을 해결해 주는 기술이 영역 적응 (Domain Adaptation) 기술입니다. 간단히 말하면 Domain Adaptation 기술은 위의 예시에서 주간 이미지만을 학습데이터만으로 사용하면서도 야간 시간에 물체 검출을 할 수 있도록 주간 이미지에서 추출된 feature와 야간 이미지에서 추출된 feature의 차이가 없어지게 만들어주는 기술입니다. 

두 번째로 학습데이터의 추가로 상황의 해결이 가능합니다. 주간 이미지만을 사용하여 학습을 진행해서 야간 이미지에서 검출 성능이 나오지 않는다면 야간 이미지도 학습데이터로써 사용하면 주간/야간 이미지에서 검출 성능이 전체적으로 오르게 됩니다. 

하지만, 아쉽게도 정교하게 annotation이 된 야간 이미지의 수는 제한적입니다. 야간 이미지를 촬영하여 데이터를 얻는 것은 어렵지 않지만, 야간 이미지에서 물체의 Bounding Box, Segmentation Mask 등 정교한 annotation을 하는 것은 꽤 많은 cost가 필요한 작업입니다. 본 논문에서 목표로 하고 있는 것은 annotation cost를 들이지 않고 가상의 야간 이미지를 생성하는 것입니다. 

Table 1은 BDD100k[1] 데이터셋의 데이터 구성을 보여주는 표입니다. 학습데이터만을 비교했을 때, 야간 이미지는 주간 이미지의 약 76%로 비교적 적은 양을 갖고 있습니다. 이런 데이터 개수의 부족으로 야간 상황에서 물체 검출이 어려웠습니다. 본 논문은 CycleGAN[2]을 사용하여 상대적으로 양이 많은 주간 이미지를 야간 이미지로 변경했습니다. 이미지 내의 물체들 (Contents)은 그대로 유지한 채 야간의 느낌이 나도록 변경한 것이라 주간 이미지의 annotation들을 그대로 사용할 수 있는 데이터를 만들었습니다. Figure 1은 CycleGAN구조를 통해 실제 주간 이미지 (Real_Day)를 가상 야간 이미지 (Fake_Night)로 바꾸는 것을 보여주는 그림입니다.

이렇게 얻어진 가상의 데이터는 실제 야간 이미지에 비해서 품질이 떨어질 수 있습니다. 따라서, 그 품질을 검증하기 위하여 실제 야간 이미지에서의 물체 검출 테스트를 진행했습니다. 테스트는 아래 Figure 2와 같은 방식으로 진행하였습니다. 학습에 사용된 데이터는 그림에서 보여지는 것처럼 총 3가지 종류의 데이터가 있습니다.

1) 실제 야간 이미지만을 사용하는 데이터 (Real_Night), 2) 가상 야간 이미지만을 사용하는 데이터 (Fake_Night), 3) 실제와 가상 야간 이미지 데이터를 모두 사용하는 데이터 (Real_Night + Fake_Night). 이 세 가지 데이터셋으로 대표적인 물체 검출모델인 YOLOv3 [3]를 학습시킨 후 validation용 실제 야간 이미지 데이터에서 검증을 진행하였습니다.  

실험을 진행한 결과 Table 2와 같이 주간 이미지를 야간 이미지로 변경하여 추가적인 학습데이터로 사용함으로써 0.9 만큼의 성능 향상을 이뤄냈습니다. 또한, Figure 3에서 확인할 수 있듯이 조금 더 robust하게 물체 검출하는 모습을 확인할 수 있습니다. 

본 논문은 가상 야간 데이터 생성을 통해 물체 검출 모델의 성능을 올렸다는 점에서 추가적인 연구를 진행할 만한 고무적인 실험을 담은 논문입니다. 저는 본 논문을 10월 14일 목요일에 2층 로비에서 포스터를 붙이고 TP3 – Interactive Poster Session에서 발표를 진행하였으며 동시에 온라인으로도 발표 자료들이 공유되었습니다. ICCAS 학회는 로봇이나 제어 쪽 분야를 많이 다루는 학회여서 본 논문은 꽤 많은 사람들의 관심을 받았습니다. 좋은 질문들뿐만 아니라 후속 연구에 대한 질 좋은 아이디어에 대한 대화도 이어져서 개인적으로도 많은 것을 배울 수 있던 시간이었습니다. 또한, 운 좋게도 많은 분들이 좋게 봐주신 덕분에 포스터 발표로 참여한 총 197개의 논문 중 13개의 논문에 주어진 Best Poster Paper Award를 수상하게 되었습니다. 

ICCAS 학회에선 제가 포스터 논문을 발표했던 Interactive Poster Session 이외에도 여러 가지 일정이 있었습니다. 로봇이나 제어 쪽을 연구하시는 해외의 유명한 교수님들이 Invited Speaker로서 발표해주신 내용들은 제가 완벽히 이해는 못해도 전반적인 설명을 들으며 흥미로웠습니다. 또한, 중간중간 있던 Oral Session이나 신진연구자 Session도 모두 유익한 내용들을 많이 발표해줘서 많은 것을 보고 느낄 수 있었던 학회였습니다.

거리두기로 인해 코로나가 잠시 진정되는 시기여서인지 많은 연구자들이 자리한 학회로, 최근에 제가 가본 국내 오프라인 학회 중에서는 참석자가 꽤 많은 편이었습니다. 특히나 저는 제주도에서 열리는 학회였던 만큼 설레는 마음을 품고 학회에 참석하게 되었습니다. 하지만 아쉽게도 첫날 제주도의 하늘은 굉장히 흐렸습니다. 학회장 바로 앞이 바다라서 멋진 경치를 기대했는데 하늘이 흐려서 다음날을 기다렸습니다. 

 

학회장에 처음 들어가면 열화상 검사를 통해 검사를 통과했다는 팔찌와 학회 참석증이나 다름없는 학회 명찰, 기념품으로 타르트와 하드 디스크를 받았습니다. 이전에 참석한 다른 학회들에서는 보통 USB를 받았는데 대용량의 하드 디스크를 받으니 학회 이후에도 요긴하게 잘 사용할 수 있어서 좋았습니다. 학회 명찰에는 식권이 세 장 들어있었는데 두 장은 점심 식사용 식권, 다른 한 장은 Banquet용 식권 한 장이 있었습니다. 식사는 모두 깔끔하게 잘 나와서 학회 기간동안 맛있게 잘 먹었습니다. 

 

둘째 날 포스터 세션 발표를 위해서 제주 시내에서 포스터를 뽑아와서 세션 시작 전에 붙였습니다. 포스터를 붙이고 세션 시작을 기다리는 동안 밖을 보니 날씨가 맑아서 멋진 경관을 보면서 발표를 진행할 수 있었습니다. 발표를 마친 후 다른 Invited Speakers들의 발표를 들으면서 흥미로운 분야에 대한 공부도 할 수 있었습니다. 여러 발표들을 들으며 정신 없이 시간이 지나고 Banquet에도 참석을 했습니다. Banquet에선 이전 학회들과 다르게 식사와 행사 진행을 별도로 진행했습니다. 우선적으로 학회의 현황에 대한 정리와 수상자 선정을 진행하였고, 이후에 아래층에 마련된 식당에서 각자 식사를 즐기면서 다른 연구자들과 조금씩 교류하는 모습이었습니다.  

오랜만에 열리는 오프라인 학회에 참석하게 되어서 제 연구내용을 다른 사람들에게 공유하는 것도 재미있었고, 다른 사람들의 질문들을 들으면서 새로운 아이디어도 많이 얻을 수 있는 시간이었습니다.