포커스 iN
라이징스타
  • 최성준
  • 고려대학교 인공지능학과
  • sungjoon-choi@korea.ac.kr


▶ 교수님 소개 부탁드립니다. 


안녕하세요. 저는 로보틱스를 연구하고 있는 고려대학교 인공지능학과 조교수 최성준입니다. 



▶ 주 연구 분야 및 연구실 Robot Intelligence Lab.에 대한 소개 부탁드립니다.


저희 연구실에서는 로보틱스가 좀 더 사람과 가까운 공간에서 일하려면 무엇이 필요한지를 주로 연구하고 있습니다. 예를 들면, 사람이 로봇에게 명령을 내릴 때 어떤 키보드나 미리 정해 놓은 프로그램은 사용하지 않고 어떻게 하면 언어로 로봇을 제어할 수 있을지 혹은 로봇이 사람과 있을 때 어떻게 하면 불확실성을 바탕으로 사람에게 조금 더 안전한 행동을 만들 수 있을지, 로봇이 어떤 행동을 했을 때 그 행동이 단순히 공장에서 쓰이는 것처럼 기구적이고 어떤 태스크에 맞춰진 행동이 아니라 조금 더 자연스러운 행동으로 보일 수 있을지, 아니면 로봇의 하드웨어가 너무 딱딱하지 않고 말랑말랑할 때 이것을 어떻게 덜 제어할 수 있을지, 이와 같은 연구들을 진행하고 있습니다. 대체로 학생들이 하고 싶은 주제들을 많이 하는 편이라서 연구 주제가 다양하지만, scope boundary는 사람과 조금 더 가까워질 수 있는, 즉 공장으로 가는 게 아니라 일상생활에 조금 더 가깝게 들어올 수 있는 기술들 위주로 연구를 하고 있습니다.



▶ 국내 최고의 AI기업들과도 공동연구를 진행하시는 등 활발하게 활동 중이십니다. 이러한 공동연구 성과의 하나로 AAAI-23에서 발표하신 논문 『FLAME: Free-form Language-based Motion Synthesis & Editing』이 ‘텍스트 기반 모션 생성 AI 모델’ 관련 내용입니다. 해당 연구에 대한 설명을 부탁드립니다.


저희 연구실이 생긴 지 이제 만 3년이 됩니다. 그동안 모션 쪽 연구를 계속 해오고 있는데요. 즉 어떠한 모션 두 개가 있을 경우 그 둘을 어떻게 하면 자연스럽게 연결할 수 있을까 하는 연구를 계속 해오다가 작년에 시작하게 된 연구가 바로 논문으로도 발표된 ‘FLAME'이라는 텍스트 기반의 모션 생성 AI 모델입니다. 이 연구에서 제시하는 내용은 여러 가지 일을 할 수 있는 방법인데요. 최근 들어서는 이미지 같은 것들을 생성할 때, 예를 들어 오픈AI의 달리2(DALL-E2)와 같이 내가 텍스트를 입력했을 때 그것에 해당하는 이미지를 만들어주는 기술들이 많이 발전을 했습니다. 이러한 기술을 디퓨전 모델(deffusion model)이라고 부르는데 디퓨전 모델이 갖고 있는 큰 장점이 두 가지 정도 있는 것 같습니다. 그 한 가지는 내가 어떤 이미지 혹은 내가 생성하고자 하는 것을 생성할 때 컨디셔닝(conditioning, 조건부여)을 아주 쉽게 걸 수 있습니다. 간다하게 설명하면, 단순히 “강아지를 만들어줘” “고양이를 만들어줘”가 아닌 “타임스퀘어에서 스케이트보드를 타고 있는 테디베어를 만들어줘”와 같이 우리가 일반적으로 쓸 수 있는 문장을 이용한 이미지 생성이 가능해졌고요. 두 번째로는 우리가 어떤 이미지가 있다고 했을 때 그 이미지에 특정 영역을 채우는 걸 굉장히 잘할 수 있습니다. 예를 들면 수영장 이미지에 “플라밍고를 만들어줘” 하면 플라밍고 보트가 생기는데요. 이렇게 이미지 안에 무언가를 바꾸는 것을 ‘인페인팅(Inpainting)이라고 부릅니다. 이와 같이 두 가지 콘셉트를 저희 연구팀이 모션에 적용했습니다.


그 중 첫 번째로는 우리가 그냥 어떤 모션을 만들 수도 있지만 “어떤 남자가 춤을 추고 있어”라고 “오른쪽 발로 킥킹을 하고 있는 모션을 만들어줘”처럼 내가 텍스트에 컨디셔닝한 모션을 만들 수 있고요. 두 번째로는 어떤 모션이 있을 때 이 모션의 하체는 고정한 상태에서 상체만을 바꿀 수도 있습니다. 혹은 모션이라는 것이 시간 순으로 흘러가기 때문에 내가 앞에 2초의 모션을 두고 “뒤에 3초 모션을 만들어줘” 혹은 그 반대도 가능한데요. 이렇게 다양한 것들을 할 수 있는 기능을 지닌 하나의 모델을 만들었다고 보시면 될 것 같습니다.



▶ 포닥(PostDoC) 시절에 디즈니 리서치에서 참여하신 연구 중 매체로도 공개된 적이 있는 휴머노이드 로봇에 대한 설명 부탁드립니다.


디즈니 리서치에서 포닥을 마치기 전 마지막에 참여한 연구가 상체만 있는 로봇 “인터랙션 게이즈 (Interaction Gaze)”입니다. 외관이 오싹해 보이기도 하는데 그 오싹해 보이는 가장 큰 이유는, 원래는 얼굴에 스킨을 입혀야 하는데, 스킨을 입히게 되면 그 입히는 대상에 대한 Intellectual Property(지적소유권) 문제가 있기 때문에 논문으로 발표될 때는 스킨 없이 뼈만 있는 기괴한 모습으로 공개되었습니다. 사실 저희가 실험을 할 때는 당연히 얼굴에 분장도 하고 모자를 씌우기도 했습니다.


그리고 이 연구에서 제가 맡은 파트는 ‘Attention Engine’이었는데요. 이 로봇에 대해 먼저 설명을 하면, 우선 상체만 있는 로봇으로, 약간의 소리를 낼 수 있고 몸과 얼굴을 약간 움직이고 눈알을 움직일 수 있으며 표정을 지을 수가 있는데, 실리콘으로 만든 스킨으로 표정을 만들 수 있는 로봇입니다.


이 연구에서 저희가 가정했던 상황은, 가보신 분은 아시겠지만 디즈니랜드에 가보면 1-2시간은 넘게 대기 줄을 서게 되는 경우가 많습니다. 이때 한 공간에 로봇은 한 대인데, 이 로봇이 여러 사람과 인터랙션을 할 수가 없습니다. 사실 모든 사람이 로봇에 관심이 있는 것이 아니기 때문에 그 많은 사람들 중에 어떤 사람이 로봇에 관심을 가지려고 하는지에 대한 어텐션을 계산하는 엔진을 제가 만들었습니다. 다시 말하면, 어떤 사람은 로봇한테 다가온다든지, 로봇을 오래 바라보고 있다든지, 또는 로봇에게 손을 흔드는 것과 같은 여러 가지 특정 행동을 바탕으로 그 모든 사람을 스코어링하고 그 스코어링을 바탕으로 이 로봇이 높은 스코어인 사람과 적당한 인터랙션을 하게 됩니다. 그 다음에는 스코어를 낮추고 그 다음 다른 사람과 인터렉션을 하는 시스템인데, 그 어떤 사람과 인터랙션을 할지 고르는 기능을 하는 엔진을 제가 만들었습니다. 



▶ 특별히 로봇에 관심을 갖게 된 계기가 있다면 말씀해 주세요.


엄청 거창한 건 없었던 것 같습니다. 인생에 무슨 이벤트가 있어서는 아니었고, 관심의 계기를 생각해 보면 아마도 만화책이었던 것 같습니다. 제 윗세대 선배님들 같은 경우는 영화 <스타워즈>에 굉장히 많은 관심을 가지셨다면, 제 경우는 <패스포트 블루 pasport blue>라는 일본 만화책이 그러했습니다. 이 만화는 어느 소년이 NASA에 가서 우주비행사가 되는 이야기로, 그 과정에서 이 주인공은 여러 가지 로봇을 만드는데 그 로봇이 사람처럼 생기지도 않은 조그만한 로봇으로 이들이 움직이면서 사람과 인터랙션을 하면서 도구도 갖다 주는 등, 당시 아주 재미있게 읽은 기억이 있습니다. 그때 제가 중학생이었는데 아마도 그때부터 막연히 “나는 로봇을 해야겠다”라고 계속 고민을 했던 것 같습니다. 그러다가 대학교 진학을 앞두고 “기계과로 갈까, 전자과로 갈까”를 두고 많은 고민을 했는데, 아무래도 뭔가 하드웨어를 만드는 것보다는 소프트웨어 쪽으로 가야겠다라는 생각에 전자과를 선택하게 되었습니다. 그때 저희 학교는 전자과와 컴퓨터학과가 1학년 때 합쳐져 있어 EECS(Electrical Engineering and Computer Sciences)였는데, 그 과정에서 로봇의 소프트웨어적인 부분에 좀 더 관심을 갖게 되었고 그러다보니 자연스레 대학원도 가고 이후 디즈니리서치에서 포닥을 거쳐 지금까지 오게 된 것 같습니다.



▶ 인간과 로봇의 상호작용에 있어 향후 5년 안에 기대되는 혁신적 발전은 무엇일지 전망에 대한 교수님 소견 부탁드립니다.


지금까지 트렌드로 봐서는 하드웨어의 발전이 매우 더딘 것 같습니다. 제가 로봇에 관심을 가진 2000년대 초반부터 지금까지 하드웨어는 그다지 발전을 하지는 않았지만 소프트웨어는 엄청 발전을 하고 있는 것 같습니다. 저희 연구실에서 지금 관심을 많이 갖고 있는 것 중 하나가 요즘 핫한 GPT 계열들과 같은 언어모델인데요. 이러한 언어 모델들은 코드를 만드는 데 쓰이고 지식을 물어보는 데도 쓰이는 등 여러 용도로 활용이 되고 있습니다. 그 중에서도 저는 인터페이스로서의 Large Language Model에 관심이 아주 많습니다. 예를 들면 우리가 로봇으로 범용적인 로봇을 만든다고 했을 때 정말 어려운 점이 뭐냐면 사람의 말이 가진 모호성입니다. 우리가 한 가지 목적을 갖고 어떤 태스크를 로봇한테 주는 경우 사람마다 그 태스크를 기술하는 방법이 매우 다릅니다. 그런데 그 다른 것을 우리가 기존의 어떤 rule-based password를 이용해서 키워드를 추출하게 되면 너무나 많은 노력이 그 부분에 들어가서 로봇이 할 수 있는 행동이 단순함에도 불구하고 앞단에 많은 시간이 드는 것은 사실입니다. 그런데 언어모델 같은 것들은 우리가 아주 모호하게 말해도, 이런 표현이 맞는지 모르겠지만, ‘개떡같이 말해도  찰떡같이 알아듣는’ 경향이 조금 있습니다. 그래서 인터페이스로서의 어떤 정보를 정리하고 정보를 요약하고 그 중에서 내가 해야 하는 행동을 추출하는 어떤 모듈로서의 Large Language Model을 활용하는 연구에 계속 관심을 갖고 있고 또 현재 진행도 하고 있습니다. 



▶ 교수님에게 영향을 미친 인물 또는 귀감으로 삼으시는 연구자가 있다면?


제가 포닥으로 근무한 디즈니 리서치에서 제 보스이셨던 김주형 교수님입니다. 지금은 UIUC(University of Illinois at Urbana-Champaign)에 계시는데요. 당시 디즈니 리서치에서 Research Scientist로 계셨습니다. 제가 여러 가지 부분에서 많은 것을 배웠는데 그 중에서도 특히 연구 주제를 정하는 방법에 대해 많이 배운 것 같습니다. 우리가 갖고 있는 리소스와 내가 보이려고 하는 무언가를 많이 고려하지 않은 상태에서 핫한 연구 토픽을 잡으려고 하는 경향이 제게는 좀 있었던 것 같습니다. 그런데 연구자가 자기 팀을 꾸리고 어떤 연구를 수행해 나가면서 결과를 내기 위해서는 내가 현실적으로 갖고 있는 리소스가 얼마큼 있고 또 앞으로 가용할 수 있는 리소스가 얼마나 있는지 그리고 그 가운데서 내가 보이고 싶은 여러 가지 중에서, 예를 들면서 ‘현실적으로 6개월 안에 이런 부분을 내가 보여줄 수 있다’라는 그러한 연구 설계가 굉장히 중요하다는 것을 일하는 2년 동안 배웠습니다. 그래서 현재 교수가 된 저도 그러한 것들을 많이 생각하면서 연구를 하고 있는 것 같습니다. 


또 다른 한 가지는, 우리가 보통 로봇을 연구하게 되면 많은 경우에 기술만 볼 때가 많습니다. 예를 들면 어제 발표된 논문은 무엇인지, 학회에는 어떠한 논문이 실리는지 등 이러한 것들만 보게 되는 경우가 많은데, 사실 ‘로보틱스’라는 것은 로봇을 만드는 것입니다. 그렇다면, 이 로봇을 사용할 사람들이 있어야 하고 이와 함께 자연스레 규정을 알아야 할 수밖에 없습니다. 예를 들면 제가 늘 말하는 1가구 1로봇이 되려면, 즉 최소한 로봇이 1가구에 들어가려면 현재 규정이 무엇이고 현행법은 어떠한 것이 있어야 로봇이 들어가고 못 들어가는지 등 이러한 연구 외적인 것들을 많이 알아야 하는 게 정말 중요하다는 것을 깨달았습니다. 그래서 단순히 논문과 학회 등 이런 활동을 좀 더 벗어나서 범용적으로 스타트업 씬이라든가 정보라든가 규정이라든가 이러한 것들에 대한 관심이 많아졌고 한국에 돌아와서도 이러한 것들을 계속 트레킹하고 있는 편입니다.



▶ 특별히 기억에 남는 본인의 연구(논문)를 꼽는다면?


기억에 남는 논문이 두 편 정도 있는 것 같습니다. 첫 번째는 외부적으로 봤을 때 제일 자랑하고 싶은 성과이기도 한데요. 제가 박사과정 시절에 2016년도 ICRA(IEEE International Conference on Robotics and Automation)에서 발표한 논문 Robust learning from demonstration using leveraged Gaussian processes and sparse-constrained optimization입니다. 모방학습에 대한 연구인데 당시 학회 전체 최우수 논문상 후보까지 올라간 논문입니다. 사실 그때 2016년도만 하더라도 한국인들이 ICRA라는 학회에 논문을 많이 내던 시절이 아니었습니다. 물론 지금은 엄청 많이 내고 있지만, 제가 로봇학회 처음 갔을 때만 하더라도 한국에서는 서울대에서 한 명 카이스트에서 한 명 정도밖에 논문을 발표한 시절이었는데 그런 학회에 3년 정도 갔을 때 운 좋게도 그 연구 토픽이 학회 최우수 논문상 후보까지 올라가서 저 개인적으로 굉장히 기분이 좋았던 기억이 납니다. 


또 하나는, 제 연구의 어떤 트렌드를 바꾼 가장 대표적 논문으로, 2019년도에 디즈니 리서치에서 첫 번째로 쓴 Towards a Natural Motion Generator: a Pipeline to Control a Humanoid based on Motion 이라는 논문이 있습니다. 이 논문은 로봇 모션 생성, 자연스러운 모션 생성에 대한 연구였고 그 이후로 매년 이 같은 로봇 모션 생성에 대한 논문을 계속 써오고 있습니다. 그래서 그 전 2018년도까지 제가 박사과정 중에는 모방학습에 대한 연구를 계속하다가 2019년도부터 약간의 트렌드를 바꿔서 로봇 모션 생성, 그리고 캐릭터 모션 생성에 대한 연구를 시작하는 계기가 된 논문입니다. 그래서 이 두 가지 논문이 제일 기억에 남는 것 같습니다. 



▶ 교수님께서는 “내가 대학원생 때 알았더라면 좋았을 텐데..!”라고 생각하시는 것이 있다면?


지금 돌아봤을 때 드는 생각은, 그나마 제가 잘 했던 것이 코딩을 한 줄이라도 더 했던 것 같습니다. 그래서 제가 학생들한테도 자주 “논문을 많이 읽고 최신 트렌드를 따라가는 것도 좋지만, 직접 구현해보고 디버깅 해보지 않은 것은 아는 게 아니다”라고 말합니다. 따라서 지금 대학원생들은 코딩을 많이 했으면 좋겠고, 또 기존에 있는 것을 그냥 딥클론에서 돌리지 말고 어느 정도는 스크래치부터 짜보는 연습을 하면 좋겠다라고 말해주고 싶습니다.


두 번째로는 이건 제가 잘 못했던 것 같은데, 사실 모든 대학원생들이 그렇지만 정말 힘들잖아요. 특히나 저도 그랬는데 소위 말하는 사기꾼 신드롬(impostor syndrome)에 많이 시달렸습니다. 지금 돌이켜 보면, ‘운칠기삼 運七技三’이라는 말도 있듯이 “세상에 많은 것들이 운에 달려있다”는 생각을 많이 합니다. “그래서 지금 내 논문이 아주 많이 잘 나오고 있다. 그래서 내가 엄청 잘하고 있어”라고 자만할 필요도 별로 없는 것 같고 마찬가지로 내가 논문이 별로 없다 하더라도 너무 그렇게 좌절할 필요도 없는 것 같습니다. 내가 열심히 하고 있다면 언젠가는 그 길로 가게 되는 것 같고, 물론 시간의 차이가 있겠지만 현재 나오는 성과에 좀 덜 신경 쓰면 어떨까라는 생각을 만약에 제가 했다면 조금 더 대학원 생활이 편했을 것 같습니다.



▶ 학생들을 위한 추천 정보가 있다면 말씀해 주세요


『대학원생 때 알았더라면 좋았을 것들』이 도움이 될 것 같아 이 책을 추천합니다.  



▶ 이 분야에 관심 있는 후배들에게 조언을 부탁드립니다.


제가 평소 저희 학생들에게 하는 말대로 그냥 하면 “일단 조급함을 좀 버려라”입니다. 그럴 수밖에 없는 이유는 우리가 로봇을 움직인다고 하면 사실 아주 많은 걸 알아야 합니다. 예를 들면 코딩도 당연히 할 줄 알아야 하고, 인식기술 perception 그리고 컴퓨터비전도 할 줄 알아야 하고, 학습도 할 줄 알아야 하고, 코딩 OS(operating system)도 알아야 하고, 통신도 알아야 하고, 기구학과 역학도 알아야 하는 등 이런 것을 어느 정도는 다 알고 있어야 합니다. 이 모든 걸 내가 전부 다 잘 할 필요는 없지만 최소한 우리가 하나의 로봇을 만들기 위해서 그리고 이걸 동작하기 위해서는 알아야 하는 기술 스택이 정말 많은 것 같습니다. 그래서 이것들 중에 내가 어떤 것을 메인으로 할지를 빨리 하나 정하는 게 좋습니다.


두 번째로는 내가 어떤 걸 메인으로 정했다 하더라도 나머지 스택들에 대해서도 어느 정도는 알아야 할 것 같습니다. 그렇게 때문에 다른 사람들과의 협업도 정말 중요하고, 그러다보면 시간이 정말 많이 필요한 것도 사실입니다. 절대적인 시간이. 그래서 저도 연구실에 석사과정 학생이 들어오면 로보틱스를 바로 시키지는 않습니다. 왜냐하면 2년 안에 이 학생이 뭔가 제가 원하는 어떤 로봇 공학자로서의 역량을 다 갖출 자신이 없어서 그 학생들에게는 모션이라든가 다른 연구를 권하는 편이고 석/박사 통합을 하는 학생들 같은 경우는 처음 들어와서 논문을 1년 안에 쓸 생각하지 말고 기본기부터 차근차근 밟아가자고 말해주고 있는데요. 다른 누군가가 로봇을 하고 싶다면 이와 비슷한 조언을 해주고 싶습니다. 


저도 대학 진학시 분야를 선택할 때 고민을 많이 하고 전자과로 갔는데, 어쩔 수 없이 기계과 베이스 로보틱스를 알아야 하더라구요. 그래서인지 저희 연구실은 지금 대부분이 기계과 학부 출신들입니다. 차이점이 있다면 제 기준에서는 기계과 학부 학생들이 와서 러닝을 배운다면 컴퓨터공학 백그라운드를 가진 학생들은 연구실에 와서 기구학과 역학을 배우게 되는데 후자가 조금 더 어려운 것 같습니다. 왜냐하면 기구학과 역학을 접근하는 데 있어 컴퓨터공학 베이스 사람들이 더 어려운 경향들을 보이다보니 저는 개인적으로 기계과를 나온 학생들을 조금 더 선호하는 편이기는 합니다.



▶ 앞으로 계획에 대해 말씀해 주세요. 


사실 제가 교수로서 하나의 연구실을 꾸리는 입장에서 크게 갖고 있는 목적은 언젠가는 저희 연구실에서 만들어낸 기술들이 축적돼서 하나의 회사 혹은 여러 개의 회사가 스핀오프가 되면 좋겠다는 바람이 있습니다. 제가 대표가 될 일은 별로 없겠지만 어쨌든 학생들이 뭔가 그럴 만큼의 기술을 만들어내서 세상에 내보일 수 있기를 바라고 있습니다. 그런 다음에 그 기술을 바탕으로 만든 로봇들이 여러 사람들에게 가면 좋겠다는 기대를 품고 있습니다. 


사실 제가 학부 때 군대 대신에 기업으로 가서 청소로봇을 만드는 회사에서 근무했는데, 그때 당시 청소로봇이 출시된 게 아직도 기억이 납니다. 만들어낸 로봇들이 실제 사람들한테 팔리고 저도 이것저것 AS 전화도 받고 직접 방문해서 보고 그랬는데 그러한 일들에 굉장한 짜릿함을 느꼈습니다. 내가 만든 무언가가 실제로 그 사람들 집에 들어가서 어느 정도 도움을 줄 때도 있고 불만족스럽기도 하지만 어쨌든 내가 그냥 논문을 쓰는 것에 그치는 것이 아니라 사람들에게 이롭게 해준다는 것에 대한 큰 보람과 재미를 느껴서 언젠가 또 다시 이러한 것들을 다시 한 번 느껴보고 싶습니다. 



▶ 그 밖에 하시고 싶은 이야기


제가 공부를 하고 대학원을 다니고 소위 말하는 이런 커리어 스펙을 쌓아왔던 그 길은, 사실 학부생들이나 대학원생들이 봤을 때는 안 맞을 수 있을 것 같다는 생각도 듭니다. 세상이 너무나도 빨리 변하고 있기 때문에. 그래서 굳이 마지막으로 하고 싶은 말은 저 같은 사람들이 하는 말은 그냥 참고만 하시고,  그보다는 여러분들이 열심히 잘 하셔서 언젠가 학회 같은 데서 뵙고 이렇게 로보틱스 얘기를 나누는 날이 오면 좋겠습니다. 


연구자 정보 >>

서울시 동작구 흑석로 84 중앙대학교 전자정보연구정보센터 (우편번호 06974)

전화 : 02-823-5081 E-mail : webmaster@eiric.or.kr

  • 유튜브
  • 인스타
  • 페이스북
  • 트위터
  • 카카오톡