닫기
Loading..

전자정보연구정보센터 ICT 융합 전문연구정보의 집대성

라이징스타

홈 홈 > 포커스iN > 라이징스타

국내외의 ICTㆍ융합 분야의 우수 연구자를 선별하여 소개합니다.
연구자의 연구 경험담 및 관련 분야 동향까지 연구활동에 대한 전반적인 내용을 인터뷰하여 정리하였습니다.

  • 조민수
  • POSTECH 컴퓨터공학과 / AI 대학원
  • minsmscho@postech.ac.kr

트위터 공유

페이스북 공유



▶ 교수님 소개 부탁드립니다. (약력, 경력사항 등)


   저는 POSTECH 컴퓨터공학인공지능대학원 소속으로 컴퓨터비전 Lab을 이끌고 있는 조민수라고 합니다. POSTECH에는 2016년도에 부임했으며, 그 전까지는 프랑스 INRIA(French Institute for Research in Computer Science and Automation, 국립 컴퓨터 과학 및 자동화 연구소)와 파리 고등사범학교(Ecole normale superieure de Paris)에서 연구원으로 일했습니다.  



▶ 주요 연구 분야 소개 및 동향에 대해 말씀 부탁드립니다.


   저는 컴퓨터비전 분야를 연구하고 있습니다. 비전은 시각을 의미하는 것으로, 시각적 정보이해하기 위한 컴퓨터과학의 한 분야입니다. 구체적으로는 예로는 카메라의 얼굴 인식과 같은 물체 인식영상들 간의 관계를 정합하는 연구, 3차원 복원 관련 연구들이 있습니다. 요즘 VR이나 AR 관련 기술을 보면 가상 물체를 놓고 움직이는 기술이 시연되곤 하는데, 이렇게 하기 위해서는 주변 환경을 3차원으로 복원하고 인식해야 합니다. 이러한 기반 기술들이 주로 연구되는 분야가 제 연구 분야라고 생각하시면 됩니다. 그 중에서도 저는 의미론적 영상정합 관련 연구그래프 정합 및 인식 연구를 많이 해 왔으며, 최근에는 물체 인식 문제, 비디오 동작 인식 문제들을 주로 연구하고 있습니다. 이러한 분야의 문제를 해결하기 위해서는 다양한 학습 방법들을 도입하게 되는데, 대체로 Supervised Learning 기법이 사용되곤 합니다. 저는 가능하면 Supervision 없이 즉, 감독적인 방법을 사용하지 않고 학습하며 문제를 풀어낼 수 있는 방법론적인 측면 또한 많이 연구하고 있습니다. 그리고 관련된 신경망 기반의 구조들에 대한 연구들도 진행하고 있습니다. 


   최근 동향에 대해 간략히 말씀드리겠습니다. 인공지능에 관심이 많은 분이라면 딥러닝에 대해 들어보셨을 것입니다. 실제로 딥러닝에 가장 많은 변화를 일으키게 해 준 분야가 비전 분야입니다. 비전 분야는 딥러닝이 가장 많이 활용되면서 또 연구되고 있는 분야로, 2010년도부터 연구 분야의 방법론적인 측면에 많은 변화가 일어났습니다. 그 전까지는 고전적인 기법들로 연구됐던 문제들이 2010년을 기점으로 딥러닝 기반의 기법들, 신경망 기반의 기법들로 많은 부분 대체되고 있습니다. 내용적인 측면에서는, 첫 번째로, 고전적인 연구주제와 아이디어를 신경망 기반의 방법론으로 재해석해서 발전시키고 있는 가장 큰 흐름이 아닐까 합니다. 두 번째로는, 새로운 컴퓨터비전 문제들에 대한 탐구가 진행되고 있습니다. 신경망 기반의 기법들로 바뀌면서 생겨난 가장 큰 변화는, 신경망의 깊은 레이어(layer)들을 end-to-end로 학습하여 성능을 높이는 학습 방법론이라 할 수 있을 듯 합니다. 이전에 우리가 사용했던 특징들, 예를 들어 이미지에 쓰이는 특징들은 대체로 단인 계층을 사용한 특징이었는데, 이제는 계층화된 특징들을 추출할 수 있는 기반이 만들어졌기 때문에 학습된 여러 층들을 실제 문제 해결에 활용하고 이를 통해 어떻게 더 어렵고 새로운 문제를 해결할 수 있는지에 대한 연구들이 탐구되고 있는 것입니다. 마지막으로, 더욱 현실적이고 실제적인 상황들을 다루는 방향입니다. 그 당시에 잘 풀렸다고 생각한 비전 문제들을 돌이켜보면, 상황이 바뀌었을 때 연구해왔던 내용에 제대로 적용하지 않은 부분들이 많았습니다. 신경망 기반 기법들이 발전하면서 이러한 부분들이 많이 해소되었기 때문에, 예전에 풀었던 문제들을 조금 더 현실적인 문제로 바꿔서 더 도전적인 환경에서 문제를 풀어내는 식의 연구 방향이 이 세 번째 흐름이라 이야기할 수 있을 것 같습니다. 



▶ 포스텍 교수로 임용되시기 전, 해외의 우수 AI 연구소로 알려진 프랑스 INRIA에서 연구활동을 하셨습니다. 특별히 느끼신 점이 있다면 말씀해 주세요.


   제가 박사 때는 그래프 기반의 정합 기법들을 주로 연구했는데, 공교롭게도 제가 좋아하는 연구자분들이 INRIA에 많이 계셨습니다. 그래서 학회를 통해 연락하여 INRIA에 가게 됐습니다. 


   첫 번째로 느낀 점은 한국과는 정말 다르다는 것입니다. 프랑스라는 나라 자체가 굉장히 달랐습니다. 프랑스는 불어를 사용하기에 실생활에서 의사소통할 때 다소 어려움이 있었습니다. 연구소 내에서는 모두 영어를 사용하기에 별 문제가 없었지만, 문화적으로 여러 차이가 있었습니다. 이런 경험 자체가 제게는 새로운 자극적이어서 한편으로는 많은 생각을 하게 되는 시기였습니다. 연구적인 측면으로 국한하여 말씀드리면 연구자들의 태도가 우리나라와 달랐습니다. 먼저 INRIA에 계시는 분들은 한국 사람들에 비해서 별로 생계 걱정을 크게 하지 않는 편으로 느꼈습니다. 이 분들은 공무원이기에 한국에 있는 연구자들과 회사원들에 비해 월급이 상대적으로 매우 적은 편인데도 불구하고 말이죠. 연구를 하며 사시는 이유는 순수한 학문에 대한 열정이 매우 강해서라고 느꼈습니다. 저도 나름 순수하다고 생각했지만 이 분들에게 비할 바가 아니었습니다. 정말 연구를 좋아해서 한다는 것이 느껴졌고, 이 부분이 제일 인상적이었습니다. 예를 들어, 보통 저희는 연구한다고 하면 전망이 좋고 더 안정적인 직장을 생각하게 되는데, 이 분들은 그렇지 않습니다. 아마 프랑스 자체의 복지제도가 좋다 보니 무엇을 하든지 안정적이어서, 이런 성향을 더 쉽게 가질 수 있는 것 같기도 합니다. 어쨌든, 연구에 대한 열정이 대단히 높다는 것이 정말 인상적이었고, 그만큼 탁월한 분들도 많았습니다.


   그리고 연구실의 자유로운 분위기가 인상적이었습니다. 저도 한국에서 자유로운 분위기의 연구실에서 연구했지만, INRIA는 국민성 자체때문인지 위계도 거의 없고 정말 자유로운 편이었습니다. 그리고 본인이 연구하는 분야에 대해 호불호가 명확한 사람들을 많이 만났던 것 같습니다. 한국 사람들은 조심스럽게 이야기하는 편인데 제가 있던 연구소에서는 본인이 좋아하는 연구에 대한 성향이 뚜렷하고 거침없이 이야기하는 편이었습니다. 그래서, 토론을 하다 보면 배우는 것이 많았다는 것도 좋은 경험 중의 하나입니다. 


   한편 연구 외적으로는, 삶에서 건축이 정말 중요하다는 것을 느꼈습니다. 워낙 건축물 자체가 예쁜 도시여서 식사할 때 왜 굳이 테라스에 앉아야 하는 이유를 알게 됐죠. 사람들도 여유로웠으며, 다양한 인종들이 융합을 이루고 살아가는 모습이 도시 문화뿐만 아니라 연구소 내에서도 스며드는 것 같아 매우 인상적이었고 좋은 경험이었습니다.



▶ 컴퓨터비전 분야에서 가장 영향력 있는 국제학술대회 ‘CVPR 2020’ 논문선정위원으로 활동하셨습니다. 가장 인상 깊은 논문이 있다면?


   저는 CVPR이나 ICCV에서 Area Chair라고 하는 논문선정위원으로 매년 활동하고 있습니다. 논문선정위원으로서 제가 다룰 수 있는 논문의 수는 정해져 있습니다. 매년 학회마다 다르지만 대략 30~40편 정도죠. 사실 이때 누릴 수 있는 장점은 좋은 논문을 보는 것보다, 좋은 리뷰를 보게 된다는 것입니다. 저희는 논문과 리뷰를 기반으로 판단하게 되는데, 논문선정위원을 하면서 매년 ‘리뷰라고 하는 것은 이렇게 써야 하는 거구나.’를 느끼고 좋은 리뷰어에 대한 강한 인상을 받습니다. 


   제 개인적으로 인상적이었던 논문을 꼽는다면 CVPR 2020에서 Best Paper로 선정된 『Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild』입니다. 옥스퍼드 그룹에서 발표한 3D Reconstruction 즉, single view에서 3D Reconstruction 하는 연구로, 데모도 있으니 한번 보시면 좋을 것 같습니다. 보통 3D Reconstruction 하기 위해서는 같은 물체를 다양한 view에서 촬영한 이미지들이 많이 필요합니다. 그런데, 해당 연구는 단지 같은 class에 해당하는 다양한 물체영상들로부터 학습을 통해 물체들의 3차원의 모습을 복원해내는 연구였습니다. 핵심 아이디어는 대칭을 기반으로 해서 우리가 보는 물체가 ‘대칭성을 가지고 있을 것이다.’라는 가정을 가지고 이를 활용하여 물체를 복원하는 연구인데 대단히 인상적이었고 특히 저처럼 의미론적 정합 문제에 많은 관심을 갖고 있는 사람들한테는 더욱 인상적이었을 것 같습니다. 기회가 되면 한번 보시면 좋을 것 같습니다.



▶ 전 세계적으로 AI 연구가 활발하게 이루어지고 있습니다. AI의 핵심기술이며, ‘눈’으로 정의되고 있는 컴퓨터비전 분야의 우리나라 현황과 연구 전망에 대한 교수님의 소견을 말씀해 주세요.


   제가 한국의 비전 분야를 평가할 정도의 입장은 아닌 것 같습니다만, 제 의견을 말씀드리면 한국은 컴퓨터비전 분야에 있어서 자부심을 가져도 되는 수준이라고 생각합니다. AI가 여러 분야로 나뉘어 있지만, 그 중에서도 비전 분야가 가장 잘해오고 있다고 생각합니다. 학회에 가보시면 참석자, 발표하는 논문과 연구만 봐도 한국인의 비율이 꽤 높습니다. 인구에 비하면 한국은 정말 잘 하는 나라로, 아시아권에서 중국 다음으로 강력한 연구 능력을 갖고 있습니다. 세계적으로 보면 제 생각에 한국은 분명 5위권 안에 들 것입니다. 물론 여러 가지 요인들에 따라 순위를 다르게 볼 수 있겠지만, 비전 분야에 있어서 꽤 많은 지분을 차지하고 있는 나라임을 확실합니다. 연구의 질적인 측면을 고려해봤을 때 아직은 가야 할 길이 멀기는 하지만, 우리나라의 비전 기술이 굉장히 우수한 편이어서 앞으로도 전망이 밝다고 봅니다. 


   특히 요즘 전문 연구자들을 보면 제 세대보다 잘 하시는 분들이 많습니다. 제가 처음 CVPR에 참석했을 때가 2007년도였는데, 논문 발표하시는 한국 분들이 대부분 해외에서 유학하시는 분들이었고, 현재와 비교하면 상대적으로 무척 적었습니다. 요즘에는 한국인 연구자들이 좋은 논문으로 발표도 많이 하시고, 물론 학회 규모가 커진 영향도 있습니다만 다 함께 모일 수 없을 정도로 그 수도 많아져서 ‘이렇게 계속 발전해 나간다면 더 좋아지지 않을까.’라는 생각이 듭니다. 더불어 현재 어느 정도 수준에 도달했기 때문에 실적을 좇는 연구를 한다거나 논문 수를 따지는 것이 아니라, ‘근본적이면서 새로운 길을 개척할 수 있는 연구에 집중해야 하지 않을까.’라는 생각도 합니다. 저도 이런 연구를 하고 싶고 많은 동료나 후배 연구자들도 그렇게 느끼고 있을꺼라 생각합니다. 



▶ 교수님에게 영향을 미친 인물 또는 귀감으로 삼으시는 연구자가 있다면?


   귀감으로 삼고 있는 연구자라면, 박사 지도교수님이신 서울대학교 이경무 교수님과 포닥 시절 저를 지도해주신 Jean Ponce 교수님입니다. 저는 박사과정 동안 제 지도교수님의 영향을 많이 받은 것 같습니다. 돌이켜보면 제가 생각하는 방식 자체가 지도교수님으로부터 받은 영향이 컸고, 대부분 저에게 중요한 가르침이었습니다. 예를 들면, 교수님께서는 항상 저희에게 “연구가 즐겁지 않니?”라고 물어보셨는데, 당시에는 ‘진심인가?’라고 생각했지만, 돌이켜보면 항상 진심이셨고, 또 즐기면서 연구하셨기에 더욱 잘 할 수 있었지 않았나 싶습니다. 따라서 연구자가 어떤 삶의 태도를 가져야 하는지에 대해 많이 배울 수 있었습니다. 


   Jean Ponce 교수님에게서는 다른 측면에서 많은 가르침을 받았습니다. 프랑스인들에게서 배울 수 있는 자유롭고 솔직한 논쟁적 태도 그리고 앞에서 말씀드린 것처럼 유럽 사람들의 뚜렷한 연구 철학과, 연구가 정말 좋아서 하는 마음가짐을 배울 수 있었는데, Jean Ponce 교수님이 바로 그러한 분이었습니다. ‘연구를 업(業)으로 삼는다는 게 이런 거구나.’를 가까이에서 느낄 수 있었습니다. 또 이 분이 대단히 천재적이라는 것을 많이 느꼈는데, 이슈가 나오면 핵심을 파악하는 탁월한 능력과 그것을 끝까지 파고드는 끈질긴 연구자의 자세를 가까이 볼 수 있었습니다. 이런 부분에 대해서도 많은 것을 배울 수 있었습니다. 


   더불어 당연하겠지만 저희 세대의 비전 분야 스타 연구자들을 좋아합니다. 고전적인 책이지만 비전 분야의 초기 연구자였던 David Marr『Vision』이라는 책이 제게는 많은 영향을 주었습니다. 제가 연구를 시작했을 무렵의 스타 연구자들 중 Oxford 그룹Andrew Zisserman, 그리고 INRIA에서 같이 연구한 연구자 Cordelia Schmid도 굉장히 우수한 분들입니다. 당시 저는 정합 연구를 많이 했는데, Schmid 교수님은 예전 정합 연구의 기반이었던 local feature invariance를 주로 연구하신 분이셨기에 많은 영향을 받았었는데, 실제로 공동연구를 진행하게 되어 제게는 정말 좋은 경험이었습니다. Matching kernel 분야를 연구하신 분들에게도 많은 영향을 받았는데, Jean Ponce 교수님이 이런 분 중에 한 분입니다. 또 연구 생활을 하면서 만난 사람들 중 인상적이었던 분은, CMU(Carnegie Mellon University)에 있다가 현재 Berkeley로 옮기신 Alexei A. Efros 교수입니다. 이분은 많은 분들이 알고 계실 Cycle-GAN을 만드신 분이기도 하죠. 인식 관련 연구도 많이 하셔서 이분과 이야기하면서 받은 영향도 꽤 컸습니다. 

 


▶ 본인을 표현하고자 하는 키워드를 꼽는다면? 


   제 연구 테마가 정합 관련된 연구이고, 따라서 ‘정합’과 ‘관계’를 키워드로 꼽고 싶습니다. 제가 정합 관련 연구에 관심을 갖게 된 이유는 개인적으로 물체들 간에 관계를 파악하는 것이 지식 추출의 중요한 key라고 생각하기 때문입니다. 지식은 단순하게 특정한 개체의 특징을 추출하는 것이 아니라 다른 관계망을 통해 그 특징을 파악하는 것이기 때문에 실제 컴퓨터가 이런 관계망을 파악할 수 있는 능력을 가질 수 있도록 하는 것이 지식을 습득하고 이해하는 것에 있어서 가장 중요한 요인이라 할 수 있습니다. 이런 관점에서 보면, 정합이라는 것이 컴퓨터비전에서 핵심적인 역할을 하는 연구 주제라 할 수 있습니다. 개체들 간에 대인관계를 만들어 파악하고 이를 통해 실제 학습을 해낼 수 있는 능력을 컴퓨터가 가지는 것이 중요하다고 보기 때문에 제가 연구하는 테마의 중심에는 항상 correspondence matching, relation과 같은 키워드가 있습니다. 



▶ 이 분야로 진출하려는 후배들에게 도움이 될 만한 조언 부탁드립니다.


   전공 분야 공부를 열심히 하고, 이론과 실제의 균형을 추구해야 한다고 말해주고 싶습니다. 사람마다 성향이 달라 이론적인 부분만 좋아하는 사람 그리고 실질적인 부분만 좋아하는 사람들이 있습니다만, 좋은 연구를 하기 위해서는 두 가지 모두 균형을 이루고 있어야 합니다. 본인이 이론적인 것에 치우쳐져 있는지, 아니면 실질적인 것만 따지고 있는 것은 아닌지를 돌이켜 생각해보고 이 둘의 균형을 맞추기 위해 노력하는 것이 좋은 연구를 하기 위한 자세인 것 같습니다. 물론 저도 이를 위해 노력하고 있습니다. 따라서 공부를 시작한 학생들이라면 이 두 가지의 균형을 맞추기 위한 노력이 필요합니다. 


   그리고 가장 기본적인 도구가 되는 수학 공부를 열심히 해야 합니다. 우리 생각을 형식화하는 것이 연구의 가장 핵심적인 부분이기 때문에 수학 공부를 열심히 해야 하고 또 잘 해야 한다고 생각합니다. 


   철학 공부도 중요한 것 같습니다. 우리가 하고 있는 생각과 연구 방향을 결정하는 게 어떻게 보면 high-level 연구자들의 철학을 따라가고 있는데, 뛰어난 연구자가 되려면 사실 이런 새로운 개념들을 만들고 방향을 설정할 수 있어야 합니다. 이런 면에서 보면, 연구를 할 때도 너무 기술적인 부분에 매몰되지 않고 거리를 두고 생각하고 사색할 수 있는 능력이 중요합니다. 따라서 철학을 공부하고 철학책을 읽는 것이 기본적인 소양을 함양하는 데 있어 연구자들이 해야 할 일 중 하나라고 봅니다. 저는 학생때부터 과학철학을 좋아했습니다. 제일 좋아했던 분은 Michael Polanyi로 물리화학 분야의 유명한 과학자이기도 하면서 후반기에는 과학철학을 연구한 분입니다. 우리나라에 이 분이 쓰신 책의 번역본이 별로 없는 것으로 알고 있습니다만, 운이 좋아서 대학원 때 『Personal Knowledge(인격적 지식)』라는 책의 원전을 읽는 강독 수업을 들은 적이 있습니다. 이 책은 제가 연구할 때뿐만 아니라 제 삶의 인생관에 많은 영향을 주었습니다. 가벼운 책이 아니라서 쉽게 추천할 수는 없지만, 기회가 된다면 Michael Polanyi『Personal Knowledge』를 읽어보시기를 권해드립니다.  


   한편 정서적으로 방황할 때 도움이 된 책은 여러분들도 많이 읽어보셨을 Rilke『젊은 시인에게 보내는 편지』입니다. 책에서 Rilke가 시인 지망생에게 쓰는 편지를 통해 고민에 빠져 있는 후배들에게 보내는 조언을 들을 수 있는데, ‘내가 이것을 연구하고 있는 게 맞나?’ ‘내가 이렇게 사는 게 맞나?’라는 생각이 들 때 읽어보시면 멘탈 관리에 도움이 되지 않을까 싶습니다. 



▶ 앞으로 계획이 있으시다면 말씀해 주세요.


   재미있는 연구를 하고 싶다는 것이 저의 연구 계획입니다. 물론 지금도 재미있지만, 더 재미있는 연구를 하고 싶습니다. 제가 주로 연구하는 게 정합 관련된 것이고 또 컴퓨터 스스로 감독적인 지식 없이 학습할 수 있는 방법에 대한 연구를 하고 있다고 말씀드렸는데, 앞으로 연구하여 성취하고 싶은 것이 있다면 ‘과연 그 극한이 어디인가? Supervision 어디까지 관계망으로 환원이 가능하며 핵심적인 Supervision은 무엇인지, 핵심적인 사전지식과 데이터는 어떤 것인지, 이러한 것을 어떻게 확인하며 형식화할 수 있을지를 제대로 알아낼 수 있으면 좋겠다.’라는 꿈이 있습니다. 어느 부분까지 가능할지는 잘 모르겠지만, 가능하다면 실질적인 문제에 있어서 인간 수준의 관계 파악 능력을 지닌 인공지능을 만들어보고 싶습니다. 



▶ 그 밖에 하시고 싶은 이야기


   POSTECH에 지원하라고 말씀드리고 싶네요. 요즘에는 많은 학생들이 서울권이나 서울 근처에 있기를 바라는 것 같습니다. 물론 서울권의 장점이 있습니다만 그만큼 단점도 있기 때문에, 연구 차원에서 보면 포항에 와 있는 것이 더 좋다고 생각합니다. 개인적으로 포항에서 생활하는 것이 마음에 들고 학생들도 잘 적응한다면 충분히 즐기면서 연구할 수 있는 좋은 환경입니다.
   POSTECH은 탁월한 연구환경과 생활환경을 갖추고 있고, 좋은 교수님과 연구진이 있는 학교이므로 많이 지원해주시면 좋겠습니다. 그리고, 제 지론은 “사람은 바닷가에 살아야 한다.”입니다. 특히 바다 좋아하시는 분들은 POSTECH으로 오셔야 합니다.


관련 홈페이지 >>

연구자 정보 >>


EIRIC 세미나 >>

2020년 9월