닫기
Loading..

Please wait....

라이징스타

홈 홈 > 포커스iN > 라이징스타

국내외의 ICTㆍ융합 분야의 우수 연구자를 선별하여 소개합니다.
연구자의 연구 경험담 및 관련 분야 동향까지 연구활동에 대한 전반적인 내용을 인터뷰하여 정리하였습니다.

  • 오태현
  • MIT CSAIL(Computer Science & Artificial Intelligence Lab)
  • taehyun@csail.mit.edu

1. 간략한 소개 부탁드립니다.

MIT CSAIL, Graphics group의 Computational Fabrication Lab(PI: Wojciech Matusik)에서 박사후과정 연구원(Postdoctoral Associate)으로 기계 인지 및 지각 능력(Machine cognition & perception understanding)과 그 응용들을 연구 중이고, 2020년 봄 학기부터 포항공과대학교 전자전기공학부에 조교수로 부임하기로 하였습니다. 그전까지 페이스북 인공지능연구소 (Facebook AI Research, FAIR)에 방문 연구원으로 자리를 옮겨 연구하게 되었습니다.
연구실에 대한 소개를 드리면, MIT의 Computational Fabrication Lab은 4차 산업 시대의 3D 프린터를 비롯한 차세대 제조 및 제품 디자인 방식을 제시함으로써, 고전 제조 시대를 탈피하고 새 패러다임을 제시하는 연구를 하는 것을 목표로 연구하고 있습니다. 이를 위해 인공지능 기술과 기계의 인지 및 지각 능력에 관한 연구를 하고 있습니다. 페이스북 연구소에서도 비디오 내용 이해를 위한 기계 인지 및 지각 능력 연구를 진행하고 있습니다.

저는 2006년에 광운대학교 컴퓨터공학과 입학하여, 2010년 수석 졸업을 하였습니다. 로봇의 시각 능력을 연구하는 KAIST 전기및전자공학과의 로봇 및 컴퓨터 비전 연구실에서 석사(2012년 가을)와 박사(2017년 가을)를 학위를 받았습니다.
석/박사 학위 중, 많은 동료들과 교수님들의 도움으로 다양한 경험을 할 수 있었습니다. 박사 학위 중에 Microsoft Research 중국 Beijing 지부와 미국 Redmond 본사에서 각각 9개월과 3개월간 연구 인턴 경험을 했고, 이때 달성한 성과들로 Microsoft Research Asia Ph.D. Fellowship (전 아시아 박사과정 후보자들 중 13명 중 한 명으로 수상), KAIST 전기및전자과 최우수연구실적상, 삼성휴먼테크 논문상 금상 (1714명의 후보 중 신호처리 분과 1위), 현대자동차 Global Top Talent Forum 최우수연구실적상 등과 기타 우수 논문상들의 명예를 받을 수 있었습니다. 2018년에는 컴퓨터 비전 및 인공지능 최고학회 중 하나인 European Conference on Computer Vision (ECCV)에서 Top 2%만 선발되는 발표논문(Oral paper)으로 선정되어, 3000여명의 앞에서 연구를 발표했었고, ACM SIGGRAPH 연구는 영국 BBC채널을 비롯한 17개의 해외 뉴스 채널에서 보도되었습니다.

학계활동으로는 2012년부터 첫 논문을 시작으로, CVPR, ICCV, ECCV, NIPS, ACM SIGGRAPH, AAAI, IROS, IEEE Trans. on Pattern Analysis and Machine Intelligence (TPAMI) 등의 (각 분야에서 Google scholar 기준 각 분야 Top 학회 및 학술지) 컴퓨터 비전, 인공지능, 그래픽스, 로보틱스 등 다양한 분야의 탑 학회 및 학술지에 연구를 꾸준히 발표/게재하며 활동하고 있습니다.
 

 [Microsoft Research 중국 베이징 인턴 시, 동료 중국인 인턴들]



[KAIST 전기및전자공학과 최우수연구실적상 수상]

 

[삼성 휴먼테크 논문상 Signal Processing분과 금상 수상]

 

 

2. 관심 분야 소개 및 동향, 전망을 설명해주세요.

지능적인 기계(또는 인공지능)를 달성하기 위해 꼭 필요한 전 단계인 기계의 지각 능력(Machine perception understanding)을 개발 연구하고 있습니다. 기계의 지각 능력에 대한 이해와 개발은 궁극적으로 지능적인 기계를 만들기 위해 꼭 필요합니다. 사람은 물리 세계와 오감을 통해 상호작용하며 세상을 이해하고 학습합니다. 마찬가지로, 기계도 물리 세계와 상호작용할 수 있는 수단으로서의 지각 능력 개발이 궁극적인 인공지능의 발전으로 이어지기 위한 첫 단추인 셈입니다. 사람과 기계의 지각 능력에서의 공통점과 차이를 분석 이해함으로써, 사람이 할 수 없는 부분을 메워주고 보조하는 기술들을 개발하거나, 반대로 사람의 행위로부터 기계의 지각 능력과의 유사성을 통해 기계 지각 능력의 한계를 파악하고 발전시킬 수 있습니다.
 더 나아가 사람이 이런 인공지능의 혜택을 받기 위해서는 사람과 인공지능 간의 상호 작용이 필수입니다. 따라서 같은 레벨에서의 상호작용을 위해, 사람의 지각 능력의 이해와 모방이 사람 중심의 인공지능을 위해 더욱 중요한 연구라고 믿고 있습니다.

 그 중 조금 더 세부적으로, 시각 지각능력 (Visual perception) 및 3차원 지각능력 (3D perception), 그리고 소리와 시각 또는 음성과 얼굴 등 두 가지 이상의 지각 능력이 융합된 다중 모달 지각능력 (Multi-modal perception)과 사회적 지각능력 (Social perception)에 관련된 연구를 집중적으로 하고 있습니다.

시각 지각 능력의 최근 대표적인 연구로는 컴퓨터비전 및 인공지능 최고 학회 중 하나인 ECCV’18에 발표된 연구로, 사람 눈에 보이지 않을 만큼 작은 비디오 내의 움직임을 고화질을 유지하며 눈에 띄게 크게 증폭시키는 인공신경망을 제안한 연구입니다. 본 방법론을 통해, 사람의 두상 영상 비디오만으로 심장박동을 비접촉 방식으로 측정할 수 있으며, 엔진 등의 기계 진동 분석, 건축 구조물의 공진 주파수 분석 등에 응용될 수 있습니다. (관련 영상: https://youtu.be/GrMLeEcSNzY) 본 연구 내용은 구두 발표 논문 (Oral paper, 2%의 acceptance rate)로 선정되어, 3000여명의 연구자들 앞에서 발표되었습니다.
 

 

[ECCV’18 구두 발표]
 

또 다중 모달 지각능력의 대표적인 연구로 컴퓨터비전 및 인공지능 최고 학회 중 하나인 CVPR’19과 ACCV’18에 발표된 논문을 언급하고 싶습니다. 라디오나 전화 통화 너머에 있는 상대방의 음성을 듣고 상대방의 얼굴이 어떻게 생겼을지 유추하려 하신 적이 있으신가요? 그리고 이게 가능한 것일까 궁금해 해보신 적 있으신가요? 본 연구에서는 기계학습을 이용하여 주어진 음성으로부터 상대방의 얼굴을 상상해내는 인공신경망을 제안하였습니다. 이를 통해, 과학자들이 특정한 목소리 발성구조의 특징 외에도, 어떤 얼굴 정보를 목소리로부터 유추할 수 있을지, 그리고 인공지능은 어느 정도로 잘 유추 할 수 있을지를 연구한 논문입니다.
 


[CVPR’19 논문 일러스트]




3. 연구활동을 하시면서 느끼신 점이 있다면?

제가 처음 국제 학회에 참석했던 2011년에 비교하면, 국제 학회의 규모가 커진 만큼 한국 사람들의 국제 사회 진출이 많아져 한국인으로서 자부심을 느끼고 있습니다. 더욱이 학계에서의 세계 간의 장벽이 낮아지는 가운데, 최근 인공지능과 기계학습 등의 발전으로 학제간의 경계마저 허물어져 가고, 경쟁 회사들 간에도 협업이 이루어지는 등 많은 장벽이 무너지고 벽을 뛰어넘고 있는 것 같습니다.

이러한 Crossover의 시대에 오픈되고 포용적인 Attitude가 더욱 필요해지는 것이 느껴집니다. 빨라지는 트랜드의 발전에 맞춰, 저희 세대 연구자들이 주도적으로 연구 문화의 개선과 발전에 조금씩  주인의식을 가지고 참여한다면, 한국의 세계에서의 입지를 단단히 할 수 있지 않을까 생각해봅니다.

그 첫걸음으로, 폐쇄된 연구 환경 보다는 건설적인 협업이 격려되는 환경을 지향하는 것은 어떨까요. 혼자서 할 수 있는 연구를 뛰어넘어, 더 큰 가치의 연구를 하나 되어 할 수 있는 환경을 지향하고, 협업에 따른 성과의 평가 방법의 변화와 협업 문화 및 인식에 대해 한 번쯤 더 생각하는 기회를 가져봤으면 합니다.

석/박사과정의 짧은 기간만 보더라도 현격한 발전이 있었으나, 아직 많은 시스템의 변화가 필요한 것도 사실입니다. 일례로 한국의 경우, 아직도 많은 부분에서 저널(학술지) 위주의 성과 평가로 인해, 학회 논문은 제대로 된 성과로 인정받지 못하는 시스템이 남아있는 경우들이 있습니다. 학회 위주로 운영되는 인공지능/기계학습 분야 속에서, 이런 평가 시스템으로 인정받으며 동시에 글로벌 학계의 레벨을 맞추기에는 부담이 두 배 이상이 됩니다. 




4. 본인에게 영향을 미친 다른 연구자나 논문이 있다면?

우선 석/박사학위 지도 교수님이신 KAIST의 권인소 교수님께 박사과정 여정의 스토리 라인을 설정하는 법 등 전반적인 연구의 방법에 가장 영향을 받았고, KAIST 신진우 교수님의 강한 이론 배경하에 수업과 세미나, 토론 등을 통해 이론의 매력을, Tencent에 Research director로 계신 Yu-Wing Tai 교수님께는 논문을 쓰는 방법을, 현재 오사카 대학의 Yasuyuki Matsushita 교수님과 UC Merced의 Ming-Hsuan Yang 교수님께는 롤 모델로서 박사과정을 성공적으로 하기 위한 조언들을 받을 귀중한 기회들이 있었기에 지금의 제가 있을 수 있었습니다. 박사 후 과정 동안의 지도 교수님인 MIT의 Wojciech Matusik교수님은 기업과 학계 사이에 고민을 하던 저에게 후학을 양성하는 일이 얼마나 중요한 일인지를 계속 강조하시며 지금의 길을 인도해주셨습니다. 윗분들에게 너무나도 과분하고 감사한 마음입니다.

가장 기억에 남는 논문으로는 석사 때, 우연히 마주쳐 저의 석사/박사 학위 논문의 주제에 지대한 영향을 미쳤던 다음 논문을 들고 싶습니다. 전통적으로 비지도 학습법의 대표 방법인 주성분분석법(PCA)의 발전된 방법으로 근본적이고 중요한 연구주제라 생각되어 매력을 느꼈습니다. 쉬운 응용 논문만을 봐오던 석사 시절에 만난 어려운 논문이었기에 장벽을 뛰어넘기 위해 이론 공부를 시작한 계기가 되는 논문이었습니다.
E. J. Candes, X. Li, Y. Ma, and J. Wright, "Robust Principal Component Analysis?," Journal of the ACM, 2011.

다음의 논문도 기억에 남습니다. Randomized algorithm의 매력을 너무나도 체계적으로 쉽게 정리해주어 많은 도움을 받을 수 있었습니다.
N. Halko, P.-G. Martinsson, and J. A. Tropp, "Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions," SIAM review, 2011.

 

 

5. 이 분야로 진학하려는 후배들(또는 유학 준비생)에게 도움이 되는 조언이 있다면?

인공지능 분야에 관심과 인기가 많아진 만큼, 많은 연구자가 몰렸으며, 툴 들의 발전과 공유 문화의 발전으로  진입 문턱이 무척이나 낮아진 것이 사실입니다. 이러한 분위기로 인해, 인공지능 및 기계학습 분야를 공부를 시작하려는 분들에게 지대한 영향을 끼치는 여러 가지 폐해가 발생하고 있습니다.

첫째로, 인공지능 및 기계학습 분야에 진입하기 위해 마치 수학이나 배경지식이 없이도 누구나 전문가가 될 수 있다. 또는 몇 개월이면 전문가가 될 수 있다는 등 자극적인 선동들이 난무하고 있습니다. 이러한 선동에 휩쓸려 기본기 없이 편의 위주의 지름길만을 찾으려는 분들을 주변에서 흔히 접할 수 있습니다. 실제로 인공지능 Framework들이 매우 좋아져 누구나 쉽게 진입할 수 있게 된 것이 사실입니다. 그러므로 경쟁력 있는 리서쳐가 되고 싶으신 분들은 인스턴트식으로 얻는 스킬보다는 탄탄한 기본기를 갖추기를 조언하고 싶습니다. 물리 세계의 이해를 수학으로 표현함으로써 설계하는 능력(수학적 사고)과 무엇이 중요한 문제이고 어떻게 접근해야 하는지 정의 및 설계하는 능력(문제 해결 능력)을 꾸준히 기르는 것이 유행과 운에 상관없이 강인한 연구자가 되는 길이 아닐까 생각합니다.

둘째로, 발전이 너무 빠르게 가속되어, 일주일 단위로 좋은 논문들이 무료로 공개되고, 심지어 최신 학회에서 이미 일 년 전에 온라인에 공개되어 유명세를 떨쳤던 지난 연구가 발표되는 등, 3개월 정도만 지난 논문도 구 연구가 되어 버리는 기현상이 발생하고 있습니다. 이렇게 빨리 바뀌는 연구 문화 패러다임 속에서, 항상 경쟁의 스트레스가 큽니다. 이러한 경쟁 속에서 개인적으로 남들이 하는 트렌디한 연구보다는, 나만의 연구 그러나 사람들이 관심을 가지며 통찰력을 제공할 수 있는 연구를 함으로써 새로운 주제/분야를 개척하는 방향으로 연구를 진행하려고 노력하고 있습니다. 이렇게 하면, 빠르게 발전하는 학계의 분위기 속에서도, 과열된 경쟁을 피하고 소신 있게 퀄리티 있는 연구를 할 수 있다고 믿습니다.

인공지능/기계학습 분야를 포함에 일반적인 연구분야에 막 발을 내디딘 후배분들이 저와 같은 시행착오를 거치며 시간을 낭비하지 않고 빠르게 자리를 잡았으면 하는 바람에, 다음과 같이 몇 가지 개인적으로 중요하다고 생각했던 마음가짐 들을 열거하고 싶습니다.

- Self-motivation: 저는 자기 동기를 첫 번째로 꼽고 싶습니다. 내가 하고 있는 일을 왜 해야 하는지, 무엇을 해야 하는지 명확하게 본인이 이해하고 Lead 할 수 있어야 한다고 생각합니다. 성취감을 통해 자기 동기를 얻기 위해, 저는 큰 그림을 그리고, 소 목표를 설정하고, 하나하나 묵묵히 해결합니다. 그리고 하나하나 정복해 나갈 때마다, 현실을 게임의 퀘스트에 빗대 생각하고, 각 퀘스트를 해결할 때마다 보상과 레벨이 올라가는 느낌으로 성취감을 고취하는 방법도 효과적이었습니다. Google keep 등의 툴을 활용해 매일의 To Do list를 관리 하고, 매일의 시작과 끝을 점검했던 것이 많은 도움이 되었습니다.
또는 논문을 쓸 때마다, 해외 여행 지원을 받을 수 있다라고 생각하는 것도 자기 동기부여를 하기에 좋은 예가 될 수 있을 것 같습니다.

- Role-playing: 연구원(Research scientist)으로서의 삶은 다양한 직업군의 면모를 고루 갖춘, 사실은 굉장히 복잡한 직업이라고 할 수 있다. 새로운 기술을 구현하고 평가하는 엔지니어의 역할, 논문을 쓰는 것은 논리적인 글을 쓰는 작가, 논문을 평가받고 변론 (rebuttal)하는 것은 논리와 판례 등으로 변론하는 변호사의 그것과 비슷하고, 연구를 홍보할 때는 세일즈맨의 역량이 필요하며, 본인의 분야의 프로젝트를 리드하고 관리하는 매니저로서의 역할을 수행해야 합니다. 이러한 각 태스크를 수행할 때, 각 역할에 해당하는 직업인으로서의 프로페셔널한 마음가짐으로 임하여 최선을 다하면, 내가 무엇을 해야하는지 명확해졌던 것 같습니다.  

- Keep reading: 논문을 "꾸준히" "많이" 읽으려고 노력했습니다. 좋은 논문은 좋은 논문인 데로 정독하고, 좋은 학회에 게재 되었으나 퀄리티가 좋지 않은 논문들의 경우에는 어떤 방식으로 그 퀄리티를 뒤집을 수 있는 키 테크닉이 있었나를 파악하며 읽었습니다. 이 논문 읽기는 논문을 쓰는 것뿐 아니라, 학회마다 어떤 수준의 논문들이 게재되는지 레벨을 파악할 수 있는 시야를 제공했던 것 같습니다. 석사 때는 하루에 5편씩 읽으려고 노력했습니다. 물론 실제로는 하루에 평균 3개 정도를 읽을 수 있었던 것 같습니다. 지금은 책임이 있는 업무들로 인해, 꾸준히 논문을 읽을 수는 없지만, 탑티어 학회 및 학술지 논문들을 리뷰할 때는 하루에 7편 정도는 읽고 디테일을 파악 할 수 있게 되었습니다. 정 여유가 되지 않을 때라도, 정독하지는 못하더라도 어떤 연구가 나왔는지 Abstract 정도를 보는 정도로라도 유지하는 것이 연구의 트랜드를 파악하는 데 큰 도움이 됩니다.

- Open mind: 가끔 박사과정 또는 박사 학위를 받으신 분들과 연구에 대해 대화를 할 때, 너무 방어적인 성향을 보여 당황스러울 때가 있습니다. 본인의 연구에 애착을 가지고 방어적으로 나오는 경우, 남의 방법은 해도 안 된다고 부정적으로 나오는 경우 등 다양한 사례들을 접한 적이 많습니다. 또 다른 경우는 논문을 제출할 때, 아직 부족하다고 하며 한번 미루고, 다음에 또 부족하다며 미루는 것을 반복하며 완벽한 논문만을 내기를 추구하다가 논문 실적을 못 내는 경우들도 흔히 볼 수 있습니다. 연구의 기준이 높은 분들일수록 이런 경향이 있었던 것 같습니다. 이에 두 가지를 얘기하고 싶습니다.
논문은 모든 부분에서 철두철미 하고 티끌이 없이 완성되어야지만 논문은 아닙니다.  오늘의 논문은 다른 연구자들에게 영감을 주고 보다 더 나은 내일의 연구를 위한 디딤돌 및 거름이 되어야 하는 발전 지향적인 매개체가 논문이라고 생각합니다. 그렇게 때로는 다른 연구자들에게 밟히는 경우가 있더라도, 인용되고 다른 연구자의 연구로 이어져야 살아 숨 쉬는 연구라고 생각합니다. 본인의 연구가 다른 연구자들에게 의논되는 것을 두려워하지 말라는 조언을 드리고 싶습니다.

마지막으로 본인에게 큰 도움이 되었던 것 중, 다양한 분야 사람들이 어떠한 식으로 일하는지 대화하고 경청하며, 간접 경험을 하려고 했습니다. 또한, 학문적으로는 어떤 것이 중요한지 몰랐기에 어떤 것도 경시하지 않고, 다양한 것을 접하려고 노력하였습니다. 청강, 세미나들을 적극적으로 따라다니며, 새로운 분야를 접할 때에 키워드가 낯설어 처음부터 좌절하지 않도록 본인을 꾸준히 노출 시키려고 노력했습니다. 실제로 타과 강의 수강 및 청강(물리학과의 물리수학, 수학과의 수학적 모델링, 전자제어과의 전자기학, 휴학한 한 학기 동안은 타 대학의 강의를 청강)을 하는 것들을 즐겼습니다. 한 분야에서의 좋은 아이디어가 가끔 다른 분야에서도 비슷하지만 다른 형태로 제안될 때가 많습니다. 앞서 말한 방식으로 얻은 배경 지식 또는 정보력이 다른 연구를 할 때에도 적용되는 경우가 많아, 굉장히 도움이 되었습니다.




6. 연구활동과 관련하여 앞으로 계획이 있으시다면? (국제 공동연구 계획 포함)

지금까지 MIT, ETH Zurich, KAIST, Osaka 대학, UC Merced 등의 대학뿐 아니라, Facebook AI Research (FAIR), Microsoft Research, Google Research, Adobe, Tencent, Qatar Computing Research Institute (QCRI) 등의 유수 연구기관들과 연구 협업을 해왔습니다. 여태껏 쌓아온 연구적 신뢰관계를 유지하도록 노력할 계획입니다. 앞으로 국내에 돌아와서는 국내 연구기관들과도 좋은 연구 파트너 관계를 맺고 싶습니다. 그리고 몇 년 후부터는 양성한 제자들을 위 연구기관에 적극 파견하여 더 높은 차원의 연구 협업을 이어갈 계획입니다.




7. 그 밖에 하시고 싶은 이야기들...

학부에서부터 박사까지 멈추지 않고 연구에 전념할 수 있었고, 세계 무대에서 최고의 연구자들과 함께 연구할 기회를 얻을 수 있었던 가장 큰 이유는 훌륭한 지도교수님들 외에도 국내 박사과정 학생들에게 주어진 감사한 전문연구요원 제도 덕분이었습니다.
몇 년 전 제도의 관리 부실에 의한 사회적 인식이 나빠짐에 따라 동시에 박사과정 학생들의 부담도 늘어나고 있습니다. 소수 몇 명의 특혜의 오용을 막기 위해, 많은 바람직한 사례들과 잠재적 국내 이공계 전문가의 활성화에 눈을 돌리고 장애가 되는 결단을 내놓기보다는, 제도적으로는 긍정적인 방향을 모색하고 특혜를 받는 학생들도 사명감과 책임감의 자세를 가지고 양 당사자가 노력하는 방향으로 나가기를 희망합니다.
고려대학교 백상헌 교수님께서 언급하신 것과 마찬가지로, 한국의 우수 연구 인력의 미래를 건실한 방향으로 이끌기 위해 모두가 노력해야 할 것 같습니다.


관련 홈페이지 >>