닫기
Loading..

전자정보연구정보센터 ICT 융합 전문연구정보의 집대성

라이징스타

홈 홈 > 포커스iN > 라이징스타

국내외의 ICTㆍ융합 분야의 우수 연구자를 선별하여 소개합니다.
연구자의 연구 경험담 및 관련 분야 동향까지 연구활동에 대한 전반적인 내용을 인터뷰하여 정리하였습니다.

  • 이준석
  • Google Research / 서울대학교 데이터사이언스대학원
  • joonseok@snu.ac.kr

트위터 공유

페이스북 공유

▶ 간략한 소개 부탁드립니다.


   안녕하세요, 서울대학교 데이터사이언스대학원조교수로 근무하고 있는 이준석입니다. 저는 미국 조지아 공과대학교(Georgia Institute of Technology) 컴퓨터공학과에서 Guy Lebanon 교수님Hongyuan Zha 교수님의 지도 아래, 추천시스템(recommendation systems)을 주제로 하여 머신러닝 전공으로 박사 학위를 받고, Google Research에서 지난 6년간 엔지니어로 근무하면서 Video 콘텐츠 분석 기술 개발과 YouTube video annotation, recommendation 등 서비스 개발에 참여하였습니다. 현재는 Google Research와 서울대를 절반씩 겸직하며 교육과 연구 활동을 하고 있습니다.



▶ 주요 연구 분야 소개 및 동향에 대해 말씀 부탁드립니다.


   제 연구 분야는 크게 recommendation system, video content analysis, scientific application 3가지로 나눌 수 있습니다.

   먼저, 추천시스템은 제가 박사과정을 공부하던 2010년부터 2015년까지 주로 연구했던 주제로, 주로 상업적인 시스템 안에서 사용자들이 제품이나 콘텐츠에 보인 직/간접적인 반응들을 분석하여 개인의 취향을 예측하고, 사용자들의 컨텍스트 (접속한 시간대, 사용하고 있는 기기, 물리적인 장소 등)을 종합적으로 활용하여 사용자 개개인이 좋아할 만한 제품이나 콘텐츠를 추천해 주는 시스템을 연구하는 분야입니다. 이 분야는 크게 콘텐츠 자체의 내용을 활용하는 콘텐츠 기반 방식과, 사용자들을 취향에 따라 분류하고 유사한 다른 사용자들의 기호에서 힌트를 얻어 추천을 하는 협업적 필터링(collaborative filtering) 방식으로 나뉩니다. 제가 주로 연구한 분야는 collaborative filtering 방식을 local community에 적용하여, 비슷한 성향의 사람들과 특정 부류의 제품/콘텐츠를 여러 개의 소그룹으로 나누고, 각 그룹에 가장 특화된 모델을 여러 개 만들어 이들을 종합적으로 활용해 새로운 사용자나 제품에 대한 추천 스코어를 계산하는 방식이었습니다. 이러한 방식은 추천 정확도 향상과 함께 모델 학습의 분산 처리를 용이하게 하여, 대규모 데이터에도 손쉽게 적용할 수 있는 장점이 있습니다. 이러한 추천 연구는 대학원을 졸업한 뒤 잠시 떠나 있었다가, 올해 초부터 다시 YouTube Music에 추천 시스템을 개선하는 프로젝트에 참여하면서 복귀하여 일하고 있습니다.

   두 번째 주제는 제가 구글에서 주로 연구한 video content analysis 또는 video understanding입니다. 간단하게 말하면, video understanding은 컴퓨터에게 video를 입력으로 넣으면 사람이 비디오를 보고 이해하는 것처럼 직관적인 이해를 하도록 하는 모델을 개발하는 연구입니다. 컴퓨터에게 있어 video란 여러 장의 image들이 연속으로 나열되어 있는 것일 뿐이고, 이미지라는 것도 결국 RGB 코드로 표현되는 픽셀들의 나열일 뿐이기 때문에, 컴퓨터는 그 비디오에 어떤 내용이 들어 있는지 인간처럼 이해하는 것이 간단하지 않습니다. 동영상은 용량이 크기 때문에 저장공간이나 처리시간 등에서 큰 비용을 필요로 하여, 현재의 AI도 여전히 풀어야 할 과제가 많은 걸음마 단계라 생각됩니다. 제가 구글에서 진행했던 연구에 대한 구체적인 소개는 아래 질문에서 이어가겠습니다.

   마지막으로 세 번째 주제는 머신러닝이나 컴퓨터비전의 기술들을 자연과학 데이터에 적용하는 연구입니다. 최근 인공지능의 발전은 주로 상업적인 서비스들이 주도해 왔지만, 이러한 기술을 활용할 수 있는 영역은 자연과학 분야에도 무궁무진하게 많고, 인간의 삶에 크게 기여할 수 있는 주제들이 많습니다. 제가 참여했던 프로젝트는 기상 데이터에서 극기후 현상(허리케인 등)을 추적하고 예측하는 컴퓨터비전 모델을 개발하는 것으로, 기존의 과학 모델링 기반 방식보다 월등히 빠르고 우수한 성능을 낼 수 있었습니다. 또 이와 유사하게 소수의 측정소로부터 제공된 제한된 정보로부터 수도권 전체의 미세먼지 농도를 예측하는 연구도 수행했습니다.

   제가 이끄는 서울대 시각정보처리 연구실에서는 이 3가지 분야의 연구를 모두 균형 있게 수행하려고 계획하고 있습니다.



▶ 현재 구글에서 Research Engineer로서 근무하고 계십니다. 업무(연구활동)에 대한 간단한 소개와 감상을 말씀해 주세요.


   저는 Video understanding team에서 4년간 근무하며 컴퓨터가 비디오를 인간처럼 인식하게 하는 기술을 개발해 왔습니다. 제가 맡아서 했던 프로젝트는 비디오의 픽셀과 오디오 정보로부터 얻는 콘텐츠 정보와 이 비디오를 YouTube에서 사람들이 시청하는 패턴을 동시에 활용하여 비디오 간의 관계를 모델링하는 것으로, 한 편의 비디오를 아주 작은 벡터 1개로 표현하면서도 그 내용과 다른 비디오와의 관계를 효율적으로 담고 있도록 하였습니다. 이 방식을 YouTube 비디오 추천, 검색, 불건전 콘텐츠 감지 모델 등에 적용하여 기존 모델보다 좋은 성능을 낼 수 있었고, 이 결과는 KDD라는 학회에 2018년에 처음 발표되었습니다. 이후 이 모델을 추가적으로 개량하여 학습 성능을 끌어올린 모델을 컴퓨터비전 분야의 최고 학회 CVPR 2020년에서 발표하였습니다.

   이 팀에서 근무하는 동안 큰 임팩트를 낸 또 다른 프로젝트는 YouTube 8M이라는 공개 데이터셋을 제작하고 이를 토대로 3년에 걸쳐 Kaggle을 통해 공개 competition을 개최하였던 것입니다. 이 데이터셋은 이름 그대로 YouTube에서 가려 뽑은 인기비디오 800만 개에 대한 frame 단위의 feature를 제공하고, 비디오 단위의 전반적인 주제를 label로 제공하여 이를 예측하는 모델을 개발할 수 있도록 한 것으로, 3회에 걸친 Kaggle competition에는 매년 1000명 이상의 참가자가 지원하기도 하였고, 현재도 가장 큰 비디오 데이터로 많은 연구자들이 활용하고 있습니다.

   구글은 기업 연구소이기 때문에 많은 프로젝트들이 제품과 서비스 개선이라는 실용적인 목적과, 이 분야의 학문을 발전시킨다는 두 가지 목적을 동시에 가지고 수행합니다. 머신러닝을 실제 대규모 서비스에서 활용하며 세계 최대 규모의 데이터셋을 다룰 수 있다는 점이 구글 연구소에서 근무하는 것의 가장 큰 매력이 아닐까 싶습니다. 또한, 구글에서 진행하는 대부분의 프로젝트는 “어마어마하게 큰 규모”를 기본 가정으로 하고 시작합니다. 전 세계의 많은 사용자들을 대상으로 서비스해야 하기에, toy-scale의 작은 문제들을 푸는 것에는 크게 관심가지지 않습니다. 이 때문에 어려운 점도 많고, 좋은 아이디어가 있어도 실현까지 많은 걸림돌을 만나기는 하지만, 그 과정에서 배우는 점도 많고 흥미로운 점 또한 많다고 생각합니다.



▶ 구글뿐만 아니라 마이크로소프트와 아마존 등 세계 최고의 IT 연구현장에서도 활동하셨습니다. 특별히 느끼신 점이 있다면 말씀해 주세요. 


   미국에서 학교를 다니면서 가장 놀랐던 점은 여름방학을 활용한 인턴십 프로그램이 아주 활발하다는 것이었습니다. 학부 1학년부터 박사 말년차까지 모든 학생들이 여름방학에는 다양한 회사에 인턴십을 가고, 그때의 경험과 실적을 바탕으로 즉시 취업이 확정되기도 하는 등 학생들의 현장 경험과 회사의 인재 채용이라는 양쪽 목적을 동시에 달성시켜주는 좋은 제도라는 생각이 들었습니다. 저 또한 이러한 제도를 적극 활용하여 Google, Microsoft, Amazon 등의 세계적인 기업에서 여름 방학마다 일해볼 수 있는 좋은 기회를 얻을 수 있었습니다.

   같은 IT 업종이라 하더라도 각 회사들은 상당히 다른 문화들을 가지고 있습니다. 가령 구글이나 마이크로소프트는 사내에서 진행된 연구 프로젝트의 성과물을 학계에 공유하고 논문으로 출판하는 것을 장려하는 문화를 가지고 있었습니다. 이 때문에 세계적인 학자들이 구글에 와서 연구를 하고, 결과적으로도 제품이나 서비스에 기여하게 되는 모습을 자주 볼 수 있었습니다. 그에 반해 당시의 아마존은 상대적으로 많이 폐쇄적이었습니다. 기본적으로 창업자인 베조스 회장이 논문 출판이나 학술 공유보다는 지적재산권이나 회사의 기밀 유지를 중요시하는 인물이라는 점이 크게 작용하는 것 같았습니다. 저는 아마존에서도 인턴십이 끝날 때 정직원 오퍼를 받았고 아마존 또한 전 세계 수억 명의 사용자들을 대상으로 대규모 서비스를 운영하며 흥미로운 기술적인 문제들을 많이 만날 수 있는 회사이긴 하지만, 학술적인 기여와 참여를 더 할 수 있는 기회가 더 풍부한 구글을 선택했습니다.

   미국의 대기업에서 근무하면서 느낀 점은 micromanage를 하지 않으려 하고, 일을 언제 어디서 어떻게 하는가에 크게 관심두지 않는다는 점이었습니다. (물론 부하직원이 조언을 구하면 상사는 구체적인 조언이나 지시를 줍니다.) 하지만 이런 식으로 운영해도 모든 직원들이 이를 악용하지 않고 열심히 일에 매진하는 이유는 엄격한 성과평가와, 여기서 잘못되면 실제로 해고로 이어지는 무시무시한 시스템 때문이라는 것을 알게 되었습니다. 구글 등 세계 최고 기업이라고 불리는 곳에서 일하는 동료들은 정말 똑똑하신 분들이 많고, 정말 열심히 일하는 분들이 많습니다. 이런 분들과 경쟁하면서 좋은 실적을 내기 위해서는 끊임없이 배우고 개인적인 life를 희생해가며 일에 매진해야 할 때가 많기도 합니다. 성과가 좋은 직원에게는 파격적인 대우를 아끼지 않는 반면, 뒤쳐지는 직원들에게는 가차없는 곳이 바로 실리콘밸리입니다. 저는 흔히 이런 농담을 합니다. "구글이 왜 신의 직장인지 아시나요? 신들이랑 경쟁해야 하는 곳이라서 그래요.^^"



▶ 올해 3월, 서울대학교 데이터사이언스대학원 조교수로 임용되셨습니다. 기업에 재직 중이면서 교수를 겸할 수 있는 서울대의 첫 사례로 주목되셨는데요. 글로벌 IT 기업 현장에서의 경험은 학생들에게도 많은 도움이 될 것으로 생각합니다. 교수님이 생각하고 계시는 지도 방식이 있다면 말씀해 주세요.


   컴퓨터공학이나 데이터사이언스, 인공지능을 전공하는 학생이라면 실리콘밸리 무대를 한번 밟아보는 것을 강력하게 추천하고 싶습니다. 한국이라는 작은 시장을 떠나 전 세계를 무대로 서비스하는 기업들이 어떻게 일하는지 한번 경험해 보는 것만으로도 큰 경험이 되고, 지금까지는 생각하지 못했던 진로를 열어줄 수 있습니다. 저도 유학을 나가기 전까지는 한국 국적자인 제가 미국에서 일을 할 수 있는지조차 몰랐습니다. 나가서 선배들을 보니 이름 들으면 다 알만한 세계 최고 기업들에 취업하고 세계 최고 대우를 받으며 일하는 모습을 보고 "아, 나도 꿈꿔볼 만 한 일이구나" 라는 것을 깨달았습니다. 중국이나 인도 등 다른 나라의 학생들은 이런 곳에 취직하는 것을 목표로 굉장히 적극적이고 공격적으로 공부하고 있다는 것도 알게 되었습니다. 그에 비해 한국에서 아무 정보도 없이 입학한 저는 인턴을 가기 위해, 취직을 하기 위해 무엇을 공부해야 하는지 어떻게 준비해야 하는지도 모른 채 첫 방학을 맞이해야 했고, 3년차 들어서야 처음으로 인턴을 가게 되었습니다. 저희 대학원 학생들, 또는 더 나아가서 서울대나 한국의 많은 대학생, 대학원생들이 실리콘밸리 해외 인턴십 기회를 얻을 수 있도록 준비하는 과정을 알려주고 도와주는 역할을 해보고 싶습니다.



▶ 특별히 기억에 남거나 가장 좋게 평가하는 본인의 논문을 꼽는다면?


   대학원 과정에 있을 때 발표한 Local Low-Rank Matrix Approximation』(ICML 2013)과 그 후속 논문인 Local Collaborative Ranking(WWW 2014)을 꼽고 싶습니다. 앞의 논문은 저의 지도교수님이 연구년에 Google Research에 가시면서 그쪽 senior researcher인 Yoram Singer 박사님 Samy Bengio 박사님과 함께 진행했던 연구였습니다. 함께 있으면 저의 교수님조차 학생처럼 느껴질 만큼 내공이 깊으신 대가 연구자로부터 연구 진행이나 논문 작성에 관해 정말 많이 배울 수 있었던 프로젝트였습니다. 이 논문은 잠시마나 추천시스템에서 state-of-the-art 지위를 누리며 많은 연구자들이 비교 대상으로 삼았던, 저에게는 영광스러운 논문입니다.

   그리고 이듬해에 저도 구글에 인턴으로 오게 되면서 Yoram Singer 박사님의 지도로 후속 논문을 진행하게 되었고, 이 연구는 2014년 WWW 학회에서 발표하여 '학생최고논문상'을 수상하는 영예를 얻기도 했습니다. 이 학회가 특히 기억에 남는 점은 학회가 열린 장소가 서울 코엑스이기 때문이기도 합니다. 유학한 지 4년만에 좋은 논문을 써서 고향에 돌아와 발표하고 좋은 상까지 받을 수 있어 마치 금의환향하는 느낌이었습니다.



▶ 본인에게 영향을 미친 인물 또는 서적이 있다면?


   저는 제 지도교수님이셨던 Guy Lebanon 박사님과 구글에서 인턴하던 당시 매니저였던 Samy Bengio 박사님을 꼽고 싶습니다. 제 지도교수님은 제가 생각하는 가장 이상적인 지도교수였습니다. 대개 많은 교수님들이 학생들을 꼼꼼하게 지도해 주면 지나치게 micromanage하게 되는 경향성이 있고, 반대로 자율적인 분위기로 연구실을 운영하면 구체적인 연구 지도를 받기가 어려운 경우가 많은데, 제 지도교수님은 평상시에는 자율적으로 연구를 수행하도록 하지만, 제가 도움을 필요로 할 때는 언제든 시간을 많이 내 주시며 연구 지도를 꼼꼼히 해 주시던 분이셨습니다. 학생들의 work and life balance에도 신경을 많이 써 주셔서 대학원을 다니며 여행도 많이 다닐 수 있었고, 그렇게 재충전하여 학교에 있을 때는 연구에 매진하여 좋은 성과도 많이 낼 수 있었습니다. 이제 저도교수가 되며 처음으로 학생들을 지도하게 되는데, 저의 교수님께서 하신 것처럼 해보고 싶습니다.

   Samy Bengio 박사님은 딥러닝을 만든 3인 중 한 분으로, 유명한 튜링상 수상자 Yoshua Bengio 박사의 친동생이시며, 얼마 전까지 Google Brain이라는 인공지능 연구팀을 총괄해 온 senior researcher입니다. 제가 아주 운이 좋게도 박사과정 때 이 분과 Yoram Singer라는 세계적인 연구자 분들 밑에서 인턴을 할 수 있었고, 정말 많은 것을 배울 수 있었습니다. Samy Bengio 박사님은 제가 지금까지 본 가장 이상적인 멘토였습니다. 세계적으로 유명한 senior 연구자가 제가 하는 사소한 질문 하나하나까지 놓치지 않고 세심하게 답해주며 지도해 주시는 일은 정말 흔하지 않습니다. 이 분은 경력 30년차인 그때까지도 실제 프로그래밍을 직접 하는 것을 놓지 않으셨고, 그래서 일개 박사과정 학생의 사소한 질문조차 어렵지 않게 답해줄 수 있는 연륜을 가지고 계셨습니다. 늘 친절하고 친구같이 농담하고 즐겁게 지내면서, 선배 연구자로서 좋은 조언을 아끼지 않으시는 좋은 멘토였다고 생각합니다. 이런 분들께 배운 것을 저도 이제 후학을 양성하는 위치에서 똑같이 베푸는 것이 저에게 왔던 행운을 나누는 것이 아닐까 생각합니다.



▶ AI 분야로 진학하려는 후배들(또는 유학 준비생)에게 조언을 부탁드립니다.


   인공지능 분야는 다양한 다른 학문 분야에 점점 더 폭넓게 응용되고 있고, 무궁무진한 가능성이 있는 분야입니다. 제가 이 분야를 공부해 보며 느낀 점은 인공지능은 내용이 어려워서 아무나 못할 주제가 전혀 아니라는 점입니다. 누구나 쉽게 배울 수 있고 요구되는 사전 지식도 거의 없습니다. 컴퓨터 프로그래밍이나 인공지능이 생소하신 분들께는 어렵게만 느껴질 수 있지만, 사실 컴퓨터공학이나 인공지능은 기존의 전공이나 백그라운드에 무관하게 누구나 새롭게 배울 수 있는 분야입니다. 인문사회계열을 전공하신 분들도 저희 데이터사이언스대학원이나 컴퓨터공학 대학원에 진학해 1-2년의 training을 받고 인공지능 분야 세계 최고 학회에 논문을 발표하는 것이 전혀 꿈 같은 이야기가 아닙니다.

   현재 본인의 전공이나 기초지식이 AI 분야와 거리가 멀다고 해도, 관심이 있으시면 언제든 문을 두드려 보시고 공부를 시작해 보시기를 권해드립니다. 좀 더 구체적으로는, Python 프로그래밍, 머신러닝 방법론, TensorFlow나 PyTorch를 사용한 머신러닝 프로그래밍, 그리고 좀 더 깊이 있는 공부를 원하시면 자료구조나 알고리즘 등 컴퓨터공학의 기초를 공부하시는 것이 중요합니다. 어느 정도 기초가 갖춰지면 연구실 인턴 등을 통해 실제 연구에 참여할 수 있는 기회를 가짐으로써 실제 연구가 어떻게 진행되는지 경험해 보시는 것이 대학원 진학이나 유학에 가장 도움이 됩니다.

   요즘은 국가 간의 장벽이 많이 허물어지고, 실력 있는 엔지니어는 누구나 실리콘밸리의 유명 회사 엔지니어를 꿈꿀 수 있는 세상이 되어 가고 있습니다. 국내에서만 공부하신 분들도 글로벌 기업의 국내 지사 등을 통해 실력만 있으면 실리콘밸리에 진출하시는 분들이 많이 있습니다. 중국이나 인도에서는 우리나라와는 비교할 수 없을 만큼 많은 사람들이 실리콘밸리에 진출하여 취업하거나 창업하고 업계를 이끌어가고 있습니다. 세계적인 무대에서 활약하는 후배님들을 더 많이 볼 수 있기를 바라며, 보다 더 구체적인 조언을 원하시는 분은 저에게 따로 연락 주시면 상담해 드리겠습니다.



▶ 앞으로 계획이 있으시다면 말씀해 주세요. 


   서울대 데이터사이언스대학원은 보다 많은 분들이 인공지능 엔지니어나 데이터사이언티스트를 꿈꿀 수 있도록 관련 교육 프로그램을 제공하고, 학제 간 연구를 활성화해 다양한 산업이나 학문 분야에 인공지능을 활용해 기여하는 것을 목적으로 설립되었고, 이것이 제가 인공지능 연구자로서 사회와 학계에 기여하고 싶은 방향과 일치한다고 생각하여 이 곳으로 오게 되었습니다.

   앞으로 저희 연구실에서는 다양한 백그라운드를 가진 학생들과 인공지능 core 기술에서부터 다양한 분야에의 응용 연구까지 수행할 계획을 세우고 있습니다. 더불어, 실리콘밸리에서의 근무 경험을 살려 실용적인 교육을 하고, 해외 진출을 꿈꾸는 학생들에게 실제 도움이 되는 멘토 역할을 수행하고 싶습니다.



▶ 그 밖에 하시고 싶은 이야기


   이렇게 저를 표현하고 알려드릴 수 있는 기회를 주신 EIRIC에 감사드립니다. 제 연구실 진학이나 연구 협력에 관심이 있으신 분들은 언제든 연락 주시기 바랍니다. 감사합니다!



연구자 정보 >>

Visual Information Processing Lab. >>


2021년 5월