사이트맵

1. TANS: Task-Adaptive Neural Network Search with Meta-Contrastive Learning, NeurIPS 2021 Spotlight,
2. HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning, NeurIPS 2021 Spotlight

NAS 또는 AutoML 방법이 실제 세계의 많은 시나리오에 적용하고자 할때 속도, 비용, 성능 측면에서 많은 한계점이 존재한다.
첫번째, 대부분의 NAS 방법은 단일 태스크에 대해 뉴럴 아키텍쳐를 최적화하는 알고리즘에 대해 연구하였으며, 여러 태스크에 대해 일반화되지 못한다. 매번 새로운 태스크에 대해 NAS 방법을 처음부터 학습해야하기 때문에 이는 큰 계산량과 비용을 초래한다.
두번째, 주어진 태스크에 대하여 높은 성능을 달성하기 위해서 뉴럴 아키텍쳐와 파라메터가 모두 중요하지만, 대부분의 NAS 방법은 최적의 파라메터를 탐색하는 대신 뉴럴 아키텍쳐만 제공한다.
세번째, 다양한 디바이스의 자원에 최적화된 뉴럴 아키텍쳐를 제공할 수 있는 것은 NAS 방법의 큰 장점이다. 그러나 탐색을 위해 디바이스별로 지연시간 예측기를 구축해야하며, 이 과정에서 지연 시간 예측기를 학습하기 위해 디바이스별로 많은 양의 데이터 수집이 필요하다. 이 과정은 많은 시간과 비용을 요구하기 때문에 NAS 방법이 많은 하드웨어에 적용되는 것을 방해한다.
본 세미나에서는 위와 같은 문제를 해결하기 위한 해결책으로 메타 학습을 통한 NAS/AutoML 방법들을 제안한다. 제안하는 AutoML 방법(TANS)는 한번의 메타 학습 후, 여러 태스크에 빠른 시간(1초 이내)에 적합한 뉴럴 아키텍쳐와 파라메터를 제공 할 수 있다. 또한 제안하는 하드웨어 적응적 지연 시간 예측 모델(HELP)은 한번의 메타 학습 후, 새로운 디바이스에 대해 단지 몇 개의 샘플 데이터 수집만으로 적응이 가능하며 높은 예측 성능을 보인다. 제안된 모델을 기존 NAS 방법에 결합하여 지연 시간이 제한된 셋팅에서 소요되는 시간을 크게 단축하여 여러 디바이스에 대한 활용성을 향상 시킨다.

진행 방법

• 실시간 온라인 세미나로 시행하며, PC/노트북, 모바일 기기로 접속합니다. (Webinar 이용안내 참고)
• 첫 접속시 Webex 프로그램을 설치하셔야 합니다(약 10초 소요).

사전 준비

• 접속은 웨비나 시작 15분 전부터 가능합니다.(EIRIC에서 개설을 하여야 접속이 가능합니다.)
• 세미나 참가에 관한 구체적인 안내는 참가접수하신 분들에게 메일을 통해 개별적으로 안내해 드립니다.
• 참가신청을 하였으나 온라인 세미나에 참가하지 못하는 분은 다른 분이 참가할 수 있도록 사전에 연락 주시길 바랍니다.