멋찐 병아리 대학원생 🐥

이 논문은 NeurIPS 2020에 출판되었으며, 저자는 Kihyuk Shon*, David Berthelot*, Chun-Liang Li, Zizhao Zhang, Nicholas Carlini, Ekin D. Cubuk, Alex Kurakin, Han Zhang, Colin Raffel로 구성되어 있다. Motivation Deep neural network는 큰 데이터셋을 활용할 수록 더 높은 성능을 달성할 수 있다는 것이 잘 알려져 있지만, data를 labeling하는 것의 cost가 굉장히 비싸기 때문에 큰 labeled 데이터셋을 만들기가 어렵다는 문제가 있다. 따라서 소수의 labeled data와 많은 양의 unlabeled data를 활용하여 학습을 진행하는 semi-supervise..

이 논문은 NeurIPS 2021에 출판되었으며, 저자는 Hyuck Lee, Seungjae Shin, Heeyoung Kim로 구성되어 있다. Motivation 대부분의 Semi-supervised Learning (SSL) 알고리즘은 데이터 불균등을 가정하고 있는 경우가 많다. 하지만 실제로 데이터의 분포는 불균등한 경우가 많아 이러한 기술들을 적용하기가 어렵다. 불균등한 데이터셋에서 학습한 classifier는 majority class에 편향된 예측을 한다는 것이 잘 알려져 있는데, 학습한 labeled data를 기반으로 unlabeled data를 학습하는 SSL 세팅에서는 '확증 편향' 현상이 발생할 수 있기 때문이다. 이 논문은 이러한 편향 문제를 해결하여 LTSSL 문제를 풀고자 한다...

Motivation Machine learning 분야에서 labeled data가 부족하다는 문제를 해결하기 위해 weak supervision (WS)과 semi-supervised learning (SSL)이 제안되었다. Programmatic weak supervision: 비교적 cost가 적은 noisy label을 사용하여 학습 Semi-supervised learning: 추가적으로 unlabeled data를 활용하여 학습 두 분야가 가지는 본질적 공통점들이 있기 때문에, 메소드들이 서로 보완적으로 적용될 수 있어 보이지만 아직까지는 두 분야의 intersection이 잘 연구되지 않았다. 따라서 이 연구에서는 WS을 기반으로 SSL을 언제, 어떻게 사용하는 것이 효과적인지에 대해 체계적..