멋찐 병아리 대학원생 🐥

이 논문은 NeurIPS 2020에 출판되었으며, 저자는 Kihyuk Shon*, David Berthelot*, Chun-Liang Li, Zizhao Zhang, Nicholas Carlini, Ekin D. Cubuk, Alex Kurakin, Han Zhang, Colin Raffel로 구성되어 있다. Motivation Deep neural network는 큰 데이터셋을 활용할 수록 더 높은 성능을 달성할 수 있다는 것이 잘 알려져 있지만, data를 labeling하는 것의 cost가 굉장히 비싸기 때문에 큰 labeled 데이터셋을 만들기가 어렵다는 문제가 있다. 따라서 소수의 labeled data와 많은 양의 unlabeled data를 활용하여 학습을 진행하는 semi-supervise..

이 논문은 CVPR 2024에 출판되었으며, 저자는 Hyuck Lee, Heeyoung Kim으로 구성되어 있다. Motivation Pseudo-label 기반의 semi-supervised learning (SSL) 알고리즘을 class-imbalance 세팅에서 사용하는 경우 다음의 두 가지 문제가 발생한다. 1. Classifier가 majority class에 편향되는 경향이 있다. 2. 편향된 classifier로부터 생성된 pseudo-label들이 training에 사용된다. 이 문제를 해결하기 위해서는 classifier를 적절히 re-balance하는 것이 필요하다. 하지만 unlabeled set의 class distribution은 (2) 알 수 없는 경우가 많으며 (2) label..

이 논문은 ICCV 2023에 출판되었으며, 저자는 Chengkai Hou, Jieyu Zhang , Haonan Wang, Tianyi Zhou로 구성되어 있다. Motivation 기존에는 Long-tail Learning에서 발생하는 모델의 편향성 문제를 해결하기 위해 resampling과 reweighting 기법이 많이 활용되었다. 이러한 기법들은 성능의 향상을 도모했지만 여전히 제한된 minority sample 내에서 supervised loss를 학습하는 것이기 때문에 분명한 한계가 있다. 그래서 최근에는 Supervised Contrastive Learning (SCL) 을 활용하여 모델을 학습하는 연구들이 많이 등장을 하고 있으며, 이러한 연구는 long-tailed recognitio..

이 논문은 NeurIPS 2021에 출판되었으며, 저자는 Hyuck Lee, Seungjae Shin, Heeyoung Kim로 구성되어 있다. Motivation 대부분의 Semi-supervised Learning (SSL) 알고리즘은 데이터 불균등을 가정하고 있는 경우가 많다. 하지만 실제로 데이터의 분포는 불균등한 경우가 많아 이러한 기술들을 적용하기가 어렵다. 불균등한 데이터셋에서 학습한 classifier는 majority class에 편향된 예측을 한다는 것이 잘 알려져 있는데, 학습한 labeled data를 기반으로 unlabeled data를 학습하는 SSL 세팅에서는 '확증 편향' 현상이 발생할 수 있기 때문이다. 이 논문은 이러한 편향 문제를 해결하여 LTSSL 문제를 풀고자 한다...

이 논문은 ICLR 2021에 출판되었으며, 저자는 Aditya Krishna Menon, Sadeep Jayasumana, Ankit Singh Rawat, Himanshu Jain, Andreas Veit, Sanjiv Kumar 로 구성되어 있다. Motivation 기존 Long-tail Learning에서는 다음의 두 가지 방식으로 문제를 해결하고 있었다. Classification weight의 post-hoc normalization Class별 페널티가 적용된 loss를 통한 학습 위의 두 가지 방식의 문제점을 먼저 살펴보도록 하자. 1. Classification weight의 post-hoc normalization \( w_y^T\Phi(x) \)에서 \( w_y \)는 모델의 마지..

이 논문은 IEEE Transactions of Multimedia에 출판되었으며, 저자는 Xiaoyu Guo, Xiang Wei, Shunli Zhang, Wei Lu, Weiwei Xing이다. Motivation Imbalanced Semi-supervised Learning (ISSL) 에는 두 가지 큰 문제점이 있다. 1. 믿을만한 pseudo-label을 만들어 내는 것이 어렵다. 2. 각 class들에 대해 balanced 된 feature를 만들어내기가 어렵다. 이 논문은 위의 두 문제점을 해결하기 위한 새로운 프레임워크를 제안하고자 한다. Method 저자들이 제시한 DCRP의 모델의 overview이다. 하나씩 살펴보도록 하겠다. A. “K+1” for Outlier Eliminatio..

이 논문은 CVPR 2023에 출판되었으며, 저자는 Jiahao Chen, Bing Su로 구성되어 있다. Motivation 기존의 calibration 기술들은 대부분 training data가 균등분포를 따른다고 가정하고 있다. Figure 1에서도 알 수 있듯이, 원래 calibration의 파이프라인은 balanced training set으로 모델을 학습하고, balanced validation set을 활용하여 calibration model을 얻는다. 그리고 target test set은 training/validation set과 동일한 분포를 가진다. 하지만, 실제 real-world에서는 long-tail 분포를 따르는 경우가 많다. 이러한 세팅에서 기존의 calibration 기술들..

이 논문은 CVPR 2020에 출판되었으며, 저자는 KAIST의 Jaehyung Kim*, Jongheon Jeong*, Jinwoo Shin으로 구성되어 있다. Motivation 기존의 long-tail learning 문제를 해결하기 위한 방법에는 re-weighting, re-sampling 기법이 있다. Reweighting은 loss function에 클래스별 sample 수를 역으로 한 값을 weight으로 반영하여 minority class의 loss를 강조하는 방식이며, resampling은 주어진 데이터셋에서 minority class를 over-sampling하거나 majority class를 under-sampling 하는 방식으로 balanced dataset으로 재구성하여 학습을..

이 논문은 ICLR 2023에 출판된 논문이며 Spotlight 논문 (상위 20%) 으로 선정되었다. 저자는 Sumyeong Ahn*, Jongwee Ko*, Seyoung Yun으로 구성되어 있다. Motivation 기존 연구들은 Class imbalance 문제를 해결하기 위해 주로 rewighting, resampling 기법을 사용했다. Reweighting은 training loss에서 minority class sample의 비중을 크게 하는 방식이며, resampling은 minority class를 더 많이 sampling하거나 majority class를 덜 sampling 하여 균등한 학습 데이터로 재구성하는 방식이다. 하지만 이 방식들은 여전히 한정된 minority class의 ..

Motivation Machine learning 분야에서 labeled data가 부족하다는 문제를 해결하기 위해 weak supervision (WS)과 semi-supervised learning (SSL)이 제안되었다. Programmatic weak supervision: 비교적 cost가 적은 noisy label을 사용하여 학습 Semi-supervised learning: 추가적으로 unlabeled data를 활용하여 학습 두 분야가 가지는 본질적 공통점들이 있기 때문에, 메소드들이 서로 보완적으로 적용될 수 있어 보이지만 아직까지는 두 분야의 intersection이 잘 연구되지 않았다. 따라서 이 연구에서는 WS을 기반으로 SSL을 언제, 어떻게 사용하는 것이 효과적인지에 대해 체계적..