KDST

안녕하세요, KDST팀 김동진입니다.

오늘 소개해드릴 논문은 “LAST LAYER RE-TRAINING IS SUFFICIENT FOR ROBUSTNESS TO SPURIOUS CORRELATIONS“로 ICLR2023에 Spotlight로 선정되었습니다.

주요 내용은 아래와 같습니다. 

본 논문은 딥러닝 모델이 학습하기 쉬운 spurious correlation을 기반으로 class label 예측을 하더라도 label과 관련된 core feature가 feature extractor에서 추출되는 것을 다양한 비율의 spurious correlation이 존재하는 데이터셋들에서 실험을 통해 보였습니다. 또한, 저자들은 feature extractor가 core feature를 추출하더라도 모델이 class를 잘못 예측하는 이유는 classifier가 spurious feature에 맞춰져 있다는 것을 발견하였습니다. 이러한 발견을 통해 classifier를 biasing 되어 있지 않은 데이터셋(group balanced dataset)을 통해 re-weighting 해주는 방식인 Deep Feature Re-weighting (DFR) 방식을 제안하고, 이를 통해 가벼운 학습만으로 Group robustness task에서 SOTA를 달성하였으며, ImageNet-trained model에서의 background와 texture 특징에 대한 의존도를 DFR을 활용하여 연구하였습니다.

흥미로운 내용의 논문이라 다른 분들도 읽어보시면 좋을 것 같습니다.

감사합니다.

올해 10월에 파리에서 열리는 ICCV 2023에 아래 논문이 채택되었습니다. 
이미지 생성 모델의 품질을 측정하는 향상된 metric(precision & recall)을 제안하는 논문입니다. 
기존의 improved precision & recall 보다는 확실히 더 나아졌다고 말씀드릴 수 있으니 관련 연구 하시는 분들은 한번 사용해 보시길 추천드립니다. 

Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models

안녕하세요, 학부연구생 박윤아입니다.

지난 4월에 처음으로 논문 리뷰 발표를 했었는데, 오늘 7월 21일 두번째 발표를 하게 되었습니다. 

이 논문의 핵심 아이디어는, Attention Similarity Knowledge Distillation (A-SKD)로 Teacher model의 attention map을 student model로 전달하여, 저해상도 이미지에서도 얼굴인식 성능을 내도록 하는것 입니다. 

attention map을 distillation할 때 '고해상도 모델의 channel과 저해상도 모델의 channel의 역할(혹은 파라미터)가 다를텐데, attention map을 바로 전달해도 되는건지' 에 대해 질문하셨는데, 답하지 못했습니다.

논문에서 CBAM attention module을 사용했다고 나와있는데, 이 논문을 통해 실마리를 얻을 수 있을것 같아 공부해볼 예정입니다. 

[31] Woo, S., Park, J., Lee, J.Y., Kweon, I.S.: CBAM: Convolutional Block Attention Module. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 11211 LNCS, 3–19 (jul 2018), http://arxiv.org/abs/1807.06521

A-SKD의 loss는 다음 두가지 term으로 이루어집니다. 그 중 arcface loss에 대해 자세히 다루어보려고 합니다. 

arcface loss는 addictive angular margin loss라고도 불리는데요, 각에 margin term을 추가하여 feature와 class 중심 사이의 각도가 충분히 줄어들도록 학습하게 됩니다. 

자세한 과정은 다음과 같습니다.(민수님이 이해에 도움을 주셨습니다 감사합니다!)

아래 식에서 j가 정답 class 일때 log~ 식은 1에 가까워지도록 학습됩니다.

그러면 s* cosine θ _j 의 값은 0에 가까워지고 θ _j는 커집니다. 그래서 input feature와 정답이 아닌 class의 대표벡터(W_j)간의 각도가 커집니다. 그러면 그 영향으로 intra class간의 각도가 작아집니다. 

여기에서 클래스마다 같은 m값을 사용하는것이 맞는지, 그렇다면 intra class들의 거리가 줄어드는것이 맞는지에 대해 질문하셨습니다. 유진님께서 m은 360/class개수로 사용된다고 답변해주셨습니다. 

실험결과

안녕하세요, KDST팀 학부연구생 이원준입니다.

2023년 6월 30일에 진행하였던 논문 세미나 내용 간단하게 전달드리겠습니다.

본 논문에서 제안하는 내용은 다음과 같습니다.

• 저자는 vision transformer가 image task에서 이미지를 확인하는 long-range dependency로 인해 성공적으로 적용되고 있다고 말합니다. 하지만 논문에서 기존의 cnn과 vision transformer 사이의 성능과 computational cost 사이의 gap이 존재하는데 이러한 서로간의 장단점을 극복하기 위해 CMT라는 새로운 아키텍쳐를 제안합니다
• Vision transformer의 long-range dependency 뿐만 아니라, CNN의 Local Feature의 장점을 활용한 하이브리드 네트워크, 기존의 Vision transformer에서 CNN 모델만큼 높은 성능을 자랑하는 모델인 CMT를 제안한다.
• Vision transformer가 우수한 성능을 보임에도 불구하고, 그 성능은 여전히 유사한 크기의 CNN에 비해 크게 떨어진다. 이러한 이유의 원인을 3가지라고 논문의 저자는 설명한다.
  • 첫번째, 일반적으로 이미지를 패치로 분할하게 되는데, 이렇게 하면 patch-sequence를 transforemer에 직접 입력하기 때문에 patch들 간의 long range dependency를 효과적으로 찾아낸다. 하지만 이는 sequence 기반인 NLP와 이미지 기반의 Vision(각 패치 내의 2D 구조 및 로컬 공간 정보) 간의 근본적인 차이를 무시하게 되는 것이다.
  • 두번째, 고정된 patch 크기로 인해 저해상도 및 Multi scale Feature Map 추출에 어려움을 겪는다. 
  • 세번째, Vision transformer의 연산량은 $ O(N^2C) $인 반면, CNN은 $ O(NC^2) $의 형태이므로, COCO와 같이 높은 해상도 등을 학습시키는데 무리이다.

구체적인 아키텍쳐의 구성은 다음과 같습니다.

• CMT에 도입된 CMT Block은 depth-wise convolution에 의해 local information이 향상된 Block이다.
• 또한, sequence 길이를 점진적으로 줄이고 차원을 증가시키기 위해 stride 2가 있는 4개의 Conv layer를 사용하여 CNN과 유사한 아키텍쳐를 구현하였다. 이로 인해 multi-scale feature를 추출하고 고해상도로 인한 cost 부담을 줄일 수 있다.
• CMT Block의 LPU(Local Perception Unit)와 IRFFN(Inverted Residual Feed-Forward Network)은 로컬과 글로벌 구조 정보를 모두 캡처하고 네트워크의 표현 능력에 도움이 된다. 
• 마지막으로, average pooling은 더 나은 분류 결과를 위해 Vision transformer의 class token을 대체하는데 사용된다.
• CNN과 Transformer의 장점을 모두 활용하기 위해 hybrid 방식의 network를 구성한다.

실험 결과는 아래 사진과 같습니다.

Imagenet classification 결과를 보면 동일한 flop에서 accuracy가 기존의 방법보다 상당히 좋고 cnn인 efficientnet보다 상당히 잘나오는것을 볼 수 있습니다. 그리고 flop이 더 높은 것들이랑 비교를 해도 훨씬 좋은 성능을 보여주는걸 확인할 수 있습니다.

자세한 내용은 논문을 참고해주시면 감사하겠습니다.

감사합니다.

Motivation

GPU 클러스터를 팀에서 공용으로 사용하는 경우 사용자간 환경 분리와 유저 권한에 대한 관리가 필요하다.

이러한 환경에서는 서로 모순되는 요구사항이 존재한다.

• 누구든 실수로 문제를 발생시킬 수 있기 때문에 모두에게 sudo 권한을 주는 것은 지양되어야 한다.
• 연구 환경 세팅을 위해 apt 같은 sudo를 요구하는 패키지 관리 툴을 사용할 수 있어야한다.
• 프로젝트에 따라 고립된 환경의 구축을 할 수 있어야한다.

Current situation

이러한 요구사항을 고려하기 위해 KDST에서는 그동안 Docker를 사용해왔다.

서버의 sudo group 대신 docker group에 사용자를 추가함으로써,

각각 연구자가 docker container 내부에서 자유롭게 환경을 세팅하고 연구를 수행할 수 있다.

Problem

하지만 Docker에도 sudo의 리스크를 완전히 지울 수는 없다.

OS-level virtualization을 활용하는 Docker 특성상 root user 권한을 지닌 docker daemon이 항상 실행되고 있고,
docker group에 속한 사용자는 간접적으로 root 권한을 가지게 되어 잠재적 위험(Docker Daemon Attack Surface)이 발생한다.

예) imagenet 등 공유 데이터 폴더를 컨테이너에 마운트해서 사용하다 실수로 삭제/변형 시킬 수 있음

Solution

컨테이너 실행과정에서 root 권한을 완전히 제거하면서도 연구수행에 지장이 없는 대안이 필요했다.

KDST에서는 HPC 환경에서 많이 사용되던 Singularity container를 적용하기로 결정했다.

Singularity는 Docker에 비해 더 낮은 수준의 가상화를 제공하고,
별도의 데몬이 없으며 instance 생성 시 완전히 유저 권한으로 container를 실행할 수 있다.

Singularity workflow in our lab

다만, singularity를 사용하더라도 원하는 환경을 구축하고 빌드하기 위해서는 sudo 권한이 필요하다.

• 먼저, 별도의 컴파일 서버에 연구원들이 root user로 접속해 원하는 이미지(.sif)를 빌드하고

• 2. 이미지를 GPU 서버에 복사한 후 container instance를 실행해 연구를 수행한다.
  $ Singularity shell -nv our_image.sif

위의 간단한 프로세스를 통해 공용 GPU 클러스터에서 여러 연구자들이 각자 환경을 구축하고 isolation 침해 등 잠재적 위협에 대한 우려 없이 사용할수 있게 된다.