시작은 미약하였으나 , 그 끝은 창대하리라

(내 연구에 필요한 정보만..작성함)

► Pretrained되어 있는 모델을 load를 하면 Freeze(bias=False)되어 있는 것도 있고 Trainable한 파라미터(bias=True) 인 것도 있다.     어떤 문제를 해결할 것이냐에 따라 Freeze가 유용할수도 있고 아닐 수도 있다.  이번 글에서는 Freeze를 하는 방법에 대해 소개와 동시에 필요한 layer만 Trainable하게 설정하는 방법을 알아보겠다.   → 특정 layer만을 Trainable 하게하는 방법은 다음과 같다.     1. 모든 layer에 대해 False로 설정 (=Freeze).    2. 그 후 원하는 layer들에 대해서만 True로 설정.   1.  모델로드→ DETR모델 활용중from transformers import DetrForObj..

목차모델 로드특정 Layer 만을 추출backbone 모델추출구체적인 특정 layer만 추출  1. 모델 로드from transformers import DetrForObjectDetectionmodel_DETR= DetrForObjectDetection.from_pretrained("facebook/detr-resnet-50", revision="no_timm")# Model 의 key 값 확인for i in model_DETR.state_dict().keys(): print(i)   → model 의 key 값 출력 결과model.backbone.conv_encoder.model.embedder.embedder.convolution.weightmodel.backbone.conv_encoder.m..

1. 필요 모듈 설치   ➢ 중요한 모듈만 언급- torch (https://pytorch.org/get-started/previous-versions/) local 컴퓨터 버전에 맞게 알맞게 설치하기..# CUDA 11.7conda install pytorch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 pytorch-cuda=11.7 -c pytorch -c nvidia- transformerspip install transformers- pytorch-ligtningpip install pytorch-lightning   2. 데이터 셋 준비- 주의사항: DETR 의 데이터셋 format은 COCO format 으로 준비되어야 함.  (다운 받은 데이터 셋의 ..

1. 가중치 없이 모델 로드 ► 우리는 허깅페이스에서 weight, bias가 최적화 되어있는 pretrained된 모델을 사용한다. 하지만 모델의 weight, bias를 제외하고 아키텍쳐만 필요할 때가 있다. Hugging Face에서는 친절하게도 이러한 기능을 제공을 해준다. - Huggingface에 원하는 모델을 검색후 config를 사용하면 된다. (아래예시는 DETR예시) (상단 코드 weight load 안함, 하단 코드 weight load 함) # load without weight and bias # Initializing a DETR facebook/detr-resnet-50 style configuration from transformers import DetrForObjectDe..

논문은 작성하고 싶고, overleaf (latex) 양식 때문에 시간을 해매는게 참..비효율적이다. 자료도 별로 없고.. 잡다한 에러도 많고. 이번 포스팅에다가 Elsevier 양식 이것저것 정리해 보려한다 (투컬럼 기준, Applied energy 저널지 기준임으로 대략적으로 확인하고 하시길) , 원컬럼 자료도 갖고 있긴함.. 어디서 구했는지 몰라서 링크 첨부가 어렵.. 1. 엘스비어 투 칼럼 템플릿 다운 : https://www.overleaf.com/latex/templates/elseviers-cas-latex-double-column-template/hhzpymgjmxfk Elsevier’s CAS LaTeX Double-Column Template - Overleaf, Online LaTeX..

논문링크: https://arxiv.org/abs/2203.00555 DeepNet: Scaling Transformers to 1,000 Layers In this paper, we propose a simple yet effective method to stabilize extremely deep Transformers. Specifically, we introduce a new normalization function (DeepNorm) to modify the residual connection in Transformer, accompanying with theoretically derived i arxiv.org 논문링크: https://arxiv.org/abs/2210.06423 Foundat..

출처: David silver 교수님 자료. 내용 정리 : 교수님 수업 기반에 의한 정리 기타 팁 : 개념 그냥 이해안되도 암기부터 하고나면 이해되긴하더라... 머신러닝에 대해 큰 그림을 그려보면 아래[fig1]와 같을것이다. [fig2]에서 Agent, Environment 에 대해 설명을 해보겠다. Agent는 기본적으로 observation(t), reward(t) 를 받아 action(t)을 수행한다고 생각하면 된다. Environment는 agent의 행동에 대한 action(t)을 받을것이고 변한 다음 observation(t+1), 변한 다음 reward(t+1) 을 받게될것이다. History and State [fig3] History(H)란 말그대로 observation,action,r..