파라미터 수 확인1 [Pytorch, Huggingface] Pretrained Model 의 특정 Layer 만 Freeze 하기 ► Pretrained되어 있는 모델을 load를 하면 Freeze(bias=False)되어 있는 것도 있고 Trainable한 파라미터(bias=True) 인 것도 있다. 어떤 문제를 해결할 것이냐에 따라 Freeze가 유용할수도 있고 아닐 수도 있다. 이번 글에서는 Freeze를 하는 방법에 대해 소개와 동시에 필요한 layer만 Trainable하게 설정하는 방법을 알아보겠다. → 특정 layer만을 Trainable 하게하는 방법은 다음과 같다. 1. 모든 layer에 대해 False로 설정 (=Freeze). 2. 그 후 원하는 layer들에 대해서만 True로 설정. 1. 모델로드→ DETR모델 활용중from transformers import DetrForObj.. 2024. 4. 28. 이전 1 다음
