전체 글136 [Multi GPU] MultiGPU를 통한 학습 1. 핵심 코드import torch.nn.parallel# deivce_ids : 학습에 사용할 GPU# oudput_device : 출력이 모이는 GPU, 즉 loss 계산과정을 output_device에서 하겠다는 의미.resnet_model = nn.DataParallel(resnet_model, device_ids=[0,1,2],output_device=2) - 작동원리. 1. 매 iteration마다 Batch를 GPU의 개수만큼 나눈다. (scatter) 2. 모델을 각 GPU에 복사함. (replicate) 3. 각 GPU에서 forward 진행. 4. 각 GPU에서의 출력을 하나의 GPU로 모음 (gather) 1. 하나의 GPU에서 out.. 2024. 8. 27. [LoRA] Low-Rank Adaptation of Large Language models 2024. 8. 22. [논문리뷰: 핵심개념만] Vision GNN : An Image Is Worth Graph of Nodes - 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함. 2024. 8. 19. [CNN-Pytorch, Finetuning] 커스텀 데이터 활용 이미지 분류 예제 코드 설명 소개 : 사람의 action 분류를 위해 Dataset을 통해 간단하게 코드를 작성하였다. 사람의 관절값을 추출하여 Human action recognition을 할 수 있지만, 여기서는 사람의 action자체를 이미지 분류 모델에 넣어서 분류 모델을 만듬. 코드 개요 : 모델을 만들기보다는 Finefuning을 수행함. , Early stopping 은 수행하지 않음. 난이도 : ★☆☆☆☆ 주의: Kaggle Dataset에서 잘못된 파일명(?)이 있음, 그부분을 삭제해주고 시작해야함. ex)파일명뒤에 (1) 이렇게 붙어있음. Dataset 출처 : https://www.kaggle.com/datasets/meetnagadia/human-action-recognition-har-dataset Hu.. 2024. 6. 23. [논문리뷰: 핵심개념만] Pure Transformers are Powerful Graph Learners - 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함. 2024. 6. 23. [논문리뷰: 핵심개념만] Unified vision-language pre-training for image captioning and vqa - 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함. 2024. 6. 3. 이전 1 2 3 4 5 6 ··· 23 다음
