목록전체 글 (125)

시작은 미약하였으나 , 그 끝은 창대하리라

[Huggingface Trainer, SFTTrainer, TrainingArguments 설명 및 코드]

LLM,MLLM,LMM 등의 모델등의 발달로 인해 Training을 좀더 편하게 할 수 있는 Trainer, SFTTrainer 방법이 주로 사용된다.  ► Trainer와 SFTTrainner 는 Transformers 모듈 내부의 학습하는 class이다.FeatureTrainerSFTTrainer(Supervised fine-tuning of pre-trained models)PurposeGeneral –purpose training from scratchSupervised fine-tuning of pre-trained modelsCustomizationHighly customizableSimpler interface with fewer optionsTraining workflowHandles co..
인공지능/딥러닝 스크래치 코드 2024. 10. 23. 14:12
[Multi GPU] MultiGPU를 통한 학습

1.  핵심 코드import torch.nn.parallel# deivce_ids : 학습에 사용할 GPU# oudput_device : 출력이 모이는 GPU, 즉 loss 계산과정을 output_device에서 하겠다는 의미.resnet_model = nn.DataParallel(resnet_model, device_ids=[0,1,2],output_device=2)  - 작동원리.        1. 매 iteration마다 Batch를 GPU의 개수만큼 나눈다. (scatter)    2. 모델을 각 GPU에 복사함. (replicate)    3. 각 GPU에서 forward 진행.    4. 각 GPU에서의 출력을 하나의 GPU로 모음 (gather)          1. 하나의 GPU에서 out..
인공지능/딥러닝 및 파이토치 기타 정리 2024. 8. 27. 10:02
[LoRA] Low-Rank Adaptation of Large Language models

인공지능/딥러닝 및 파이토치 기타 정리 2024. 8. 22. 20:55
[논문리뷰: 핵심개념만] Vision GNN : An Image Is Worth Graph of Nodes

- 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함.
논문 리뷰 2024. 8. 19. 14:52
[CNN-Pytorch, Finetuning] 커스텀 데이터 활용 이미지 분류 예제 코드 설명

소개 : 사람의 action 분류를 위해 Dataset을 통해 간단하게 코드를 작성하였다. 사람의 관절값을 추출하여 Human action recognition을 할 수 있지만, 여기서는 사람의 action자체를 이미지 분류 모델에 넣어서 분류 모델을 만듬. 코드 개요 : 모델을 만들기보다는 Finefuning을 수행함.  , Early stopping 은 수행하지 않음. 난이도 : ★☆☆☆☆ 주의:  Kaggle Dataset에서 잘못된 파일명(?)이 있음, 그부분을 삭제해주고 시작해야함.  ex)파일명뒤에 (1) 이렇게 붙어있음. Dataset 출처 : https://www.kaggle.com/datasets/meetnagadia/human-action-recognition-har-dataset Hu..
인공지능/딥러닝 사이드 Project 2024. 6. 23. 14:37
[논문리뷰: 핵심개념만] Pure Transformers are Powerful Graph Learners

- 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함.
논문 리뷰 2024. 6. 23. 13:54
[논문리뷰: 핵심개념만] Unified vision-language pre-training for image captioning and vqa

- 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함.
논문 리뷰 2024. 6. 3. 14:55
[import os] 파일 호출, 삭제, 생성 명령어.

1. 파일 경로 join을 활용한 호출.import ostest_path = './dataset/video'file_name = 'basketball_1'path= os.path.join(test_path, 'YouTubeClips', file_name)  2. 특정 path 삭제.     -주의사항 : shutil.rmtree 는 path 하위 디렉토리의 모든것을 삭제함으로 주의 해야함.import osif os.path.exists(path): shutil.rmtree(path)  3. 폴더 생성.    - os.makedirs 는 하위 디렉토리의 폴더까지 한번에 생성할 수 있음.       ex) mkdir의(폴더 생성 명령어) 경우 path= './a/b' 를 하면 a폴더가 없다면 b를 생성..
인공지능/딥러닝 및 파이토치 기타 정리 2024. 5. 26. 09:42
Prev 1 2 3 4 ··· 16 Next