인공지능 (기본 딥러닝)/딥러닝 사이드 Project12 [CNN-Pytorch, Finetuning] 커스텀 데이터 활용 이미지 분류 예제 코드 설명 소개 : 사람의 action 분류를 위해 Dataset을 통해 간단하게 코드를 작성하였다. 사람의 관절값을 추출하여 Human action recognition을 할 수 있지만, 여기서는 사람의 action자체를 이미지 분류 모델에 넣어서 분류 모델을 만듬. 코드 개요 : 모델을 만들기보다는 Finefuning을 수행함. , Early stopping 은 수행하지 않음. 난이도 : ★☆☆☆☆ 주의: Kaggle Dataset에서 잘못된 파일명(?)이 있음, 그부분을 삭제해주고 시작해야함. ex)파일명뒤에 (1) 이렇게 붙어있음. Dataset 출처 : https://www.kaggle.com/datasets/meetnagadia/human-action-recognition-har-dataset Hu.. 2024. 6. 23. [Image Captioning] 이미지 캡셔닝 튜토리얼 들어가기전에..1. 이미지 캡셔닝에 대한 원리는 알고 있다는 전재하에 서술함.2. 모델은 Encoder는 Resnet50, Decoder는 GRU를 사용함.3. Flickr8k 데이터셋 사용함. (Download: https://www.kaggle.com/datasets/adityajn105/flickr8k)4. 이미지 캡셔닝 과정은 크게 2가지 과정으로 구성된다. 1). 전처리 과정 - text (caption) 전처리 2). 모델 설계 및 학습. Step1. 전처리 과정 - 토큰화 (단어 토큰화 적용)1. 필요 모듈 importimport pandas as pdimport torchimport torch.nn as nnfrom torch import optimfrom torch... 2024. 5. 19. [DETR Fine Tuning] DETR 모델을 활용한 Object detection 1. 필요 모듈 설치 ➢ 중요한 모듈만 언급- torch (https://pytorch.org/get-started/previous-versions/) local 컴퓨터 버전에 맞게 알맞게 설치하기..# CUDA 11.7conda install pytorch==1.13.0 torchvision==0.14.0 torchaudio==0.13.0 pytorch-cuda=11.7 -c pytorch -c nvidia- transformerspip install transformers- pytorch-ligtningpip install pytorch-lightning 2. 데이터 셋 준비- 주의사항: DETR 의 데이터셋 format은 COCO format 으로 준비되어야 함. (다운 받은 데이터 셋의 .. 2024. 4. 25. [MediaPipe] Gesture Recognition 을 이용한 모션인식 ❏ 목적: 제스쳐를 통한 제어 (맨 아래 github 들어가면 모든 코드 확인가능함) ❏ Mediapipe Gesture Recognition 간단설명 이미지로 손을 학습하나 생각할 수 있으나 그게아니였다.. 손에 대한 관절 포인트(= landmark) 21개를 이미 다 학습을 시켜놓아서 손을 보면 실시간으로 손의 좌표(x,y,z) 따주는것임. where, x는 가로, y 세로, z 는 카메라로 부터의 거리. 학습에 사용되는 feature = landmark data[21 *3] + landmark visibility[21]+ 손가락 각도 데이터[15개] =총 99개 ❏ 모델 : CNN- LSTM 데이터를 수집을 많이 한것도 아니고 모델이 깊은것도 아닌데. 생각보다 잘되더라..( 카메라 각도와 손의 각도.. 2023. 11. 18. [ViT] 비전 트랜스포머 코드구현 및 실행. 논문: https://arxiv.org/abs/2010.11929 참고 깃허브: https://github.com/FrancescoSaverioZuppichini/ViT/tree/main 필자 깃허브( 코드 다운) : https://github.com/YongTaeIn/ViT ❏ 아래의 ppt와 같은 구조로 모델이 수행된다. ➢사실상 Transformer모델을 간파하고 있다면 초기의 input에서 patch로 변환하는것 이외에는 색다른 부분이 없다. ➢ Patching +CLS Token+ embedding # patch embedding # Add CLS Token # position embedding import torch import torch.nn.functional as F import matp.. 2023. 8. 11. AutoFormer 코드 설명 및 적용. 참고글: https://huggingface.co/blog/autoformer Autoformer 공식 github: https://github.com/thuml/Autoformer 논문: https://arxiv.org/pdf/2106.13008.pdf 필자의 Autoformer_encdoer를 이용한 시계열 예측 github: https://github.com/YongTaeIn/Autoformer_encoder_time_series/tree/master ✓ Auto Former 는 크게 두가지 기술이 들어간다. -> 그리고 아래 두가지 기술에 대해 적용하는 방법을 설명할 것이다. 1. Series Decomposition (시계열 분해) 2 Attention layer - > Auto Correlat.. 2023. 7. 16. 이전 1 2 다음
