인공지능 (Deep Learning)36 [Pytorch] 모델 생성시, super().__init__() 파이토치를 활용해서 모델을 만들면 항상 Super(class명, self).__init__() = Super().__init__() 를 해주었는데 어떤 기능을 하는건지 확인을 해보았다. (뒤의 두개는 같은 기능임) import torch.nn as nn # Neural Network, activation function 모듈의 기본 클래스 import torch class model_name(nn.Moudle): def__init__(self): super(model_name,self).__init__() self.layer_1=nn.Linear( in_features=32, out_features=16 ) def forward(self,x): x=self.layer_1(x) return x ➢ 부모 클.. 2023. 11. 1. [ViT] 비전 트랜스포머 코드구현 및 실행. 논문: https://arxiv.org/abs/2010.11929 참고 깃허브: https://github.com/FrancescoSaverioZuppichini/ViT/tree/main 필자 깃허브( 코드 다운) : https://github.com/YongTaeIn/ViT ❏ 아래의 ppt와 같은 구조로 모델이 수행된다. ➢사실상 Transformer모델을 간파하고 있다면 초기의 input에서 patch로 변환하는것 이외에는 색다른 부분이 없다. ➢ Patching +CLS Token+ embedding # patch embedding # Add CLS Token # position embedding import torch import torch.nn.functional as F import matp.. 2023. 8. 11. AutoFormer 코드 설명 및 적용. 참고글: https://huggingface.co/blog/autoformer Autoformer 공식 github: https://github.com/thuml/Autoformer 논문: https://arxiv.org/pdf/2106.13008.pdf 필자의 Autoformer_encdoer를 이용한 시계열 예측 github: https://github.com/YongTaeIn/Autoformer_encoder_time_series/tree/master ✓ Auto Former 는 크게 두가지 기술이 들어간다. -> 그리고 아래 두가지 기술에 대해 적용하는 방법을 설명할 것이다. 1. Series Decomposition (시계열 분해) 2 Attention layer - > Auto Correlat.. 2023. 7. 16. [트랜스포머] 트랜스포머 인코더를 이용한 시계열 예측. 목표: 시계열 데이터를 트랜스포머 인코더를 이용하여 예측해보자. 전체코드: https://github.com/YongTaeIn/Transformer-Encoder-model-for-time-series.git 0. Input shape 의 변환 순서 1 번과정, embedding = [batch size, time_seq, feature_dim] 2번 과정, positional Encoding =[batch size, time_seq, d_model] 3번과정~4번과정Encoder blcok= [batch size, time_seq, d_model] 5번과정, FFW =[batch size, time_seq, 본인설정] 6번과정 ,차원축소=[batch size, time_seq] 7번과정, Dense =.. 2023. 7. 13. 오차함수 vs 최적화함수 vs 활성화 함수. 1. 오차함수(error function) =손실함수(loss function)=비용함수(cost function) ➢ 학습을 통해 나온 예측값과, 실제값(ground truth)값의 차. ➢예시) MAE,MSE, Cross Entropy 등등.. 참고할 만한 블로그(오차 함수 정리 해둠.):https://heekangpark.github.io/SKKU_swe3050/04-error-functions 2.최적화 함수 ➢ loss(오차) 값을 줄여나가는 방법으로 가중치(weight)를 업데이트 해가며 학습함. ➢예시) Adam, RMSProp 등등.. (=오차 역전파, 역전파) 참고할 만한 블로그(최적화 함수 정리 해둠.): https://east-rain.github.io/docs/Deep%20Lear.. 2023. 3. 16. [퍼옴] 머신러닝 모델 활성화함수(Activation function) 선택 방법. 출처:https://joytk.tistory.com/51 2023. 3. 9. 이전 1 2 3 4 5 6 다음