본문 바로가기

전체 글136

AutoFormer 코드 설명 및 적용. 참고글: https://huggingface.co/blog/autoformer Autoformer 공식 github: https://github.com/thuml/Autoformer 논문: https://arxiv.org/pdf/2106.13008.pdf 필자의 Autoformer_encdoer를 이용한 시계열 예측 github: https://github.com/YongTaeIn/Autoformer_encoder_time_series/tree/master ✓ Auto Former 는 크게 두가지 기술이 들어간다. -> 그리고 아래 두가지 기술에 대해 적용하는 방법을 설명할 것이다. 1. Series Decomposition (시계열 분해) 2 Attention layer - > Auto Correlat.. 2023. 7. 16.
[트랜스포머] 트랜스포머 인코더를 이용한 시계열 예측. 목표: 시계열 데이터를 트랜스포머 인코더를 이용하여 예측해보자. 전체코드: https://github.com/YongTaeIn/Transformer-Encoder-model-for-time-series.git 0. Input shape 의 변환 순서 1 번과정, embedding = [batch size, time_seq, feature_dim] 2번 과정, positional Encoding =[batch size, time_seq, d_model] 3번과정~4번과정Encoder blcok= [batch size, time_seq, d_model] 5번과정, FFW =[batch size, time_seq, 본인설정] 6번과정 ,차원축소=[batch size, time_seq] 7번과정, Dense =.. 2023. 7. 13.
오차함수 vs 최적화함수 vs 활성화 함수. 1. 오차함수(error function) =손실함수(loss function)=비용함수(cost function) ➢ 학습을 통해 나온 예측값과, 실제값(ground truth)값의 차. ➢예시) MAE,MSE, Cross Entropy 등등.. 참고할 만한 블로그(오차 함수 정리 해둠.):https://heekangpark.github.io/SKKU_swe3050/04-error-functions 2.최적화 함수 ➢ loss(오차) 값을 줄여나가는 방법으로 가중치(weight)를 업데이트 해가며 학습함. ➢예시) Adam, RMSProp 등등.. (=오차 역전파, 역전파) 참고할 만한 블로그(최적화 함수 정리 해둠.): https://east-rain.github.io/docs/Deep%20Lear.. 2023. 3. 16.
[퍼옴] 머신러닝 모델 활성화함수(Activation function) 선택 방법. 출처:https://joytk.tistory.com/51 2023. 3. 9.
[퍼옴] Epoch, Step, Batch size 정리 출처: http://esignal.co.kr/ai-ml-dl/?board_name=ai_ml_dl&search_field=fn_title&order_by=fn_pid&order_type=desc&board_page=1&list_type=list&vid=15 예시설명이 너무 좋아서 보고 반해버렸다.. ➢ Batch size 크기 선택 : 결론: 일반적으로는 작은것 사용 클수록: 학습속도 빠름, 비교적 안정적인 학습이 가능. (local optimal 에 빠질 위험 존재.) 작을수록: local optimal 에서 빠져나올수 수있다. (출처:https://ladun.tistory.com/85) 2023. 2. 28.
[CNN-Tensorflow] 커스텀 데이터 활용 이미지 분류 예제 코드 설명 이미지 데이터 출처: https://www.kaggle.com/datasets/pranavraikokte/covid19-image-dataset Covid-19 Image Dataset3 Way Classification - COVID-19, Viral Pneumonia, Normalwww.kaggle.com  1.모듈 불러옴# impot moduleimport tensorflow as tfimport matplotlib.pyplot as plt #이미지 확인용 모듈import matplotlib.image as mpimg #이미지 확인용 모듈import osimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras.models impor.. 2023. 2. 26.

티스토리툴바