일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- KOSMOS-2
- 특정 layer 동결
- Multimodal Large Language Model
- def train
- vsocde 익스텐션
- mqtt
- DeepNet
- 가상환경
- Instruction dataset
- layer 추출
- Video Understanding
- cnn
- MLLM
- 모델 freeze
- 논문 작성
- 주식 용어정리
- Foundation Transformers
- 강화학습
- 논문리뷰
- mPLUG-2
- 논문 작성 요령
- 모델 동결
- def validation
- 특정 layer 추출
- pretrained model layer
- 파라미터 수
- 모델 구조 변경
- 파라미터 수 확인
- 주식
- 가중치 없이 모델 로드
- Today
- Total
목록전체 글 (116)
시작은 미약하였으나 , 그 끝은 창대하리라
- 새로 알게 된점 및 중요사항: 1. 시계열 데이터를 성능검증할때 sktime의 temporal_train_test_split 사용. (시계열에서 이걸사용하는게 맞음. 순서 정보 유지해야 하니깐.) = train_test_split( shuffle=False) 랑 동일 함. (시계열에서는 False 해야함) 2. seed 를 여러개로 설정후 반복해서 모델을 일반화 하여 평가함. 3. test_size를 0.0~1.0 의 float 형태로 할 수 있지만. 구체적인 int값으로 하여 설정가능. int로 하면 test_size의(시계열 데이터에서 가장 최근데이터(마지막데이터)) 구체적인 값의 범위 설정가능 # 1번 확인을 위한 예시 코드 from sktime.forecasting.model_selection..
➢ sns.pointplot : 중앙값으로 표현하는 plot ➢ 기타. 1. building_type 이라는 컬럼명에서 type 별로 분류하는 코드. other_buildings = train_merge[train_merge['building_type'] == 'Other_Buildings'] Public = train_merge[train_merge['building_type'] == 'Public'] University = train_merge[train_merge['building_type'] == 'University'] Data_Center = train_merge[train_merge['building_type'] == 'Data_Center'] Department_Store_and_Outle..
참여이유 : 심플하게 말해서 나에 대해 객관화를 하고 싶어 스터디에 들어갔고, 나보다 잘하는 사람들에게 배우고 싶어서 참여했다. 또한 알고 있는 개념들도 많이 있지만 예전에 보았을때와 지금 다시 보았을때 느낌은 다르기 때문에 느껴보고 싶었다. 주관 : https://dacon.io/competitions/official/236162/overview/description [데이스쿨 스터디 1기] 전력사용량 예측 - DACON 분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다. dacon.io def seed_everything(seed: int): import random, os import numpy as np import torch random.seed(seed) os.envi..
논문: https://arxiv.org/abs/2010.11929 참고 깃허브: https://github.com/FrancescoSaverioZuppichini/ViT/tree/main 필자 깃허브( 코드 다운) : https://github.com/YongTaeIn/ViT ❏ 아래의 ppt와 같은 구조로 모델이 수행된다. ➢사실상 Transformer모델을 간파하고 있다면 초기의 input에서 patch로 변환하는것 이외에는 색다른 부분이 없다. ➢ Patching +CLS Token+ embedding # patch embedding # Add CLS Token # position embedding import torch import torch.nn.functional as F import matp..
시계열 데이터를 해석하는 방법에 알아보려 한다. 1. Heatmap # 1. 데이터에서 원하는 feature들만 추출 하여서, 딕셔너리 형태로 만들어줌. data_dict = { 'featrue_1': amp, 'featrue_2': voltage, 'featrue_3': tem, 'featrue_4 ': nu, 'featrue_5 ': cu } # 2. DataFrame의 형식으로 변환 df = pd.DataFrame(data_dict) # 3. heatmap으로 표현. plt.rc('font', size=12) # 기본 폰트 크기 plt.rc('axes', labelsize=13) # x,y축 label 폰트 크기 plt.rc('xtick', labelsize=13) # x축 눈금 폰트 크기 plt...
참고글: https://huggingface.co/blog/autoformer Autoformer 공식 github: https://github.com/thuml/Autoformer 논문: https://arxiv.org/pdf/2106.13008.pdf 필자의 Autoformer_encdoer를 이용한 시계열 예측 github: https://github.com/YongTaeIn/Autoformer_encoder_time_series/tree/master ✓ Auto Former 는 크게 두가지 기술이 들어간다. -> 그리고 아래 두가지 기술에 대해 적용하는 방법을 설명할 것이다. 1. Series Decomposition (시계열 분해) 2 Attention layer - > Auto Correlat..
목표: 시계열 데이터를 트랜스포머 인코더를 이용하여 예측해보자. 전체코드: https://github.com/YongTaeIn/Transformer-Encoder-model-for-time-series.git 0. Input shape 의 변환 순서 1 번과정, embedding = [batch size, time_seq, feature_dim] 2번 과정, positional Encoding =[batch size, time_seq, d_model] 3번과정~4번과정Encoder blcok= [batch size, time_seq, d_model] 5번과정, FFW =[batch size, time_seq, 본인설정] 6번과정 ,차원축소=[batch size, time_seq] 7번과정, Dense =..