VIT1 [ViT] 비전 트랜스포머 코드구현 및 실행. 논문: https://arxiv.org/abs/2010.11929 참고 깃허브: https://github.com/FrancescoSaverioZuppichini/ViT/tree/main 필자 깃허브( 코드 다운) : https://github.com/YongTaeIn/ViT ❏ 아래의 ppt와 같은 구조로 모델이 수행된다. ➢사실상 Transformer모델을 간파하고 있다면 초기의 input에서 patch로 변환하는것 이외에는 색다른 부분이 없다. ➢ Patching +CLS Token+ embedding # patch embedding # Add CLS Token # position embedding import torch import torch.nn.functional as F import matp.. 2023. 8. 11. 이전 1 다음
