전체 글140 Seq2Seq vs Attention vs Self Attention 글의 목적 : 한참 쓸때는 잘 알다가 잠깐 안쓰니깐 햇갈려서, 햇갈리는 차이(?)만 그림으로 정리했다. 1. Seq2Seq아래의 그림이 끝이다.1. 각각의 파랑색 cell(STM , RNN 등)들이 흘러흘러~~ 가서 마지막 셀에서 Context vector를 뽑아낸다. 2. 즉, Context vector 는 마지막 cell의 Hidden state이다. 단점 : 1. Context vector는 고정된 사이즈 임으로, 모든 정보를 압축하지 못하는 한계 존재2. RNN, LSTM의 근본적인 한계점인 '장기 의존성 문제' 문제 발생 2. Attention Mechanism아래와 같이 2개의 그림으로 보면 이해가 편하다. -> Seq2Seq 와는 다르게 각각의 셀에서 나온 모든 Hidden state를 활.. 2025. 4. 2. [논문리뷰: 핵심개념만] DRAMA: Joint Risk Localization and Captioning in Driving 0. Abstract- 일본에서 자율주행한 17,785개의 데이터,- 영상에 대한 captioning- 특히 risk localization (위험지점 찾기), risk captioning (위험 설명)에 초점이 맞춰짐 1. Introduction- 각각의 video_clip은 차량이 브레이크를 밟은 시점을 기준으로 인식한 위험을 묘사함.- what, which, where, why, how 를 통합하여 caption을 만듬. Contribution- 중요객체와 관련된 위험에 대한 이유에 초점을 맞추어서 데이터 구성함.- Caption 은 개방형 (답변이 정해져 있지 않은것, 자연어로 묘사등등..), 폐쇄형 데이터(미리 정의된 답변 구성이 있는것)로 구성됨.- Risk lacalization에 맞춰진 .. 2025. 3. 4. [Multimodal Large Language Model - Part 5] GenerationMixin 클래스/ generate 메소드 ✓ 서론 : 언어모델은 가장 높은 확률의 토큰을 내뱉는다는 것은 너무나도 자명하다. 하지만 이를 Huggingface에서는 어떻게 제공 하는지 간략하게 설명을 해보겠다. ✓ GenerationMixin : auto-regressive text 생성시 필요한 기능(메소드)을 담고 있는 클래스 → 그 중에서도 generate메소드가 중요하게 사용된다. - auto-regressive 방식(디코더 전용방식) : GPT, LLaMA, LLaVA 등등 - Masked Language Model 방식 (인코더 전용방식): BERT, RoBERTa 등등 ✓ generate() : Generates sequences of token ids for models with a language modelin.. 2025. 3. 1. [Multimodal Large Language Model - Part 4] Autoclass 1. 목적 : 경로설정으로 원하는 아키텍처를 불러오는 API 2. 장점 : 원하는것(Model, Preprocessor 등)을 편하게 불러옴 3. 사용법 : Auto~.from_pretrained( pretrained_model_name_or_path=' ') (경로설정을 아래와 같이 두가지 방식으로 할 수 있음) - Huggingface에서 모델 다운. - Local 에서 불러오기. model = AutoModel.from_pretrained("google-bert/bert-base-cased")(대표적인 Autoclass 튜토리얼 : https://huggingface... 2025. 2. 27. [논문리뷰: 핵심개념만] VLAAD: Vision and Language Assistant for Autonomous Driving - 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함. 2025. 1. 22. [The ONE THING] 개인적인 평가:대학원에서 연구실 생활을 하다보니 연구도 연구인데 잡무가 생가고다 많았다. 내 연구를 할 시간이 있어도 중간중간 어떤 이벤트가 발생하였다. 그래서 아마 읽게된 책으로 기억한다. 복잡한 세상을 나는 단순하게 살아간다고 생각을 하고 있었는데 이책을 보며 다시 한번 정립하게 되었다. 이책은 1년전에도 읽었는데 최근에 정신이 복잡한 나에게 단순한 방향성(?)을 조언해준 책이여서 참으로 괜찮은 책이라고 생각하다. 책에서 하는말은 딱 세 문장으로 말 할 수 있을것 같다. 무언가를 이루기 위해서는 그 하나만 해야한다.하지만 그 하나라는 것은 유리공(가족,건강,주변사람 등등)과 고무공(일,업무 등등) 이 있다. 유리공과 고무공을 병렬적으로 처리하기보단, 특정 순간에 그 공에만 집중하라. 하지만 유리공은.. 2025. 1. 12. 이전 1 2 3 4 ··· 24 다음
