전체 글139 [논문리뷰: 핵심개념만] DRAMA: Joint Risk Localization and Captioning in Driving 0. Abstract- 일본에서 자율주행한 17,785개의 데이터,- 영상에 대한 captioning- 특히 risk localization (위험지점 찾기), risk captioning (위험 설명)에 초점이 맞춰짐 1. Introduction- 각각의 video_clip은 차량이 브레이크를 밟은 시점을 기준으로 인식한 위험을 묘사함.- what, which, where, why, how 를 통합하여 caption을 만듬. Contribution- 중요객체와 관련된 위험에 대한 이유에 초점을 맞추어서 데이터 구성함.- Caption 은 개방형 (답변이 정해져 있지 않은것, 자연어로 묘사등등..), 폐쇄형 데이터(미리 정의된 답변 구성이 있는것)로 구성됨.- Risk lacalization에 맞춰진 .. 2025. 3. 4. [Multimodal Large Language Model - Part 5] GenerationMixin 클래스/ generate 메소드 ✓ 서론 : 언어모델은 가장 높은 확률의 토큰을 내뱉는다는 것은 너무나도 자명하다. 하지만 이를 Huggingface에서는 어떻게 제공 하는지 간략하게 설명을 해보겠다. ✓ GenerationMixin : auto-regressive text 생성시 필요한 기능(메소드)을 담고 있는 클래스 → 그 중에서도 generate메소드가 중요하게 사용된다. - auto-regressive 방식(디코더 전용방식) : GPT, LLaMA, LLaVA 등등 - Masked Language Model 방식 (인코더 전용방식): BERT, RoBERTa 등등 ✓ generate() : Generates sequences of token ids for models with a language modelin.. 2025. 3. 1. [Multimodal Large Language Model - Part 4] Autoclass 1. 목적 : 경로설정으로 원하는 아키텍처를 불러오는 API 2. 장점 : 원하는것(Model, Preprocessor 등)을 편하게 불러옴 3. 사용법 : Auto~.from_pretrained( pretrained_model_name_or_path=' ') (경로설정을 아래와 같이 두가지 방식으로 할 수 있음) - Huggingface에서 모델 다운. - Local 에서 불러오기. model = AutoModel.from_pretrained("google-bert/bert-base-cased")(대표적인 Autoclass 튜토리얼 : https://huggingface... 2025. 2. 27. [논문리뷰: 핵심개념만] VLAAD: Vision and Language Assistant for Autonomous Driving - 나의 개인연구에 필요한 정보만 취득하기 위해 필요부분만 정리함. 2025. 1. 22. [The ONE THING] 개인적인 평가:대학원에서 연구실 생활을 하다보니 연구도 연구인데 잡무가 생가고다 많았다. 내 연구를 할 시간이 있어도 중간중간 어떤 이벤트가 발생하였다. 그래서 아마 읽게된 책으로 기억한다. 복잡한 세상을 나는 단순하게 살아간다고 생각을 하고 있었는데 이책을 보며 다시 한번 정립하게 되었다. 이책은 1년전에도 읽었는데 최근에 정신이 복잡한 나에게 단순한 방향성(?)을 조언해준 책이여서 참으로 괜찮은 책이라고 생각하다. 책에서 하는말은 딱 세 문장으로 말 할 수 있을것 같다. 무언가를 이루기 위해서는 그 하나만 해야한다.하지만 그 하나라는 것은 유리공(가족,건강,주변사람 등등)과 고무공(일,업무 등등) 이 있다. 유리공과 고무공을 병렬적으로 처리하기보단, 특정 순간에 그 공에만 집중하라. 하지만 유리공은.. 2025. 1. 12. 내가 생각하는 독서의 이유 나는 원래부터 독서를 좋아하지는 않았다. 그래서 그런지 학창시절 국어점수 또한 높지 않았다. 아마 대학교 4학년 때부터 였을까? 지하철을 타고 학교를 다니는 시간이 너무나도 아깝게 느껴졌다. sns, 숏츠 등을 좋아하지 않아 시간이 너무 무의미 한것이었다. 그때 부터 인가 독서를 시작하기 시작했다. 그리고 누군가의 지혜를 단지 책한권으로 배울 수 있다는 점이 너무나도 장점으로 느껴졌다. 그렇게 독서를 하고 있는데, 기록을 하지 않다보니 독서한 기억은 있는데, 책의 구체적인 내용이 기억이 나지 않는것이다. 그래서 독서를 하고 끝을 마칠때마다 블로그에 책에서 인상 깊은 내용을 적어가며 삶에 도움을 얻고 싶어서 이렇게 시작하게 되었다. 독서의 이유를 짧게 나열하면 아래와 같다. (주로 나는 비문학을 읽는다) .. 2025. 1. 11. 이전 1 2 3 4 ··· 24 다음
