일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 모델 구조 변경
- 가상환경
- def train
- Foundation Transformers
- cnn
- 특정 layer 동결
- MLLM
- 주식
- 특정 layer 추출
- def validation
- DeepNet
- 논문 작성
- 논문 작성 요령
- 주식 용어정리
- 논문리뷰
- KOSMOS-2
- 3C4P
- 파라미터 수
- 가중치 없이 모델 로드
- mqtt
- Multimodal Large Language Model
- Instruction dataset
- 파라미터 수 확인
- Video Understanding
- 모델 freeze
- 모델 동결
- layer 추출
- mPLUG-2
- 강화학습
- pretrained model layer
- Today
- Total
목록강화학습 (3)
시작은 미약하였으나 , 그 끝은 창대하리라
출처 및 참고: https://www.youtube.com/watch?v=6KSf-j4LL-c&ab_channel=SungKim 1. Nondeterminisitc (Stochastic) 의미: 일정하지않다, 랜덤으로 실행되는.. 그림1 설명: 방향 설정을 하더래도 어느 방향으로 가는지가 일정하지 않은것이다. 그림2 설명: Deterministic 의 경우 알맞은 명령어에 따라 알맞게 agent 가 이동한다. 반면 Stochastic의 경우 명령어에 따라 알맞게 agent가 이동하지 않는다. 2. 앞장의 수식에서 문제점 3.해결법 4. Q-learning algorithm 5.실습 (slippery=True) 이번 장에서 수정된 식으로 하여 코드를 수정하였다.(그림3 참고) 6. 실습 코드 import ..
출처 및 참고: https://www.youtube.com/watch?v=MQ-3QScrFSI&ab_channel=SungKim (기반으로 작성된 글입니다) 2장에서의 배운내용. 의미 : '현재의 Q값은 실행해서 얻어지는 reward+그다음 단계에서 얻어지는 가장큰 reward' 이다. 1. 기존의 문제점: [2장]에서 Dummy Q learning 에 대해 배웠었는데 문제점이 존재한다. 정책(파이 옵티멀)에 의해 Q 값이 최대 가 되는 a(action)를 수행하며 나가는데 이것이 진짜 최적의 경로가 맞냐는 문제가 발생한다. (계속 동일한 경로로만 가게됨) 2. 해결법: 이러한 비효율적인 동일한 경로로 가는것을 방지하기 위해 익숙한곳(Exploit) 과 새로운곳(Exploration) 을 가본다. 3. ..
출처:https://www.youtube.com/watch?v=Vd-gmo-qO5E&ab_channel=SungKim (기반으로 작성된 글입니다) 1. Q의 역할: 2. MaxQ , π*(s) 란? 3. Q(s,a)의미 4. Q Learning 예시 그림설명: 마지막 부부(초록색)에서의 reward는 1 이다. Q햇 (s,a) 식에 의해서, 빨간색박스의값= 1+max(0,0,0,0) = 1 이다. 그림설명: Q(s_13,a_right)의 값은 위와 같은 계산 과정에 따라 결정 된다. 그림설명: Optimal policy 를 따라 이동하며 agent가 성공함(초록색에 도착함), 1의 숫자만 따라서 감. 5. Q Learning 정리 6. 실습 6_1 코드 import gym import numpy as n..