전체 글27 [LLM] Transformer에서 Attention 기능이 중요한 이유? 자연어 모델을 다룰 때는 tokenizer, model 두 개가 필요하다.주어진 문장을 몇 개의 토큰으로, 어떻게 나눌지가 tokenizer의 역할, 나누어진 각 토큰을 벡터로 나타내는 것이 사전 훈련된 model의 역할이다.대규모의 데이터셋으로 사전 훈련을 했기 때문에, tokenizer, model이 어떤 문장이 입력으로 들어와도 이를 잘 수행할 수 있다. (물론 얼마나 많이, 잘 훈련했는지의 성능에 따라 다름) 입력 데이터의 shape은 실제 문장에서 처리한 토큰으로 카운트됨 -> (batch_size, token_num)([CLS]와 [SEP] 토큰이 자동으로 포함) 출력 값에서의 last_hidden state의 shape은 모델이 처리한 모든 토큰을 카운트함 -> (batch_size, to.. 2025. 2. 25. 코딩 테스트에서 사용자의 입력 받을 수 있는 여러 가지 함수 from sys import stdin1) input = sys.stdin.readline2) t = int(stdin.readline())3) sys.stdin.readline().strip()4) input() 코딩 테스트 문제를 푸면서 다른 사람 코드를 보면, 위의 4가지 경우를 많이 보게 된다 (1,2,3번은 같은 경우).보통 본인은 거의 대부분은 4번을 사용한다. 하지만 시간 초과의 이유 때문에 4번이 아닌 다른 함수를 사용해야 하는 경우도 맞닥뜨리게 된다. 그럴때마다 이들의 차이가 무엇인지, 각각 어느 때에 사용하면 되는지 헷갈릴 때가 많다.그래서 이들의 용도를 소개해보려 한다. 1, 4번) python 내장 함수인 input()으로 입력 받으면 시간 초과로 오답 처리가 되고, sys .. 2024. 6. 4. Adam (Adaptive Moment Estimation) 인공지능 모델 학습할 때, loss function 값 줄이려고 gradient descent해서 weight값들 update시켜나가듯이,'Adam' 역시 weight 업데이트하는 방법 중 하나이다. Adam은 momentum (방향을 담당함)과 RMSprop (보폭을 담당한)를 합친 방법으로,쉽게 말하면 momentum은 시점에 대해 gradient를 누적하는 방법으로 weight를 업데이트 하는 것, 즉, 관성처럼 움직이고,RMSprop는 크기를 누적한 값을 나누어줘서 전체적으로 weight값을 평준화시키는 방법으로 업데이트 하는 것이다.즉, 너무 폭을 좁게 서치했다 싶으면 큼직하게 서치하고, 너무 폭을 크게 서치했다 싶으면 좁게 서치하는 것이다. 수식으로 보자면, momentum은 이전 시점의 값에.. 2024. 5. 4. vscode로 파이썬 개발 환경 만들기 일단 첫 번째는 알고리즘 만들고 작업하려면 개발하는 곳이 필요하다.vscode에서 컴퓨터와 우리가 python으로 소통하자는 거지.그리고 소스관리는 github에서 해보자는 거지. - 개발 tool : vscode- 개발 언어 : python- 개발 소스 관리 : github 참고로 이 과정은 하나의 프로젝트가 시작되면, 새로 구축해줘야 하는 과정이다.해당 프로젝트만의 가상환경을 만들고 그 안에서 관련 소스 관리 및 배포 진행하면 되는 거지.(개발 환경 세팅이 젤 까다롭고 복잡하다던데....? 음 얼마나 어려운지 함 해보자고.) 1. conda부터 다운 -> 가상환경 생성 -> vscode에 연결 후 사용https://taeguu.tistory.com/72 [mac m1] Visual Studio .. 2024. 4. 24. Fast campus(혁펜하임) - 강화학습 다음 글은 패스트캠퍼스의 혁펜하임 선생님의 강의를 듣고 해당 챕터에 대한 내용을 본인의 것으로 만들기 위해 핵심 정리, 그리고 개인적인 생각을 더한 글이다. 마지막엔 앞으로 본인의 것으로 완전히 만드는 연습을 위해 TODO란을 적어보았다. 강화학습이란? 어떤 특정 Action을 말그대로 강화(능력치를 높이는?)되도록 학습시키는 것이다. 혁펜하임 쌤의 말을 빌리자면, 강화학습에는 용어가 많이 나오게 된다. 예를 들어서 강화학습을 위한 용어를 세팅해보자. Agent: 강아지 Reward: 간식 Environment: 보호자 (강화하고자 하는)Action: 손 -> 용어를 풀어서 말로 설명하자면, 강아지가 간식을 얻고자 보호자로부터 손을 내미는 액션을 유도함으로써 강화학습을 진행하는 것이다. 손을 내밀어야만 .. 2023. 10. 21. 이전 1 2 3 4 5 6 다음
