전체 글

Attention - Query, Key, Value의 의미?

Attention이 나온 이유? Attention은 LSTM 혹은 RNN으로 만들어진 Encoder Decoder에서 나온 개념입니다. Encoder에 입력에 대한 정보를 은닉벡터로 함축시켜 전달을 하는데, 이 은닉벡터가 모든 정보를 담기 어렵다는 이유에서 탄생하게 되었습니다. Decoder에서 항상 Encoder의 마지막 은닉벡터를 활용하는데, 이 정도에다 +로 Encoder에서 현재 위치와 연관된 단어에 대한 은닉벡터를 다시한번 봐서(집중해서 - Attention) 은닉벡터로 표현하지 못한 부분까지 보려는 노력을 하게됩니다. Attention의 이해 어텐션이 계산되는 과정을 간단히 설명드리고 우리가 궁금한 Query, Key, Value를 알아보겠습니다. Encoder에서 들어온 값은 I am a s..

Hello RL : Frozen Lake 소개 및 기본 코드

Frozen Lake? Frozen Lake는 RL의 hello world와 같은 환경입니다. 게임은 굉장히 간단합니다. 4x4의 환경이 설치됩니다. (0,0) 시작지점에서 (3,3)까지 agent가 이동을 하면 게임이 종료됩니다. 이 때 환경에는 구덩이(H)가 있을 수 있습니다. 그 구덩이를 피해서 목표지점(3,3)까지 이동해야합니다. 구덩이(H)에 빠질경우 캐릭터는 죽게됩니다. (이 각각의 칸을 우리는 state라고 부르죠.) agent는 상하좌우 4개의 action을 할 수 있습니다. 그런데 이 action에 따라 원하는 방향으로 이동하지는 않습니다. 왜냐하면 얼음이기 때문에 미끄러져 다른 state로 이동할 수 있기 때문이죠. 위 예에서 출발을 할 때 아래로 가고 싶어 아래로 이동을 명령하였는데 ..

seaborn을 활용한 시각화

지난 시간에 matplotlib을 활용하여 데이터를 시각화하는 방법에 대하여 알아보았습니다. matplotlib보다 좀 더 편리하게 시각화를 사용할 수 있도록 만들어주는 것이 seaborn 라이브러리입니다. 이번 시간에는 seaborn 라이브러리를 활용하여 데이터를 시각화하는 방법을 알아보도록 하겠습니다. 지난 글 : 2022.08.29 - [Language/Python] - matplotlib을 활용한 시각화 기초 matplotlib을 활용한 시각화 기초 머신러닝, 딥러닝 공부를 하다보면 항상 모델의 평가와 데이터 분석에서 그래프로 시각화하는 코드를 마주하게 됩니다. 코드가 다소 직관적이고 간단하게 그래프를 그릴 수 있어서 읽고 이해하 cnu-jinseop.tistory.com seaborn 라이브러리..

Docker login error : Error saving credentials: error storing credentials 해결방법 (Mac)

도커로 NVIDIA NGC에 접속하려고 하는데 계속 아래와 같은 에러가 발생하였습니다. Error saving credentials: error storing credentials - err: exit status 1, out: 'Post "http://ipc/registry/credstore-updated": dial unix /Users/myrepo/Library/Containers/com.docker.docker/Data/backend.sock: connect: connection refused' 이 경우에는 ~/docker/config.json 경로의 파일에서 아래 코드를 삭제해주면 됩니다. (vi editor로 접속) "credStore": "desktop" 위를 찾아 삭제해주면 정상적으로 로그..