Etc

도커가 필요한 이유

도커 없이 클라우드 환경 이주 한다면.. 지금 우리는 도커가 없는 세상에서 살고 있다고 생각해보자. 우리 회사의 애플리케이션의 클라우드 환경을 구글로 이전하려고 준비중에 있다. 클라우드 서비스는 IaaS, PaaS[1] 이 두가지 중에서 고민하고있다. PaaS를 사용한다면 우리는 애플리케이션의 각 컴포넌트들을 하나씩 하나씩 클라우드의 매니지드 서비스로 옮기는 굉장히 까다로운 작업을 진행해야한다. 이는 또한 특정 클라우드에 종속되는 결과를 낳지만 비용적으로는 운영비를 줄일 수 있다. IaaS를 사용한다면? 이주작업이 굉장히 간단해진다. 각 애플리케이션의 컴포넌트들을 가상머신에서 동작시키면 된다. 특정 클라우드에 종속될 걱정도 없다. 하지만 운영비가 비싸지게 된다. 도커와 함께 클라우드 환경을 이주한다면? ..

글또 7기를 끝 마치며

5월에 글또 7기에 처음 조인하며 벌써 글또 7기의 마지막 글을 작성하게 되었습니다. 이번시간에는 글또 7기를 활동하며 느꼈던 점과 간단하게 글또 7기 활동에 대한 회고를 진행하고자 합니다. 글또를 시작할 때 학부생 때는 인공지능에 대해 많은 관심을 갖고 데이터사이언티스트나 인공지능 연구 혹은 개발자가 되고 싶었습니다. 다양한 ML 프로젝트를 진행하였고 여러가지 공모전도 모두 데이터분석과 관련된 공모전에 참여하며 많은 경험을 쌓았습니다. 군대에 입대 후 전역이 약 1년정도 남은 시점에 진로에 대한 고민을 하기 시작했습니다. 학부때 했던 인공지능을 계속 하는 것이 맞을까? 라는 고민을 정말 많이 했습니다. 왜냐하면 그 당시 제 생각에는 인공지능을 제대로 하기 위해서는 대학원은 필수라고 생각했었기 때문이죠...

Docker login error : Error saving credentials: error storing credentials 해결방법 (Mac)

도커로 NVIDIA NGC에 접속하려고 하는데 계속 아래와 같은 에러가 발생하였습니다. Error saving credentials: error storing credentials - err: exit status 1, out: 'Post "http://ipc/registry/credstore-updated": dial unix /Users/myrepo/Library/Containers/com.docker.docker/Data/backend.sock: connect: connection refused' 이 경우에는 ~/docker/config.json 경로의 파일에서 아래 코드를 삭제해주면 됩니다. (vi editor로 접속) "credStore": "desktop" 위를 찾아 삭제해주면 정상적으로 로그..

[서평]밑바닥부터 시작하는 딥러닝1

서평 전 잡담(이 책을 읽은 이유) 저는 군대를 전역하고 연구실에 조인하여 딥러닝을 공부하기 시작한 지 1달 조금 더 지났습니다. 학부 때 저는 이론적인 기초지식을 차곡차곡 쌓아가며 공부하는 학자형 스타일을 고수하였습니다. 하지만 김영한 님의 강의로 백앤드를 공부하며 이론을 모르더라도 일단 실무적으로 삽질하며 부딪히는 야생형 스타일이 굉장히 빠르게 무엇인가를 습득할 수 있다는 것을 깨달았습니다. 그래서 저는 연구실에 조인하고 1달 동안은 파이토치를 활용해 무작정 데이콘 대회에 참여해 딥러닝으로 문제를 해결하려고 하였습니다. 정말 빠른 시간에 파이토치를 사용하는 방법을 익힐 수 있었지만 왜 그렇게 해야 되는지에 대하여 납득이 되지 않았습니다. 왜? 미분(backward)을 하기 전에 예측(forward)을..

글또 7기를 시작하며

글또 7기를 시작하며 처음 글을 쓰기 시작한 것은 4년전 인턴생활을 할 때 였다. 인턴생활을 기록하기 위해 블로그를 개설하고 블로그 글을 쓰기 시작하였다. 인턴생활이 종료되니 자연스럽게 블로그에 포스팅을 멈추며 글을 쓰는 습관은 자연스럽게 내 몸속에서 잊혀져갔다. 최근 개발자로 취업준비를 진행하며 글을 작성하는 것이 학업에 많은 도움을 준다고 느꼈고 다른 사람들이 나의 글을 읽고 도움을 줄 수 있다는 뿌듯함을 느끼며 다시 글을 쓰기 시작하였다. 하지만 최근 상반기 취업준비를 하다보니 블로그에 글을 쓰는것에 소홀해졌다. 상반기도 끝나가는 시즌에 주기적으로 블로그 글을 작성하는 습관을 들이기 위하여 글또에 지원하게 되었다. 의무적으로 글도 쓸 수 있고 실력있는 개발자분들이 넘쳐나셔서 유익한 글들을 읽을 수 ..

코테 준비를 위한 코테북 제작기 ( Feat. Vuepress)

코테랑 Vuepress랑 무슨 연관관계가있어? 코테랑 Vuepress는 아무 연관관계도 없다. 코테를 준비하며 푼 문제들과 풀이를 공유하고 유형별로 정리하여 다른 사람들이 준비할 때 도움이 되었으면 하는 바램으로 코테북을 제작을 하게 되었다. 블로그 레포​와 Vupress로 제작된 블로그에 한번 구경오셔서 저의 코드도 지적해주시고 코테를 준비하면서 좋다고 생각되는 문제들도 공유해주시면 감사하겠습니다!🙇🏻‍♂️ Vuepress와의 만남 Vuepress의 첫 만남은 TIL을 제작하기 위해 준비를 할 때였다. 블로그 형식으로 TIL을 제작하고 싶어 찾아보다가 진유림님의 TIL을 만나게 되었다. 이거다! 생각된 나는 무지성 fork를 하였다. 나의 TIL 제작을 위해 코드를 하나하나 까보며 적용을 하기 위해 시..

OSI 7계층을 알아보자.

OSI 7계층 OSI 7계층은 네트워크에서 정보를 주고받는 과정을 7단계로 나누어둔 것을 의미합니다. 물리계층(Physical Layer), 데이터 링크 계층(DataLink Layer), 네트워크 계층(Network Layer), 전송계층(Transport Layer), 세션계층(Session Layer), 표현 계층(Presentation Layer) 응용 계층(Application Layer)으로 이루어져 있습니다. 계층을 나누어 둠으로 써 통신이 일어나는 과정을 더 잘 알수 있으며 통신중에 문제가 생기면 어느 계층에서 문제가 생겼는지 확인하여 특정 계층의 장비만 교체한다던지의 과정으로 유지보수 소요를 줄일 수 있습니다. OSI 7계층과 TCP/IP는 동일한 역할을 수행하지만 TCP/IP는 4계층으..

DNS(Domain Name Service)란 무엇인가?

도입 웹 브라우저로 통신을 할 때 인터넷프로토콜(Internet Protocol)을 사용한다. 웹서버로 Request를 하면 그에 대한 Response가 넘어오며 웹 브라우저를 구성하게 된다. 이때 우리는 통신을 위해 웹서버의 IP를 필요하게된다. 하지만 우리가 웹서버에 요청을 할때는 도메인만 입력을 하게 된다. 호스트를 IP로 변경해주는 역할을 수행해주는 역할을 수행하는 DNS에 대하여 알아보도록 하자. DNS란? DNS는 웹서버에 대한 전화번호부라고 비유되며 도메인에 대한 IP와 라우팅 정보를 제공해주는 DB이다. URL의 host부분을 보고 매칭되는 IP정보를 주게 된다. 클라이언트(사용자)는 IP를 몰라도 도메인 명만 알고 있으면 편리하게 웹서버에 요청하여 웹페이지를 구성할 수 있게 된다. 과거의..

URI? URL? URN?

도입 URI, URL, URN에 대하여 알아보자. URI(Uniform Resource Identifier) 리소스를 식별할 때 다른 항목과 구분하는데 필요한 정보로 리소스가 있는 위치(Location) 혹은 이름(Name)이 있을 수 있다. URL(Uniform Resource Locator) 리소스를 식별하는데 위치(Location)으로 필요한 정보를 구분하는 방법이다. URL을 만드는 방법은 아래와 같다. scheme - scheme은 프로토콜로 자원을 접근하는 방법을 의미한다. - http, https, mailto, ftp 등등이 있다. - http://username:password@www.google.com:80/search?q=hello#20 userinfo - 사용자의 인증정보를 포함해서..

www.google.com url을 검색하면 일어나는 일

도입 이번에는 www.google.com을 검색하면 어떻게 우리에게 구글 웹 브라우저를 보여주게 되는지 알아보도록 하겠다. 웹 페이지를 가져오는 과정 URL 주소를 검색한다. www.google.com을 입력한다. 호스트명을 DNS 서버에서 검색한다. DNS 서버에서 해당 호스트명에 대한 IP 주소를 찾아 전달한다. HTTP Request를 생성하고 TCP 프로토콜을 사용하여 인터넷을 거쳐 해당 IP 주소로로(웹 서버) 전송한다. 전송받은 HTTP Request 메시지를 받는다. 사용자로부터 받은 HTTP Request 메시지를 웹서버가 처리하며 필요한 데이터가 없는지 확인한다 HTTP Request에서 요구한 데이터를 전달한다. 해당 데이터를 활용해 HTTP Response를 생성하고 사용자 IP로 응..

차가운 학교의 시간은 멈춘다(상,하)

책 소개 저자 : 츠지무라 미즈키 저/ 이윤정 역 출판사 : 손안의 책 장르 : 미스테리, 소설 *이 글은 책 내용에 대한 스포일러가 포함될 수 있음. 책을 읽은 계기 나는 심심할 때 독서를하는것을 즐긴다. 위 책은 최근 교보문고 책방을 놀러가 책을 구경하다가 친구의 추천으로 읽게 되었다. 느낀점 어느 학생의 자살로 인하여 미스테리한 사건이 벌어지는 내용이다. 작가의 묘사력이 매우 뛰어나고, 한명씩 죽으면서 점점 잊혀진 기억을 되찾게 되는데 책 내용이 굉장히 매력적이고 몰입이 잘 되는 책이다. 미스테리한 장르에서 마지막에 반전된 결과를 보여주는 책을 좋아하는 사람들은 한번쯤 읽는것을 추천한다. 포스팅을 마치며 최근에는 퇴근하고나서 운동하고 취업준비를 하느라 정신이 없이 보냈다. 그래도 조금의 여유가 있는..

Tistory 블로그 글 쓰면 자동으로 GitHub에 올리기

동기 만들게된 계기.. 오늘 Git을 열심히 꾸며주었다. 😊 꾸미면서 엄청난 사람들의 Git을 많이 구경하였는데 TIL이 눈에 들어왔다. 나도 TIL쓰고 싶다는 생각에 바로 Repository부터 만들었다. Tistory에 공부한 자료도 올리고 TIL로 깃헙에 까지 매일 작성하면, 너무 귀찮다고 생각하여 생산성있게 Tistory로 올리면 자동으로 깃헙으로 넘어가는 프로그램을 만들어보자고 생각했다. 구현 방법 사용한 방법은 rss와 git Actions를 사용하는 것이다. rss란? 쉽게 말하면 최근의 작성된 기사 혹은 블로그 글을 하나의 파일로 모아둔 것이다. rss는 비교적 옛날 글과 같은 것들은 따로 모아두지 않는다. git Actions를 사용하면 git에서의 간단한 동작을 처리할 수 있다. Pyt..

ADsP 시험준비 3과목 데이터분석(1)

01. R 기초 1. R 언어와 문법 *주석 : # 이후에 작성 1) R의 데이터 구조 ) (출처 R in Action(23p)) 2) 벡터 벡터 데이터구조는 하나의 스칼라 값, 혹은 하나 이상의 스칼라 원소를 갖는 자료구조이다. 벡터는 자바에서 사용하는 일차원 배열과 느낌이 비슷하다. 그 이유는 동일한 데이터 형태를 가진 원소들의 집합이기 때문이다. 벡터 생성하는 법 : c() 벡터의 원소 유형 숫자형 벡터 문자형 벡터 논리 연산자 벡터 사례 x = c(1,2,3,4) y = c(“사과”,”망고”) z = c(TRUE, FALSE) 여기서 알아 두어야하는 것은, TRUE를 숫자로 사용하면 1, FALSE는 0이 된다는 것이다. 그리고 논리값은 항상 모두 대문자로 사용해야한다. 서로 다른 유형의 데이터를..

ADsP 시험준비 2과목 데이터 분석 기획(2)

01. 분석 마스터플랜 수립 분석 마스터플랜은 분석 대상이 되는 과제를 도출하고, 우선순위를 계산하여 세부 이행 계획을 수립하는 로드맵을 작성하는 것을 의미한다. 또한 분석 로드맵상의 과제가 잘 수행되기 위하여 분석 거버넌스의 체계를 수립하는 것을 의미한다. 1. 분석 마스터플랜 수립 프레임 워크 중 장기적인 관점의 마스터플랜을 수립하기 위해서 분석과제를 대상으로 전략적 중요도, 비즈니스의 성과 및 ROI(투자 회수율), 분석과제의 난이도 등의 다양한 기준을 고려해 우선순위를 선정해야한다. 그 외에 분석 데이터를 내부 데이터를 사용할지 혹은 외부 데이터를 사용할지, 분석 기술은 어느 기술 요소까지 적용할 것인지 등 분석의 적용 범위 및 방식에 대하여도 종합적으로 고려해 로드맵을 수립해야한다. (마스터플랜..

ADsP 시험준비 2과목 데이터 분석 기획(1)

01. 분석 기획 방향성 도출 1. 분석 기획의 특징 분석 기획은 실제 분석을 수행하기 전에 분석을 수행할 과제의 정의 및 원하는 결과를 얻을 수 있도록 이를 적절히 관리할 수 있는 관리방안을 계획하는 작업이다. 어떠한 목표(What)을 달성하기위해 어떠한 방법(How)을 수행할 지 일련의 계획을 수립하는 과정이다. 분석을 기획하기 위해서는 해당 문제 영역에 대한 ‘전문성 역량’ 및 통계학적 지식을 활용한 ‘분석 역량’ 그리고 분석의 도구인 ‘프로그래밍 분석 역량’에 대해 균형 잡힌 시각을 가지고 방향성 및 계획을 수립해야 할 것이다.(비즈니스 분석 능력 + 통계학 지식 + 데이터 프로그래밍 능력 = 데이터 사이언스) 1) 분석 주제 유형 분석의 대상과 분석의 방법을 아는지에 따라서, 4가지의 유형으로 ..

ADsP 시험준비 1과목 데이터의 이해(3)

01. 빅 데이터 분석과 전략 인사이트 1. 왜 싸이월드는 페이스북이 되지 못하였는가? 구글이나 페이스북 같은 성공적인 인터넷 기업은 대부분 데이터분석과 함께 시작되며 그 결과가 의사결정에 결정적인 정보를 제공한다. 반면 싸이월드는 직관에 의거하여 의사결정을 수행하였다. 즉 데이터 분석을 활용하여 전략적 통찰을 얻고, 효과적인 의사결정을 수행하지 않았기 때문이다. 2. 빅 데이터 분석, “Big”이 핵심이 아니다. 데이터가 많다고 해서 항상 더 많은 가치를 창출하는 것은 아니다. 다만 데이터는 음성, 텍스트, 영상 등으로 다양하게 발전하고 있다. 이렇게 새롭고 다양한 유형의 데이터를 효율적으로 활용하면 더 많은 핵심 가치를 얻을 수 있을 것으로 기대된다. 즉 빅 데이터의 핵심은 양이 아니라 유형의 다양성..

ADsP 시험준비 1과목 데이터의 이해(2)

01 빅데이터의 이해 1. 빅 데이터의 정의 빅데이터는 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터이다. 빅 데이터는 3V의 정의를 가진다. Volume (데이터의 크기) : 생성되는 데이터가 매우 많음 Variety (데이터의 다양성) : 데이터의 종류가 비정형 데이터처럼 다양해짐. Velocity (데이터의 속도) : 데이터를 업데이트하거나 분석이 빠르게 됨. 2. 출현 배경 (산업계) 고객의 데이터를 축적해 숨어있는 가치를 발굴해 새로운 성장 동력원으로 만들어 냄 (학계) 거대 데이터 활용 과학이 확산됨(인간 게놈 프로젝트) (관련 기술의 발전) 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅의 발전 (*데이터의 규모) 1테라 바이트 = 1024 기가 바이트 1페타 바이트 ..

ADsP 시험준비 1과목 데이터의 이해(1)

요약에 앞서 포스팅을 진짜 오랜만에 하는 것 같습니다. 최근 코로나 바이러스 때문에 집에 못가고 계속 OBC 생활을하며 지내느라 포스팅이 늦어졌습니다.. 언제까지 갖혀있을지 모르겠지만.. 빨리 상황이 좋아지길 기대합니다. 지금도 여전히 정보통신학교에 갖혀있지만, 자격증 시험 준비를 하며 요약정리를 할 겸 글을 쓰게 되었습니다. 저 처럼 ADsP자격증을 준비하는 분들이 이 글을 보고 조금이나마 도움을 받기를 기대합니다. 참고로 책은 아래 두 권을 활용하여 공부하는 중입니다. 위 책은 개념을 정리하고 문제를 풀 용도로 구매하였습니다. (아직 풀어보지는 못하였지만, 굉장히 유익하다는 평이 많습니다.) 개념을 정리할 개념서로 위 책을 구매하였습니다. 01. 데이터와 정보 1. 데이터의 정의 데이터는 객관적인 사..