머가필요해

나름의 이유로 시스템에서 메일을 보내야할 일이 있는데,

이왕이면 Gmail을 이용해보고 싶어서 살펴보기로 했다.

일단 Gmail을 통해 이메일을 보내기 위해서

미리 셋팅을 해줘야 할 것이 있다.

Gmail의 설정 화면으로 이동한 뒤에

IMAP 사용 설정을 해주면 된다.

그런데, Python 코드에서 Gmail 인증 부분을 구현해야 이메일 발송을 할 수 있을텐데,

2가지 방법 중 하나를 선택해야 한다.

1. 로그인 PASSWORD
2. 앱 PASSWORD

로그인 PASSWORD를 사용하기에는 왠지 찝찝한 느낌이 들기에

앱 PASSWORD를 사용하도록 해보겠다. (보안은 중요하다!!! ^^)

Google 계정 관리 화면에 일단 들어가보자.

어?! 그런데, 찾고자 하는 "앱 비밀번호" 부분이 안보인다.

2단계 인증을 사용한다고 해야 원하는 항목이 등장한다.

2단계 인증을 사용하게 되면 조금 불편할 수도 있지만, 보안을 위한 일이니 감수하자!!! ^____^

전화 및 인증 기기 등을 잘 확인하면서 진행하면 되는데,

개인적으로 OTP 앱까지 추가해주는 것을 추천한다.

자~ 이제, "앱 비밀번호" 항목을 볼 수 있다.

우리 입맛에 맞게 생성 진행하면 된다.

그러면 16 digit을 만들어 준다.

저 비밀번호는 다시 안알려준다. 미리 잘 기억/기록 해야 한다.

자~ 이제 Gmail에서 준비할 것은 모두 끝났다.

이제 Python 코딩을 시작해보자.

여전히 예쁘지 않은 코드이지만, 그래도 동작한다!

실행하면 된다.

메일이 잘 도착했다!!!

첨부파일까지 보내는 것까지 하려고 했는데, 지금 당장은 필요하지 않기에...^^

나중에 필요로 할 때 해보겠다! ^^

업무를 하면서 간단한 Python 코드를 작성하고

코드 리뷰를 받을 때면 종종 왠지 모르게 부끄러움을 느낄 때가 있다.

남들이 작성한 코드를 보면 왠지 멋져보이는데

내 코드는 왠지 모르게 초라해보이는 자격지심이..... ^^

예를 들어서 "현재 디렉토리의 파일 이름과 사이즈를 출력"해주는 프로그램을 작성해보자.

실행 결과도 잘 나온다.

원하는 결과를 잘 뽑아내고,

나름 함수로 잘 구분해서 잘 작성한 것 같은데..... 왠지 뭔가 부족한 듯 한 느낌이...

속된 말로 뭔가 "와꾸"가 있었으면 좋겠는데...

https://www.python-boilerplate.com/

이런 고마운 사이트가 있다니!!!

Parameter들을 사용하고 싶거나, Logging을 하고 싶거나 하면 "Options"에서 고르면 된다.

Unit-Test를 하고 싶은 경우에 입맛에 맞는 프레임워크를 고를 수도 있다.

이걸 이용해서 코드를 다시 작성해보면 다음과 같다.

뭔가 조금 더 있어보이게 된 것 같은 느낌적인 느낌이다.

별 것 아니게 느낄 수도 있겠지만,

Python과 같은 자유도가 과도하게 높은 언어로 개발을 할 때에는

이런 boilerplate 코드를 이용하는 것이 많은 도움이 된다고 생각한다!

여러분은?

우연히 보게된 노마드 코더(Nomad Coders)의 유튜브.

파이썬 코드만가지고 JS, React, NextJS 인터랙티브 웹앱을 만들어주는 프레임워크가 나타났단다.

최근 정말 많은 주목을 받고 있는 오픈소스 프로젝트인 것은 분명한 것 같다.

https://pynecone.io/

발음이 같은 'pinecone'을 상징하는 솔방울을 로고로 사용하고 있다 ^^

공식 웹사이트도 Pynecone을 사용해서 만들었다고 한다.

왠지 Unix is Not Unix 같은 느낌인데!? 아닌가?! ^^

Pynecone은 파이썬으로 작성한 코드를

React/NextJS로 컴파일을 하는 방식이기에 성능이 뛰어나며 그래서 node를 필요로 하고 있다.

보다 더 나은 성능을 위해 node를 bun으로 교체하는 작업을 하고 있지만

아직 100% 호환성을 보장하지 못하기에 당분간은 node를 계속 필요로 할 것이라고 한다.

서두가 길었다.

이제 직접 한 번 사용해보자.

이하 과정은 다음 링크의 내용을 따라갔다.

- https://pynecone.io/docs/getting-started/installation

0. PoC Environment

  - 이하 과정을 진행한 환경은 Ubuntu 20.04 64bit Desktop 이다.

2. Prerequisites

  - Python 3.7+

  - NodeJS 12.22.0+

  ① Python 여러 버전을 관리할 수 있는 pyenv 기반으로 설치해보자.

    . https://www.whatwant.com/entry/pyenv

    . 설치한 버전은 다음과 같이 했다.

      - v3.8.16

  ② node 설치도 여러 버전을 관리할 수 있는 nvm 기반으로 설치를 진행해보자.

    . https://www.whatwant.com/entry/npm

    . 설치한 버전은 다음과 같이 했다.

      - v18.15.0   (Latest LTS: Hydrogen)

3. Virtual Environment

  - Optional 이라지만, 사실 필수이지 않을까 싶다.

4. Installing

  - 이제 pynecone 설치하면 된다!

5. Create a Project

  - 일단 프로젝트 생성하는 방법부터 알아보자.

6. Run the App

  - 일단 한 번 띄워보자.

  - 브라우저로 확인해보자.

7. Edit

  - 본문을 살짝 살펴보자.

  - 눈꼽만큼 변경해보자.

  - 포트도 변경하고, debug log도 찍어보자.

  - http://localhost:8282/

8. Fast Refresh

  - Pynecone은 실시간으로 변경 사항이 반영된다.

  - 웹브라우저가 띄워져 있는 상황에서, 다른 터미널로 파일을 수정해보자.

  - 파일을 수정한 뒤, 저장을 하면 조금 있다가 브라우저에 자동으로 페이지 내용이 변경된다.

일단 여기까지 살짝 맛만 봤고

시간이 나면 다음 단계로 넘어가보겠다. (시간이 날까?! ^^)

제가 정말 정말 좋아하는 번역자이자 작가이신 박해선님이 내놓은 또 하나의 역작이 나왔다.

"혼자 공부하는 데이터 분석 with 파이썬"

요즘은 딥러닝 모델에 대해서 공부하는 것 보다

데이터 분석하는 것이 더 많이 유행하고 있는 듯 하다.

이런 분위기에 정말 딱 맞게 나온 책이 아닌가 싶다.

우리 회사에서도 DS 인증 프로그램을... @.@

박해선님은 번역하신 책이든, 직접 작성하신 책이든 항상 정성이 가득하다.

실습 내용도 하나 하나 모두 직접 업데이트 해주시고

Youtube로 강의도 제공하여 주시고, 심지어 오픈채팅까지도 운영해주신다니...

무려 13개의 강의 동영상을 제공해주신다!

- https://www.youtube.com/playlist?list=PLVsNizTWUw7FGzSRCkQrPEEe-ljVXgS7k 

직접 물어보고 대답을 들을 수 있는 카카오 오픈채팅 !!!

- https://open.kakao.com/o/gBF5aQ1c

1월 2일, 새해가 시작하자마자 1쇄 발행을 하다니... 너무 한 것 아닌가?! ㅋㅋㅋ

박해선님은 항상 도식화를 좋아하시는 것 같다 ^^

딥러닝 모델링에 대해서 공부하려면 수학이 발목을 잡는 것 처럼

데이터 분석에 대해서 공부하려면 파이썬이 발목을 잡는다.

발목 잡히지 않으려면 시간을 들여서 제대로 파이썬을 공부해놓는 것이 좋다.

도식화, 로드맵을 정말 좋아하시는 박해선님! ^^

오해하면 안된다.

"이 도서가 얼마나 인기가 좋을까요?"는 정말 이 책에 대한 것이 아니라

데이터 분석의 첫 번째 예제일 뿐이다 ^^

박해선님은 그림도 잘 그리신다~ ^^

ML/DL

머신러닝과 딥러닝이 막 알려지면서 사람들이 공부를 시작할 때에는

DS(Data Science, 데이터 과학)에 대한 영역이 대중적으로 정착되지 않았었다.

지금은 Data Scientist, Data Engineer 직종이 정착된 것 같다.

외부에서 만나는 많은 분들이 "저는 OO에서 데이터 사이언스로 일하고 있어요"라고 하고 있다는...

책 구성을 보면 정말 정성 가득함이 엿보인다.

이 책을 보다가 새롭게 배운 지식

"Data Analytics(데이터 분석) vs. Data Science(데이터 과학)"

음 ... 이 정도면 ... Full Stack ... 만능 아닌가 ?!

Summary 까지 꼼꼼하게 되어 있다.

혼자서, 또는 다같이 공부할 수 있도록 "확인 문제"도 제공해준다.

주관식은 너무 어렵다는...

직접 실습을 해볼 수 있도록 GitHub 저장소도 제공해주고, 설명도 친절히 해준다.

링크까지 꼼꼼히 제공해주는 박해선님!!!

리뷰 때문에 살펴보다가 알게된 정말 꿀팁 !!!

정부 주도로 진행한 데이터들일텐데,

요즘 시대에 아직도 Euc-KR 형식으로 만들어진 데이터 볼 때마다 정말 ... 에휴 ... 할말하않 !!!

이 책은 뭐 두말할 필요 없이 무조건 추천한다.

박해선님이 지은 책이라는 것 만으로도 추천하지만,

책 내용 및 책 외부적으로 제공되는 컨텐츠 모두 정말 정성 가득한 책이다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

최근 회사에서 Data Science 교육을 받고 있는데,

마침 그에 알맞는 책을 리뷰하게 되었다.

Machine-Learning 공부할 때에도 만났었고

Data-Mining 공부할 때에도 만났었는데,

이번에 Data-Science를 공부할 때 또 만났다.

징그러운 베이지안 !!!

초판(1판)이 2014년도에 출간 되었었는데,

2판이 8년만에 2022년 6월에 출간되었다.

우와~ 역사가 오래된 책이네...

그렇다는 것은, 베이지안 공부가 필요한 사람이 여전히 꾸준히 많다는 것이겠지.

원서의 경우에도 1판은 2013년도에 출간되었고,

2판은 2011년에 출간되었다.

이 책으로 공부하기 위해서 필요한 것은 오직 "파이썬" !!!

책 제목에 "베이지안"이 써있다고 해서

"베이지안"에 대해서만 설명하는 책은 아니다.

확률, 분포, 포아송, 의사결정분석, 로지스틱 회귀 ...

필요한 것들 다~ 있다 ^^

친절한 설명과 함께 실행 결과도 예쁘게 보여준다.

뒷 부분에는 친절하게 요약까지 해주고 있다.

심지어 연습문제도 있다.

혼자서 공부하기에도 좋고

스터디로 진행하기에도 좋고

교재로 사용하기에도 좋다.

더더욱 멋진 것은... 책이 무료 공개되어있다.

http://allendowney.github.io/ThinkBayes2/index.html

심지어 친절하게 PDF 다운로드 링크까지도 제공해준다.

소스코드도 제공된다.

https://github.com/AllenDowney/ThinkBayes2

솔직히 영어 부담만 없다면,

PDF보다 이렇게 노트북으로 보는게 훨씬 더 좋을 것 같다.

하지만, 우리는 한글을 사용하는 민족 !!!

일단 책 구매하고

제공되는 리소스들을 이용해서 훨씬 더 열심히 공부하면

몇 배 더 효율적으로 배울 수 있다 !!!

이 책 말고도

저자 Allen B. Downey님은 쓰신 책들을

무료로 제공해주고 있다.

Green Tea Press

https://greenteapress.com/wp/

파이썬 언어를 가지고 데이터싸이언스 공부를 하신다면

기본 교재로 추천합니다!

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

최근 전세계적인 어려운 경제 상황에

운명처럼 만나게 된 책

"파이썬 기반 금융 인공지능 (Artificial Intelligence in Finance)"

받아본 책은

이제 태어난지 갖 1달 된 따끈따끈한 책이지만...

원서는 2020년에 첫 출간되었었다.

2년이 지난 책이라 조금 아쉬움은 있지만,

그래도 이렇게 번역서가 나온 것만으로도 정말 고마운 일이다.

예전에 퀀트 투자 관련된 책을 살짝 살펴본 적이 있었는데

그래서인지 이 책 제목을 보고

제일 먼저 든 생각은

"이 책도 퀀트 투자 관련된 것이겠구나!"

였다.

그래서 살펴본 목차는 다음과 같다.

[PART I 기계지능]

CHAPTER 1 인공지능
CHAPTER 2 초지능

[PART II 금융과 머신러닝]

CHAPTER 3 규범적 금융
CHAPTER 4 데이터 기반 금융
CHAPTER 5 머신러닝
CHAPTER 6 인공지능 우선 금융

[PART III 통계적 비효율성]

CHAPTER 7 밀집 신경망
CHAPTER 8 재귀 신경망
CHAPTER 9 강화 학습

[PART Ⅳ 알고리즘 트레이딩]

CHAPTER 10 벡터화된 백테스팅
CHAPTER 11 리스크 관리
CHAPTER 12 집행 및 배포

[PART Ⅴ 전망]

CHAPTER 13 인공지능 경쟁
CHAPTER 14 금융 특이점

[PART Ⅵ 부록]

APPENDIX A 상호작용형 신경망
APPENDIX B 신경망 클래스
APPENDIX C 합성곱 신경망

퀀트 투자 책인 것은 맞지만,

금융 데이터들을 어떻게 AI를 활용하면 좋을지에 대해서

포커스가 맞춰진 책이다.

각 목차 앞에서는 어떤 의도로 작성되었는지,

어떤 내용인지에 대해서 설명을 먼저 해주고 있다.

정말 친절하게도 학습 플랫폼도 제공을 해주고 있다.

https://aiif.pqp.io/

이메일 주소를 가지고 계정을 등록해야하는 불편함은 있다.

이메일 인증 후 로그인 하면 다음과 같은 플랫폼을 사용할 수 있다.

커널도 제공을 하고 있는 것 같지만,

뭔가 설정을 필요로 하는 것인지...

실제 실행을 하면 에러가 발생했다.

다운로드 받아서 colab에서 실행을 해보니

잘 된다.

금융데이터를 가지고 어떻게 인공지능(AI/ML)을 이용해서

다뤄야 할지 공부할 수 있는 좋은 책이다.

이 책에서 다루는 라이브러리는 다음과 같은데,

python / scikit-learn / tensorflow / keras

일반적으로 많이 사용되는 라이브러리들이기에

많은 분들에게 쉽게 다가설 수 있을 것이다.

다만, 소스코드를 제공하는 방식이

사실 조금 불편하긴 하다.

본래 플랫폼까지 제공해주려는 의도인 것 같기는 하지만

그냥 GitHub로 제공을 해주고

Colab을 사용하도록 가이드하는 것이

훨씬 더 접근성이 좋지 않았을까 한다.

소스코드가 업데이트 된지도 2년이 되었던데,

독자적인 플랫폼 제공이 어떤 의미가 있는지는....

언젠가 퀀트 투자를 이용해서 용돈벌이를 할 수 있기를 꿈꾸며

여기까지 서평을 마치겠다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

Python은 왠지 한글하고 친하지가 않은 것 같다.

그나마 v3.x 버전이 되면서 많이 편해지긴 했지만, 그래도 한글 관련 이슈가 계속 나오는 느낌적인 느낌이...

MachineLearning 공부하게 되면서 많은 분들이 사용하고 있는 matplotlib의 경우에도

기본적으로는 한글 출력에 문제가 있다.

Google Colab 및 Local 환경에서 matplotlib 한글 출력이 잘 되도록 해보자.

1. Google Colab

① 기본 상황

  - 한글 부분이 제대로 나오지 않는 것을 볼 수 있다.

② 폰트 설치

  - 나눔 폰트를 설치해보자.

③ 런타임 재시작

  - 설치된 폰트를 사용하기 위해 "런타임 다시 시작"을 실행하자

④ 폰트 적용

  - 이제 한글을 적용해서 그래프를 그려보자.

  - 설치한 폰트를 사용하도록 한 줄 추가가 되어야 한다.

  - 그런데, 위의 그래프에서 뭔가 이상한 것을 볼 수 있는가?

  - y축의 "-5" 부분이 제대로 출력되지 않았다.

⑤ minus 처리

  - 아래와 같은 구문이 추가되면 된다.

2. Local (Ubuntu)

Colab과 비슷하지만 약간 차이가 있다.

① 기본 상황

  - 코드가 살짝 다르다.

② 폰트 설치

  - 나눔 폰트를 설치해보자.

③ 코드 개선

  - 폰트 및 마이너스 관련 코드 추가해서 재실행해보자.

예쁜 한글 파이팅 !!!

나의 로컬 환경에서 Jupyter Notebook을 사용하고 싶어서 살펴봤다.

0. 실행 환경

  - Ubuntu 18.04 환경에서 진행했지만, 20.04 등 다른 버전에서도 잘 될 것 같다.

1. 설치

  - 가장 편한 "pip"를 이용해서 설치해봤다.

2. 설치 내역

  - Jupyter Notebook은 여러 패키지의 조합이다. 확인해보자.

3. 실행

  - Jupyter Notebook을 실행해보자.

  - 자동으로 브라우저가 실행되며 Jupyter Notebook을 볼 수 있다.

  - 오른쪽 중간에 보이는 "New" 버튼을 통해 새로운 Notebook을 생성하고, 간단한 실행을 해보자.

정말 간단히 Jupyter Notebook 환경을 만들 수 있다.

서버로 구동하거나 비밀번호를 등록하는 등의 추가 설정은 별도의 포스팅으로 작성해보도록 하겠다.