머가필요해

아이폰의 등장과 같은, 아니 그보다 더한 파급력을 보여주고 있는 ChatGPT !!!!

일부 사람만 사용할 수 있는 어려운 interface가 아니라 누구나 사용할 수 있으며

IT 분야에 제한되지 않는 모든 분야는 물론 일상적인 용도로도 사용할 수 있는

즉, 대중성을 갖고 있기에 이런 어머어마한 인기를 얻는 것이 아닌가 생각된다.

모든 사람을 똑똑하게 만들어 줄 수 있는 훌륭한 도구 - ChatGPT !!!

이런 ChatGPT의 활용도를 높여주는 많은 서비스들이 우후죽순 쏟아지고 있는데

그 중에서 논문 살펴볼 때 많은 도움을 주는 훌륭한 아이가 있어서 소개하고자 한다.

https://www.chatpdf.com/

PDF 문서를 입력으로 주고

그에 대해서 여러가지 질문을 던지거나 요청을 하면 ChatGPT를 이용해 답변을 해주는 서비스다.

가격 정책은 다음과 같다.

그리고 로그인 하지 않아도 기본적인 사용은 가능하지만

나의 Chat 내역 기록이 필요하면 로그인 해주는 것이 좋다.

으음?! fIrebase로 구현을 했네!? ^^

다시 한 번 말하지만, 굳이 필요 없다면 로그인 없이도 사용할 수 있다.

그러면, 일단 오늘 살펴볼 논문을 검색해볼까!?

https://paperswithcode.com/

살펴볼 논문의 Paper 버튼을 통해 다운로드를 받던지

아니면 파일의 경로를 복사하던지 하면 된다.

그런 다음 ChatPDF에 파일을 등록하던지 아니면 경로를 입력하면 된다.

그러면, 추천하는 질문들도 알려준다.

그 질문 그대로 입력하면 당연히 잘 대답해준다.

혹시 한글로 물어봐도 대답 잘 해주려나?

질문은 이해하는데, 답은 영어로 하네?!

뭔가 좀 아쉬운데...

어!? 된다!!!!

조금 아쉬운데...

논문 공부하기에 정말 훌륭하지 않은가!?

설명만으로 그치지 않고, 궁금한 것에 대해서 물어볼 수도 있다는 점이 대단하다!!!

PDF를 업로드 한다고 하면 보안에 대해서는 잘 되어있을까!?

뭐 나름 보안에 신경쓰는 것 같기는 하지만

회사 업무 문서를 업로드해서 사용하는 것에는 절대 권장할 수 없을 것 같다.

제목에도 쓴 것 처럼

공부를 위해 논문들을 살펴보는 용도 정도로 사용하기를 권장 드린다.

아! 그리고 아직은 GPT 3.5 기반이다.

GPT 4.0을 연결하는 것에 대해서는 계속 노력하고 있다고 한다.

ChatGPT의 인기에 힘입어

이제는 AI/ML을 공부하지 않는 분들도 누구나 알고 있다는 트랜스포머(Transformer)

너무나 훌륭한 공부 자료들이 많기에

여기에서는 그 자료들을 알아보도록 하겠다.

1. Paper

- "Attention Is All You Need"

  . https://arxiv.org/abs/1706.03762#

- 2017년도에 Ashish Vaswani 외 7명이 작성한 15 pages, 5 figures 구성된 논문

  . 논문에 포함된 그림의 수준이 정말 '역시 구글'이다.

2. Review

- [딥러닝 기계 번역] Transformer: Attention Is All You Need (꼼꼼한 딥러닝 논문 리뷰와 코드 실습)
  . https://www.youtube.com/watch?v=AA621UofTUA 

  . 구독자가 16만명이 넘는 "동빈나"님의 멋진 리뷰

- Transformer 외에도 나동빈님의 많은 리뷰들이 담겨있다.

  . https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice#natural-language-processing-자연어-처리

- Code Practice

  . https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice/blob/master/code_practices/Attention_is_All_You_Need_Tutorial_(German_English).ipynb 

  . 위 링크에서 "Open in Colab"을 선택하면 Colab을 통해서 실행해볼 수 있다.

  . "Drive로 복사" 선택

  . 오래 전에 만들어진 코드이다 보니 지금 실행하면 맞지 않는 부분이 있으니 아래와 같이 수정하자.

3. More Detail

- 트랜스포머(Transformer) 심층 분석

  . https://wandb.ai/wandb_fc/korean/reports/-Transformer---Vmlldzo0MDIyNDc
  . 아래와 같이 몇 몇 부분에 대한 개선 방안을 엿볼 수 있다.

- Transformer Positional Encoding

  . https://hongl.tistory.com/231

  . Positional Encoding에서 사용되는 sin/cos 함수에 대한 고찰

- Tensorflow 공식 가이드

  . https://www.tensorflow.org/text/tutorials/transformer?hl=ko

  . Colanb에서 실행을 선택하면 아래와 같이 예쁘게 표현된 encoder-decoder 애니메이션을 볼 수 있다.

4. Visualize

- Jay Alammar: The Illustrated Transformer

  . https://jalammar.github.io/illustrated-transformer/

5. Extra

- Hugging Face

  . https://huggingface.co/

  . 자연어 처리를 공부/활용하는 분이라면 누구나 아는 그 곳

- Transformers (신경망 언어모델 라이브러리) 강좌

  . https://wikidocs.net/book/8056

  . Hugging Face 사용법을 배울 수 있는 너무나 좋은 교재

- Transformers.js

  . 트랜스포머를 브라우저에서 실행할 수 있도록 해주는 JS

  . https://xenova.github.io/transformers.js/

  . BERT, ALBERT, DistilBERT, T5, T5v1.1, FLAN-T5, GPT2, BART, CodeGen, Whispe 등 지원

여기까지~

AI로 그린 그림이 엄청나게 유행이다.

카툰과 같은 그림 뿐만 아니라 이제는 사진과 같은 실사 느낌의 그림까지 나오고 있다.

AI 그림이라는 것은

자연어 서술로부터 이미지를 생성하는 Machine-Learning 모델로 만들어진 것을 의미하는데,

요즘 ChatGPT 라는 것으로 이제는 누구나 알게 된 OpenAI라는 곳에서 개발(?)한

DALL·E 2로 인해서 AI로 그린 그림이 유명해지게 되었고

2022년 콜로라도의 미술대회에서 1등을 차지한 그림이

Midjourney 라는 ML 모델로 만들어진 것이라는 것이 밝혀지면서 엄청난 논란이 되었었다.

이렇게 AI로 그림 그리는 것이 엄청난 유행을 하고 있는데,

명색이 IT로 밥 값을 벌고 있는 입장에서 직접 한 번 다뤄봐야 하지 않을까?!

DALL·E 2, Midjourney 와 같은 모델들은 모두 상용으로 서비스 되고 있다.

하지만, 우리가 원하는 것은?! 오픈소스!!!

https://github.com/CompVis/stable-diffusion

Stable-Diffusion은 2022년 8월에

Stability AI에서 오픈소스 라이선스로 배포한 text-to-image 인공지능 모델이다.

오픈소스이지만 상용 모델 못지 않은 성능을 보여주며

더더군다나 비교적 낮은 컴퓨팅 파워 환경에서도 구동이 가능하다 !!!

그리고, 오픈소스 프로젝트로 공개되었다보니

이를 기반으로 파생된 정말 유용한 프로젝트들이 정말 많다.

https://github.com/AUTOMATIC1111/stable-diffusion-webui/

CLI 방식이 아니라 웹 기반의 Interface를 이용해

Stable Diffusion 모델을 편리하게 사용할 수 있도록 만들어 주는 프로젝트이다.

그리고 여기에 덧붙여서

Colab에서 구동 가능하도록 해주는 프로젝트도 있다!!!

https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Online-Services

위 목록 중에서 camenduru를 선택해보자.

https://github.com/camenduru/stable-diffusion-webui-colab

Jupyter Notebook 형태로 제공해주고 있는데,

어떤 것을 선택하면 좋을지는 README 를 참고하면 된다.

카툰 스타일 보다는 실사와 같은 것들을 해보고 싶어서 "dreamlike-photoreal-2.0"을 선택해 보았다.

Huggingface에 있는 설명들을 참고하자.

음... 뭔지는 잘 모르겠지만

Stable-Diffusion 1.5 버전을 기반으로 해서 만들어진 사진과 같은 이미지를 생성하는 모델이란다.

이런 것들을 만들 수 있단다.

그러면, 원하는 모델에 있는 "Open in Colab" 아이콘을 클릭하자.

Colab에서 열리고 나면, "Drive에 사본 저장" 메뉴를 통해 복사해놓자.

상단에 "노트북 설정"을 할 수 있다고 나오는데, 링크를 클릭하자.

설정창이 열렸으니

'하드웨어 가속기' 부분에서 GPU를 선택하고

하단에 있는 체크 박스 부분도 설정 해제해놓자.

위 설정창은 "런타임 유형 변경" 메뉴로도 설정 확인 및 변경 가능하다.

자~ 이제 준비는 다 되었다.

런타임 연결(실행)하자.

그리고 코드를 실행하면 된다.

엄청 오래걸리니 (5분~10분 사이) 그동안 유용한 사이트 하나 가입하자.

https://civitai.com/

AI 그림들을 자랑하고 공유하는 곳이다.

따라해보고 싶은 그림이 있으면 그림 오른쪽 하단에 있는 ⓘ 부분을 눌러보면 된다.

그러면, 어떤 Prompt, Parameter로 만들었는지 정보를 얻을 수 있다.

text-to-image 모델에서 그림을 그리기 위해 사용한 text를 "prompt"라고 지칭한다.

원하지 않는 내용에 대한 설명(text)는 "negative prompt"라고 한다.

또한, 원하는 그림에 대한 설명 외에

어떤 sampler인지, Random 함수에 대한 Seed 값이라던지 하는 온갖 설정값들 정보도 중요하다.

이쯤 했으면 Colab 실행 완료되었을테니, 계속 이어서 진행해보면 ...

잘 실행이 되었으면, 위와 같은 URL 정보가 보일 것이다.

가운데에 있는 "*.gradio.app" URL을 선택해서 클릭하면 창이 뜰 것이다.

와우!!!

나만의 AI 그림 생성기가 나타났다 !!!

어떻게 사용하면 되는지도 알아볼 겸해서, 남들이 만들어 놓은 것을 참조해보자.

CIVITAI에서 우리가 선택한 "dreamlike photoreal 2.0"을 검색해보자.

dreamlike photoreal 2.0을 이용해서 만들어진 그림을 찾기 위함이다.

찾은 다음에 마음에 드는 이미지 하나 선택해서 ⓘ를 클릭해서 정보를 확인해보자.

Prompt, Negative prompt를 비롯해서 Sampling Steps, Sampling method, CFG Scale, Seed 값 등도 모두 넣어주자.

우와~~~!!! 나온다 !!!

당연하게도 완전히 똑같은 그림이 나오지는 않지만, 얼추 비슷한 이미지가 나온다.

이제, 시간과 정신의 방으로 갈 시간이다.

다양하게 이것 저것 바꿔보면서 만들다보면 ... 날짜가 바뀌어 있을 것이다 ^^