[한빛] 밑바닥부터 시작하는 딥러닝 6 - LLM을 공부하는 모든 이를 위해
"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."
AI 공부를 하던 모든이들의 교과서 "밑바닥부터 시작하는 딥러닝" 시리즈에서 드디어 "LLM"을 주제로 책이 나왔다. 짝!짝!짝!
이 책은 2019년 OpenAI가 공개한 오픈소스 모델인 GPT-2를 기반으로 하나 하나 직접 구현해볼 수 있도록 하고 있으며,
사전 학습, SFT(지도 파인튜닝), 강화 학습을 모두 배울 수 있다.
"밑바닥부터"라는 말에 어울리게 라이브러리도 기본적인 수준에서만 사용하고 있기에 훨씬 더 실용적이고
LLM 모델 내부를 공부하려는 사람들에게 훨씬 더 도움이 된다.
- Numpy
- Matplotlib
- PyTorch 2.x
- tqdm
- regex
- openai (선택)
- tiktoken (선택)
그리고 너무나 고맙게도 옮긴이가 직접 확인하고 다듬어준 소스코드 저장소도 제공해주고 있다.
- https://github.com/WegraLee/deep-learning-from-scratch-6
지치지 않도록 3단계로 나누어 책이 구성되어 있으며,
처음에는 필수 구성요소들을 가볍게 터치해보는 기본편부터 시작해서,
응용편에 이어 도전편까지 구성되어 있다.
이 책을 제대로 공부하려면 앞서 말한 GitHub 저장소를 활용할 수 밖에 없을 것이다.
책에서는 소스코드를 끊어서 보여주면서 설명하고 있기에 전체 소스코드를 파악하려면 GitHub 저장소를 참고하는 것이 좋다.
저장소를 내려 받는 것은 누구나 알다싶이 그냥 git clone을 진행하면 된다.
패키지 관리를 위해 pip를 사용해도 좋지만, 최근 유행하는 uv도 사용할 수 있도록 지원 해주고 있다.
아래와 같이 실행하면 첫 실행 때에는 패키지 설치로 시간이 좀 걸리지만,
그 이후 부터는 상당히 빠르고 깔끔하게 실행해볼 수 있다.
이 책은 초보, 비기너를 위한 책은 절대 아니다.
LLM에 대해서 한 번 쯤은 공부를 했고, Python에 대해서도 어느 정도 경험이 있는 사람들을 위한 책이다.
AI 모델 공부를 하면서 CNN, RNN 등의 기본적인 사항들을 공부한 뒤에
Transformer 공부하고 나서 제대로된 LLM 모델을 만들어 보고 싶은 사람들을 위한 책이라고 보면 좋을 것 같다.
최근 Frontier LLM Model들의 경우 온갖 다양한 기법들을 사용하고 있지만
그 기본이 되는 내용들에 대한 충분한 이해가 바탕이 되어야 그 기법들이 왜 필요하며 어떤 효과가 있는지 이해할 수 있을 것이다.
그 기본이 되는 바탕을 이해하는데에 있어
직접 손으로 하나씩 만들어보는 것 만큼 훌륭한 선생님은 없을 것이다.
가장 훌륭한 선생님으로 추천할 수 있는 책이 바로 이 책이 될 것이라고 말할 수 있다. 강추!
나도 간만에 스터디 모임을 만들어 같이 공부하고픈 욕구가 솓구치고 있다 !!!