Groq으로 시작하는 오픈 웨이트 모델 API 활용법
제목에 낚인 분도 계실 것 같다.
우리 엘론 머스크 형님의 Grok 하고 나도 햇갈려서 뭔가 이상해했었다.
Groq은 사실 H/W 업체로 봐야 한다.
보다 빠르고 낮은 가격에 인퍼런싱을 할 수 있는 LPU 업체인 것이다.
LPU가 뭐냐고?
`LLM Processing Unit`이라고, LLM 처리를 위한 칩이다.
- https://groq.com/lpu-architecture
그 기술력을 인정 받아서 25년 12월, 200억 달러(약 30조)에 Nvidia에서 인수했다.
- https://news.hada.io/topic?id=25318
그리고,
Groq은 자신들의 칩 성능을 증명하기 위해서 `오픈 웨이트 모델`들의 API를 제공하는 서비스를 했는데
저렴한 가격과 함께 좋은 성능을 보여 생각보다 꽤 괜찮은 인기를 얻고 있다.
다양한 모델들을 제공하고 있지는 않은데,
모델 자체의 다양성 보다는 다양한 용도에 걸쳐서 골고루 제공하고 있다.
Groq에 대해서는 그만 알아보고
API를 사용해보기 위해 회원 가입을 빠르게 해보자 !!!
- https://console.groq.com/home
물론 공짜는 아니다 !!!
성능(속도)에 자신이 있기에 가장 앞에 TPS를 내세우고 있다.
공짜가 아니라서 서운해하면 안된다.
Free Plan 에서도 꽤 쓸만큼 제공해준다.
- https://console.groq.com/docs/rate-limits
각 필드가 어떤 의미인지 모르겠다고 ?!
그럴줄 알고 친절하게 다 설명해준다.
API를 사용하기 위해서는 당연히 Key를 발급 받아야 한다.
오른쪽 위 메뉴에서 `API Keys`를 클릭하자.
- https://console.groq.com/home
`Create API Key`를 클릭하면 된다.
- https://console.groq.com/keys
적당히 이름과 만료 기간을 정해주면 된다.
이렇게 생성한 Key 값을 잘 적어두자.
어떻게 사용할지 모를 때에는 공식 문서를 살펴봐야 한다.
- https://console.groq.com/docs/overview
응?! 뭐지 Getting Start 동영상이 비공개 ????
하지만, 우리는 빠르게 `Quick Start`를 살펴보도록 하자.
- https://console.groq.com/docs/quickstart
나는 uv를 사랑하기에 uv 방식으로 따라해봤다.
groq 패키지를 설치하자.
소스 코드는 `Quick Start`에 있는 것 그대로 해봤다.
아까 받아놓은 Key 값을 환경 변수로 설정하고
Python 실행하면 ... 꽤 빠르게 결과가 나온다.
대시보드를 보면 API를 얼마나 사용했는지 확인도 할 수 있다.
- https://console.groq.com/dashboard/metrics
이것 저것 실험할 때 잘 사용해봐야겠다 !!!!