무료로 사용할 수 있는 흙수저의 GPT, 라마(llama)

최근 GPT를 필두로 한 거대 언어 모델(LLM)이 다양한 분야에서 활용되면서, LLM에 대한 접근성과 비용 문제가 중요하게 떠오르고 있다. 특히 고성능 LLM 사용에 따르는 높은 비용은 자금력이 부족한 개인이나 소규모 팀에게 큰 진입 장벽으로 작용할 수 있다. 이에 대한 대안으로, 오픈 소스 LLM을 활용하여 로컬 환경에서 LLM을 구축하는 방법이 주목받고 있다.

오픈 소스 LLM의 장점

• 비용 절감: 오픈 소스 LLM은 라이선스 비용 없이 무료로 사용할 수 있다. 이는 API 사용에 따른 토큰 비용을 절약할 수 있게 해준다.
• 커스터마이징: 오픈 소스 LLM은 소스 코드에 대한 접근 권한을 제공하므로, 사용자는 자신의 특정 목적에 맞게 모델을 수정하고 fine-tuning할 수 있다.
• 개인 정보 보호: 로컬 환경에서 LLM을 실행하면 데이터가 외부로 유출될 위험을 줄일 수 있다.
• 접근성: 비교적 낮은 사양의 PC에서도 LLM을 실행할 수 있도록 경량화 기술이 활발히 연구되고 있다.

추천 오픈 소스 LLM

다음은 흙수저도 부담 없이 사용할 수 있는 오픈 소스 LLM들을 소개한다.

• Llama 3: Meta에서 개발한 오픈 소스 LLM으로, 상업적 및 연구 목적으로 무료로 제공된다. Llama 2에 비해 성능이 향상되었으며, 다양한 크기의 모델을 선택할 수 있어 사용자의 환경에 맞게 구성할 수 있다. 다만, 한국어 데이터셋은 Llama 3 학습에 충분히 반영되지 않았다는 한계가 있다.
  • 모델 종류: 8B, 70B (400B 모델 출시 예정)
  • 컨텍스트 길이: 8K
  • 지원 언어: 영어 (다른 언어 지원도 향상됨)
• Falcon 2: 아랍에미리트 TII에서 개발한 오픈 소스 LLM으로, Llama 3 8B를 능가하는 성능을 보여준다. Falcon 2 11B VLM은 이미지와 같은 시각적 입력을 텍스트로 변환하여 출력하는 모델(vision-to-language model)도 제공한다.
  • 모델 종류: 11B
  • 토큰 개수: 5.5T
  • 지원 언어: 영어, 독일어, 스페인어, 프랑스어 등 11개 언어
• Gemma: Google에서 개발한 오픈 소스 LLM으로, Gemini의 경량 버전이다. Gemma 2B 및 7B 모델을 제공하며, MMLU 벤치마크에서 우수한 성능을 보인다.
  • 모델 종류: 2B, 7B
  • 컨텍스트 길이: 8192
  • 지원 언어: 영어

로컬 LLM 환경 구축 방법

1. Ollama: LLM을 로컬에서 쉽게 실행할 수 있도록 도와주는 툴이다. Ollama를 사용하면 복잡한 설정 없이 Llama 3와 같은 LLM을 다운로드하고 실행할 수 있다.
2. LM Studio: Ollama와 유사하게 LLM을 로컬 PC에서 실행할 수 있도록 지원하는 툴이다. LM Studio를 사용하면 Llama 3를 비롯한 다양한 LLM을 간편하게 사용할 수 있다.
3. Hugging Face: Transformers 라이브러리를 통해 다양한 LLM에 접근하고 사용할 수 있다. Hugging Face는 모델을 다운로드하고, inference를 수행하는 데 필요한 도구를 제공한다.
4. vLLM: vLLM은 높은 처리량을 제공하는 LLM 추론 서버이다. 특히 GPU 환경에서 LLM을 효율적으로 실행할 수 있도록 지원한다.

한국어 LLM

• Motif: Moreh에서 개발한 한국어 LLM으로, KMMLU 벤치마크에서 GPT-4를 능가하는 성능을 보인다. 다만, 모델 크기가 102B로 크기 때문에 고사양 환경이 필요하다.

추가 정보

• 이랜서 블로그: Llama 3와 ChatGPT를 비교하고, 사용 사례에 따라 어떤 모델을 선택해야 하는지 조언을 제공한다.
• AI타임스: Moreh의 Motif LLM이 GPT-4o를 능가하는 성능을 보인다는 기사를 제공한다.

주의사항

• 오픈 소스 LLM은 지속적으로 발전하고 있으므로, 최신 정보를 확인하는 것이 중요하다.
• LLM의 성능은 사용 목적, 데이터셋, fine-tuning 여부 등에 따라 달라질 수 있다.
• 로컬 환경 구축 시, PC 사양 및 GPU 메모리 등을 고려해야 한다.

결론

오픈 소스 LLM은 흙수저도 AI 기술을 활용할 수 있는 좋은 기회를 제공한다. 위에 소개된 정보들을 바탕으로 자신에게 맞는 LLM과 환경을 구축하여 AI의 가능성을 탐색해 보길 바란다.