정부 도메인 특화 sLLM 구축기 — Gemma-3-1B를 국토교통부 데이터로 파인튜닝한 RAG 챗봇

한 줄 요약

공공기관 보안 환경에서 소형 언어모델(sLLM) Gemma-3-1B를 도메인 파인튜닝하고 RAG로 결합한 온프레미스 정책 응답 챗봇 구축 사례입니다.

핵심 내용

• Google Gemma-3-1B를 국토교통부 정책 문서로 파인튜닝하여 molit-gemma 모델 개발

• OpenSearch 기반 RAG(Retrieval-Augmented Generation)로 환각(hallucination) 완화

• 평가 지표: BLEU 0.6258, LLM-as-a-Judge 4.34/5.0

• 전체 온프레미스 배포로 외부 API 호출 0 (데이터 유출 우려 제거)

• 공공기관에서 ChatGPT/Claude 같은 외부 LLM 사용이 어려운 보안 제약 극복

• 70B급 대형 모델 대비 1B 모델로 GPU 인프라 부담 대폭 경감

왜 중요한가

정부 부문에서 도메인 특화 소형 모델과 RAG 조합의 실증적 베이스라인을 제시합니다. 1B 규모 모델로도 도메인을 한정하면 실용 수준의 성능에 도달 가능함을 보여주며, 보안이 중요한 공공부문의 AI 도입 방향을 제시합니다.

원문: https://www.riss.kr/link?id=T17378943
GeekNews: https://news.hada.io/topic?id=29125