post
vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 한 번에
vLLM Recipes가 대폭 개편되었습니다. HuggingFace 미러 URL 지원, 인터랙티브 커맨드 빌더, NVIDIA/AMD 원클릭 전환, JSON API 제공으로 "모델 X를 하드웨어 Y에서 어떻게 돌리지?"에 대한 답을 즉시 얻을 수 있습니다. 에이전트 스킬을 통한 새 레시피 기여도 가능합니다.
한 줄 요약
vLLM Recipes 플랫폼이 인터랙티브 커맨드 빌더, HuggingFace 미러, JSON API를 추가해 모델-하드웨어 조합별 최적 설정을 즉시 제공합니다.
핵심 내용
HuggingFace 미러 URL: huggingface.co를 recipes.vllm.ai로 변경하면 해당 모델 레시피로 자동 이동 (예: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
인터랙티브 커맨드 빌더: 하드웨어, variant, 병렬화 전략을 선택하면 바로 쓸 수 있는 vllm serve 명령어 생성
플러그형 하드웨어: NVIDIA(Hopper/Blackwell)과 AMD(MI300X/MI355X) 원클릭 전환, 플래그와 환경변수 자동 적용
JSON API: 모든 레시피를 /.json 경로로 제공해 에이전트와 자동화 도구에서 직접 소비 가능
에이전트 스킬: 벤치마크 실행부터 레시피 생성·PR 제출까지 에이전트가 end-to-end로 새 레시피 기여 안내
왜 중요한가
LLM 서빙은 모델과 하드웨어 조합에 따라 최적화 방식이 크게 달라집니다. 이전에는 각 조합마다 설정을 직접 찾거나 문서를 뒤져야 했지만, 이제 대화형 인터페이스로 한 번에 정확한 명령어를 얻을 수 있습니다. JSON API와 에이전트 스킬 지원으로 LLM 운영의 자동화와 커뮤니티 기여도 쉬워졌습니다.
참조한 것 · 가져온 것
원문: https://recipes.vllm.ai/
GeekNews: https://news.hada.io/topic?id=28808