모델 계열 · 양자화·GGUF/MLX
로컬에서 LLM 돌리기 — 감이 아니라 실측으로.
내 맥·PC에서 오픈 LLM을 돌리기 위한 실전 레퍼런스입니다. 모든 가이드는 우리 장비에서 직접 측정한 토큰/초·메모리 사용량·양자화 테스트에 근거합니다. 느낌이 아닌 숫자로 맞는 모델과 버전을 고르세요.
모델 계열
맥북/RTX 사용자별 맞춤 LLM 가이드: 8B부터 70B까지
본 가이드는 사용자의 하드웨어 사양과 사용 목적에 맞춰 Qwen과 Llama 3.1 중 최적의 로컬 LLM을 선택하는 방법을 실측 데이터를 기반으로 제시합니다. 하드웨어별 권장 모델과 양자화 수준을 통해 효율적인 AI 환경 구축을 돕습니다.
READ →LATEST
RAG 구축 5단계 프로세스, 지식 기반 에이전트 구현하기
RAG(검색 증강 생성)는 LLM의 지식 한계와 환각 현상을 극복하기 위해 외부 데이터를 활용하는 기술로, 데이터 수집부터 생성까지의 체계적인 프로세스가 필요합니다. 본 글은 모델 선택, 양자화, 하드웨어 매칭 등 RAG 시스템을 성공적으로 구축하기 위한 실질적인…
♥ 0
AI 코딩 파트너, 로컬 LLM으로 2025년 개발 환경 혁신
본 글은 클라우드 AI의 보안 위험을 피하고, 개인의 로컬 자원을 활용하여 코딩부터 디버깅까지 수행하는 맞춤형 AI 코딩 도구를 구축하는 방법을 상세히 안내합니다.
♥ 0
양자화 기술 완벽 정리, 로컬 AI 추론 속도 높이는 핵심 비결
로컬 LLM 구동 시 하드웨어 환경에 따라 최적의 성능을 내는 GGUF와 MLX 양자화 포맷의 차이점을 상세히 비교합니다. 범용적인 Windows/NVIDIA 환경에는 GGUF를, Apple Silicon 기반 Mac 환경에는 MLX를 추천합니다.
♥ 0
Llama 3.1 오픈소스 표준: 모델 규모별 하드웨어 요구사항
메타의 강력한 오픈소스 LLM인 Llama 3.1의 모델별 특징과 성능을 분석하고, 개인 PC에서 로컬로 실행하기 위한 최적화 및 설치 방법을 상세히 설명합니다.
♥ 0