파이썬 기초부터 Local LLM, LangGraph, MCP, RAG, FastAPI를 거쳐 실전 배포까지 순차적으로 학습합니다. 매일 하나의 강의노트가 추가되어 아래 목록에 이어서 쌓입니다.
Phase 1: 기초 | 예상 학습 시간: 40분 🎯 학습 목표 AI 엔지니어링에서 Python이 사실상 표준 언어인 이유를 설명할 수 있다 Linux 기본 명령어로 GPU 서버 환경을 다룰 수 있다 가상환경(venv)과 패키지 관리 흐름을 이해한다 1. 왜 Python인가? 대부분의 GPU 제공업체(Runpod, Lambda, AWS)와 딥러닝 프레임워크(PyTorch, Transformers, LangChain, LangGraph)는 Python 기반입니다. ...
Phase 1: 기초 | 예상 학습 시간: 40분 🎯 학습 목표 이미지(image)와 컨테이너(container)의 차이를 설명할 수 있다 Python/GPU 애플리케이션을 위한 Dockerfile을 직접 작성할 수 있다 docker build/run/exec와 nvidia-container-toolkit으로 GPU 컨테이너를 실행할 수 있다 1. Docker가 필요한 이유 LLM 애플리케이션은 특정 버전의 Python, CUDA, PyTorch, 시스템 라이브러리(예: libgomp, ffmpeg)에 강하게 의존합니다. “내 컴퓨터에서는 되는데 서버에서는 안 되는” 문제는 대부분 이런 환경 불일치에서 발생합니다. ...
Phase 1: 기초 | 예상 학습 시간: 40분 🎯 학습 목표 GPU가 LLM 연산(행렬 곱셈)에 CPU보다 적합한 이유를 설명할 수 있다 nvidia-smi 출력을 읽고 GPU 상태를 진단할 수 있다 모델 파라미터 수로부터 필요한 VRAM을 추정할 수 있다 1. CPU vs GPU — 왜 GPU인가 CPU는 소수의 강력한 코어(보통 8~64개)로 순차적/분기적 연산을 빠르게 처리하도록 설계되어 있습니다. 반면 GPU는 수천 개의 단순한 코어로 동일한 연산을 대량의 데이터에 동시에 적용하는 데 특화되어 있습니다. ...
Phase 1: 기초 | 예상 학습 시간: 40분 🎯 학습 목표 Self-Attention의 Q/K/V 개념과 계산 흐름을 설명할 수 있다 Multi-Head Attention과 Positional Encoding의 필요성을 이해한다 인코더-디코더 구조와 디코더 전용(decoder-only) 구조의 차이, 그리고 왜 대부분의 LLM이 후자를 택했는지 설명할 수 있다 1. Transformer 이전의 한계 — RNN의 순차성 문제 2017년 “Attention Is All You Need” 논문 이전, 자연어 처리의 주류는 RNN/LSTM이었습니다. RNN은 토큰을 순서대로 하나씩 처리하기 때문에 두 가지 근본적 한계가 있었습니다. ...
Phase 1: 기초 | 예상 학습 시간: 40분 🎯 학습 목표 BPE 토큰화 방식과 임베딩이 텍스트를 숫자로 바꾸는 과정을 설명할 수 있다 컨텍스트 윈도우가 실무에서 어떤 제약으로 작동하는지 이해한다 KV 캐시의 목적과 메모리 비용 공식을 계산할 수 있다 1. 토큰화(Tokenization) — 텍스트를 숫자로 LLM은 텍스트를 직접 이해하지 못합니다. 먼저 텍스트를 **토큰(token)**이라는 단위로 쪼개고, 각 토큰을 정수 ID로 변환해야 모델에 입력할 수 있습니다. ...
Phase 2: 로컬 LLM | 예상 학습 시간: 40분 🎯 학습 목표 Ollama로 로컬에서 LLM을 설치, 실행, 커스터마이징할 수 있다 Ollama의 REST API를 사용해 애플리케이션에서 로컬 모델을 호출할 수 있다 Ollama와 vLLM 중 상황에 맞는 도구를 선택하는 기준을 이해한다 1. Ollama란 Ollama는 로컬 환경(개인 PC, 서버)에서 오픈소스 LLM을 손쉽게 다운로드하고 실행할 수 있게 해주는 도구입니다. 내부적으로 llama.cpp를 엔진으로 사용하며, 모델 다운로드·양자화 버전 관리·REST API 서버·CLI를 하나로 통합해 “가장 진입장벽이 낮은 로컬 LLM 실행 도구"로 자리잡았습니다. ...
Phase 2: 로컬 LLM | 예상 학습 시간: 40분 🎯 학습 목표 Hugging Face generate()의 한계와 vLLM이 이를 해결하는 원리(PagedAttention, Continuous Batching)를 설명할 수 있다 vllm serve로 OpenAI 호환 API 서버를 실행하고 핵심 실행 플래그를 이해한다 처리량(throughput)과 지연시간(latency) 사이의 트레이드오프를 판단할 수 있다 1. 왜 naive generate()로는 부족한가 Ollama(Day 06)는 “개인이 로컬에서 편하게” 모델을 돌리는 도구였다면, vLLM은 “여러 사용자의 요청을 동시에, 최대한 빠르게” 처리해야 하는 서빙(serving) 상황을 위한 도구입니다. ...
Phase 2: 로컬 LLM | 예상 학습 시간: 40분 🎯 학습 목표 GGUF, GPTQ, AWQ의 차이와 각각을 언제 선택해야 하는지 설명할 수 있다 Tensor Parallelism과 Flash Attention이 추론 속도를 개선하는 원리를 이해한다 Speculative Decoding의 draft-verify 구조와 속도 향상 메커니즘을 설명할 수 있다 1. 양자화(Quantization)란 무엇이고 왜 필요한가 LLM의 가중치는 보통 16비트(FP16/BF16) 부동소수점으로 저장됩니다. 70억 개 파라미터 모델이면 대략 14GB, 700억이면 140GB — 개인 GPU는커녕 서버 GPU 여러 장도 부족할 수 있습니다. ...
Phase 3: Runpod & 인프라 | 예상 학습 시간: 35분 🎯 학습 목표 Runpod의 Pod와 Serverless의 차이를 이해하고 상황에 맞게 선택할 수 있다 Persistent Volume과 Container Disk의 차이를 설명할 수 있다 Template을 활용해 재현 가능한 GPU 작업 환경을 구축할 수 있다 1. Runpod이란 Runpod은 시간 단위로 GPU를 대여할 수 있는 클라우드 GPU 서비스입니다. AWS/GCP 대비 훨씬 저렴한 가격에 A100, H100, RTX 4090 등 다양한 GPU를 즉시 대여할 수 있어, 개인이나 소규모 팀이 vLLM 서빙(Day 07)이나 파인튜닝 실습을 할 때 널리 쓰입니다. ...
Phase 3: Runpod & 인프라 | 예상 학습 시간: 35분 🎯 학습 목표 SSH 키 설정과 포트 포워딩으로 원격 GPU 서버에 안전하게 접속할 수 있다 tmux로 세션을 유지해 연결이 끊겨도 장시간 작업이 살아있게 만들 수 있다 nvidia-smi 출력을 읽고 GPU 상태를 실시간으로 모니터링할 수 있다 1. SSH 키 설정 — Runpod 접속의 첫걸음 Runpod Pod(Day 09)는 기본적으로 SSH로 접속합니다. 비밀번호 대신 공개키 방식을 씁니다. ...