스테이블 디퓨전 이미지 생성 방법, 안 될 때 체크리스트까지 정리

스테이블 디퓨전을 처음 설치하고 나서 이미지 한 장 뽑는 데까지 생각보다 오래 걸리는 분들이 많습니다. 저도 처음엔 여기서 헤맸습니다. Python 경로 설정 하나 놓쳐서 WebUI가 안 켜지고, 겨우 켰더니 이번엔 이미지 생성이 멈추거나 이상한 결과물만 나오는 식이었죠. 이 글은 설치부터 첫 이미지 생성까지의 절차와 함께, 실제로 자주 막히는 지점을 같이 짚어드립니다.

스테이블 디퓨전이란

스테이블 디퓨전(Stable Diffusion)은 2022년 8월 Stability AI 등이 공개한 오픈소스 이미지 생성 모델입니다. 텍스트를 입력하면 이미지를 만들어주는 txt2img, 기존 이미지를 다시 그리는 img2img·inpaint 기능을 제공합니다. 미드저니나 DALL-E와 달리 소스가 공개되어 있어서 내 컴퓨터에 설치해 무료로 쓸 수 있고, 모델(체크포인트)을 바꿔가며 화풍을 자유롭게 조절할 수 있다는 점이 가장 큰 차이입니다.

다만 이 자유도만큼 직접 설정해야 할 게 많습니다. 설치·환경 준비 단계에서만 몇 가지 막히는 지점이 있어서, 순서대로 짚고 넘어가겠습니다.

⚠️ 아래 내용 중 설치 절차·파라미터 기본값은 각 WebUI 구현체(AUTOMATIC1111, Forge 등)에서 통용되는 관례이며, 정부·공공기관이 공시한 공식 표준 수치는 아닙니다. 2026년 기준 내용이며 버전에 따라 옵션명이 달라질 수 있습니다.

설치 방법 3가지 중 뭘 골라야 할까

1. 로컬 설치 — 2026년 지금은 ComfyUI가 중심입니다

2023년까지는 AUTOMATIC1111(A1111)이 사실상 표준이었지만, 2026년 현재 적극적으로 개발되며 신모델을 바로 반영하는 쪽은 ComfyUI입니다. A1111 공식 저장소의 최신 정식 릴리스는 2025년 2월에 멈춰 있는 반면, ComfyUI는 매주 단위로 릴리스를 냅니다. 노드를 연결하는 방식이라 처음에는 낮섬지마, 기본 워크플로를 불러오는 것만으로 시작할 수 있고, 최신 모델을 쓸 계획이라면 이쪽이 유리합니다.

반대로 탭 형태의 익숙한 UI를 원한다면 Forge 계열이 대안입니다. 다만 원본 Forge 저장소의 개발은 정체된 상태라, 설치 전에 포크·후속 계열 중 어느 것이 여전히 유지보수되고 있는지 확인하셔야 합니다. 이 글은 설치별 세부 절차가 거의 공통적이라서 A1111·Forge 기준으로 설명합니다. ComfyUI는 설치 절차는 비슷하나 노드 기반 인터페이스라 사용법은 별도로 익혔야 합니다. 처음부터 복잡한 것도, 노드도 부담스럽다면 Fooocus 같은 원클릭 패키지로 진입 장벽을 낮추는 방법도 있습니다.

자주 걸리는 지점:

문제	원인	해결
WebUI 실행이 안 됨	Python 설치 시 “Add python.exe to PATH” 미체크	Python 재설치하며 PATH 옵션 체크
git 명령어 인식 안 됨	Git 설치 후 PATH 미반영	터미널 재시작 또는 환경변수 재확인
리포지토리 클론 오류	주소 오타, 또는 포크판(Forge·ReForge)과 원본 혼동	공식 저장소 주소 재확인 후 재시도
생성이 느리거나 중간에 멈춤	GPU VRAM 부족(쓰려는 모델에 비해 부족 — SDXL은 8GB, SD3.5는 12GB가 현실적 하한), 내장 그래픽 사용	해상도·배치 수 축소, 최소 사양 GPU 확인

실제로 관련 커뮤니티나 오류 게시판을 보면 “파이썬은 설치했는데 실행이 안 된다”, “git 명령이 안 먹는다” 같은 질문이 반복적으로 올라옵니다. 대부분 PATH 설정 문제이니, 설치 직후 실행이 안 되면 이 부분부터 확인하는 게 순서입니다.

2. Google Colab (클라우드)

브라우저에서 바로 실행할 수 있어 Python·Git·GPU 설정을 건너뛸 수 있습니다. 구글은 Colab이 GPU를 무료로 제공한다고 안내하지만, 이는 동적 사용 한도에 따라 배분되는 것이라 GPU 종류·사용 시간이 보장되지 않습니다. 특히 WebUI 서버를 띄우고 터널로 접속하는 전형적인 방식은 이 제한과 충돌하기 쉽어, 2026년 기준으로 “무료 WebUI 호스팅 수단”으로 전제하기엔 불안정합니다.

3. Rundiffusion 등 호스팅 서비스

가입만 하면 바로 쓸 수 있는 대신, 무료 크레딧이 짧고(보통 30분 내외) 그 이상은 유료 결제가 필요합니다. 설치 없이 빠르게 테스트해보고 싶을 때 적합합니다.

어떤 방식을 고를지는 목적에 따라 갈립니다. 반복적으로 대량 생성하거나 LoRA·ControlNet까지 쓸 계획이면 로컬 설치가 결국 유리하고, 가끔 몇 장만 생성한다면 클라우드 쪽이 설치 스트레스 없이 편합니다.

txt2img로 첫 이미지 생성하기

핵심 파라미터 이해하기

설치가 끝나면 WebUI에서 다음 항목을 설정하고 Generate 버튼을 누릅니다.

• 프롬프트: 원하는 이미지를 텍스트로 입력 (대상 + 배경/상황 + 스타일 + 품질 태그 순으로 쓰면 효과적)
• 네거티브 프롬프트: 원하지 않는 요소를 입력 (worst quality, bad anatomy 등)
• 샘플러: 이미지를 생성하는 알고리즘 방식
• 스텝 수: 생성 반복 횟수, 보통 20~30 사이에서 시작
• CFG scale: 프롬프트를 얼마나 강하게 따를지 결정하는 값
• 해상도: 기본값은 512×512가 많이 쓰이지만 모델별로 권장값이 다름
• 시드(Seed): 같은 결과를 재현하고 싶을 때 고정

자주 오해하는 부분이 있는데, 이 수치들은 “정답”이 아니라 시작점입니다. 상위 콘텐츠 대부분이 추천값만 나열하고 넘어가다 보니, 그 값을 그대로 따라 했는데 결과가 애매하다는 반응이 흔합니다. 스텝 수를 올린다고 무조건 품질이 좋아지는 것도 아니고, CFG scale을 너무 높이면 오히려 이미지가 부자연스러워질 수 있습니다. 몇 번 값을 바꿔가며 내 프롬프트·모델에 맞는 지점을 찾는 과정이 필요합니다.

해상도 관련해서 자주 나오는 질문

512×512 같은 기본 해상도에서 인물이 찌그러지거나 비율이 이상하게 나온다는 후기가 반복됩니다. 이럴 때는 Highres fix나 업스케일 옵션을 쓰는데, 이 옵션을 켜면 연산 시간이 늘어나고 GPU 사양이 낮으면 오히려 에러가 날 수 있습니다. 사양이 넉넉하지 않다면 기본 해상도로 먼저 생성한 뒤 업스케일을 별도로 적용하는 순서를 추천합니다.

프롬프트 작성법: 구조를 알면 결과가 달라진다

CivitAI나 모델 페이지의 프롬프트 예시를 그대로 복사해서 붙여넣었는데 같은 결과가 안 나온다는 질문이 많습니다. 이건 대부분 모델(체크포인트) 자체가 다르거나, 버전이 달라서 생기는 차이입니다. 예시 프롬프트는 참고용이지 정답이 아닙니다.

기본 구조는 다음 순서를 따르면 무난합니다.

• 주제: 무엇을 그릴지 (인물, 사물, 배경)
• 상황·구도: 어디서 무엇을 하고 있는지, 카메라 앵글
• 스타일: 실사풍인지 애니메이션풍인지
• 품질 태그: masterpiece, best quality 같은 보정 태그

네거티브 프롬프트도 마찬가지로 무조건 많이 넣는다고 좋은 게 아닙니다. 과하게 넣었더니 오히려 디테일이 사라졌다는 후기가 반복되는 걸 보면, 기본 세트(worst quality, bad anatomy, low quality 정도)로 시작해서 결과를 보며 조정하는 편이 낫습니다.

가중치 조절도 알아두면 유용합니다. (키워드:1.2) 형식으로 쓰면 해당 요소를 더 강하게 반영합니다. 반대로 1보다 낮은 숫자를 넣으면 약화시킬 수 있습니다.

모델·LoRA·VAE, 뭐가 다른가

여기서 많이들 걸려 넘어집니다. 세 가지는 역할이 완전히 다릅니다.

• Checkpoint(체크포인트): 이미지 생성의 기본이 되는 모델. 화풍 전체를 결정
• LoRA: 체크포인트 위에 얹어 특정 스타일이나 캐릭터를 보정하는 추가 모델
• VAE: 색감·디테일 압축 방식을 결정하는 요소

LoRA를 켰더니 그림체가 이상하게 바뀌었다는 경우는 대부분 LoRA와 체크포인트의 궁합이 안 맞거나, 강도(weight) 설정이 너무 높은 경우입니다. 처음에는 LoRA 강도를 0.6~0.8 정도로 낮게 시작해서 조정하는 걸 권합니다.

img2img·inpaint로 기존 이미지 변형하기

txt2img로 기본기를 익혔다면 다음 단계입니다.

• img2img: 기존 이미지를 업로드하고 Denoising strength로 “원본을 얼마나 유지할지” 조절합니다. 값이 낮으면 원본과 비슷하게, 높으면 원본에서 많이 벗어난 결과가 나옵니다.
• Inpaint: 이미지의 특정 영역만 마스킹해서 그 부분만 다시 그립니다. 얼굴이나 손처럼 특정 부위만 수정하고 싶을 때 유용합니다.

기존 사진을 보정하거나 배경만 바꾸고 싶을 때 어떤 탭을 써야 할지 헷갈리는 경우가 많은데, 전체적인 스타일을 바꾸고 싶으면 img2img, 특정 부분만 고치고 싶으면 inpaint를 쓴다고 생각하면 구분이 쉽습니다.

생성이 안 되거나 느릴 때 체크리스트

이미지 생성이 막힐 때 순서대로 확인해볼 항목입니다.

• [ ] Python PATH가 제대로 등록되어 있는지
• [ ] Git 명령어가 터미널에서 인식되는지
• [ ] GPU VRAM이 쓰려는 모델 기준을 충족하는지(SD1.5는 6GB, SDXL은 8~12GB, SD3.5는 12GB 이상 권장)
• [ ] 모델 파일이 올바른 폴더(models/Stable-diffusion 등)에 들어있는지
• [ ] 최근 설치한 모델이 현재 WebUI 버전과 호환되는지
• [ ] 콘솔 로그에 구체적인 에러 메시지가 있는지 (오류 유형 파악의 핵심)

특히 마지막 항목인 콘솔 로그 확인이 중요합니다. “그냥 안 된다”보다 “어떤 에러가 뜨는지”를 알아야 원인을 좁힐 수 있습니다. 커뮤니티에 질문을 올릴 때도 로그를 함께 첨부하면 답변을 받기 훨씬 수월합니다.

상업적으로 써도 될까

이미지를 쇼핑몰이나 썸네일, SNS 광고 소재로 써도 되는지 묻는 경우가 많은데, 정답은 “모델마다 다릅니다”입니다. CivitAI나 Hugging Face에 올라온 모델은 각각 별도의 라이선스가 붙어 있고, 일부는 상업적 이용을 금지하거나 출처 표기를 요구합니다. “스테이블 디퓨전은 무조건 상업 이용 가능”이라는 생각으로 접근했다가 문제가 될 수 있으니, 사용하려는 모델의 라이선스 문서를 꼭 확인해야 합니다. 이 내용은 법적 자문이 아니라 일반적인 안내이므로, 실제 상업 프로젝트에 쓸 경우 라이선스 원문과 관할 법령을 별도로 확인하시길 권합니다.

Mac·Linux에서도 쓸 수 있나

가능은 하지만, 대부분의 한국어 콘텐츠가 Windows 기준으로 작성되어 있어서 Mac·Linux 사용자는 참고할 자료가 상대적으로 적습니다. 설치 경로나 스크립트가 다르고, 일부 기능은 정상 작동하지 않는 경우도 있습니다. Python 버전 관리 방식도 OS마다 달라서, 문제가 생기면 영어로 된 공식 문서나 GitHub 이슈를 참고해야 하는 경우가 많습니다.

자주 묻는 질문

함께 보면 좋은 글

• IT 취업 로드맵, 2026년 비전공자도 통하는 현실 전략
• 파이썬 가상환경 설정 방법: VSCode 연동까지 한 번에 끝내기
• ChatGPT 업무 활용 실전 프롬프트 모음 7가지, 생산성 극대화 팁