클로드코드로 ComfyUI 자동화 - AI 이미지·영상 무료 생성 4단계

요즘 저는 콘텐츠에 넣을 이미지가 필요하면, 클로드 코드에 이렇게 말합니다.

“이 콘텐츠에 들어갈 참조 이미지들을 20장 만들어줘.”

그러고는 다른 일을 하다가 보면 폴더에 관련 이미지들이 만들어져 있고, 그중 마음에 드는 걸 선택해서 최종 발행을 하는데요. 아쉬운 컷이 있을 경우, “이 컷은 이런 식으로 다시 그려줘”라고 말하면 또다시 그려줍니다. 이렇게 하니까 너무 편하더라고요.

이게 가능한 건 클로드 코드 + ComfyUI 조합 덕분인데요. ComfyUI는 오픈소스 AI 모델을 내 컴퓨터에서 돌려서 이미지·영상을 무료로 만들 수 있는 프로그램이지만, 복잡한 노드 화면 때문에 포기하는 분이 많았어요. 그런데 이 노드를 하나도 안 만지고, 클로드 코드에 말로 시켜서 전부 자동화할 수 있습니다.

클로드 코드는 유료로 사용해야 하지만, ComfyUI나 오픈소스 모델들은 다 무료로 사용을 할 수 있다는 게 큰 매력인데요.

제가 준비 중인 톨스토이 단편 낭독 영상의 한 장면이에요. 이 그림도, 움직임도 전부 클로드 코드에 말로 시켜서 제 컴퓨터에서 만들었습니다.

실제로 지금 낭독 채널을 준비하고 있는데, 40분짜리 영상에 들어가는 장면 그림 수십 장과 움직이는 클립 전부를 이 방식으로 만들어봤습니다. 그 과정을 4단계로 정리했습니다. 영상에서 실제로 쓴 프롬프트도 그대로 넣어뒀으니, 복사해서 내 상황에 맞게 바꿔 쓰세요.

영상으로 먼저 보기

자세한 이야기는 행글라이터 영상으로 정리했습니다.

[영상 순서]

• (0:00~) 오프닝 시연 - 말로 시켜서 이미지·영상 만들기
• (1:48~) 1단계: 클로드 코드 설치 (VS Code + 확장 프로그램)
• (2:15~) 2단계: ComfyUI 설치 + 내 컴퓨터 사양 확인
• (3:44~) 3단계: 이미지 만들기 (모델 다운로드 → 화풍 고르기 → 장면별 생성 → AI 검수)
• (6:38~) 4단계: 영상 만들기 + 편집 (Wan 2.2 + 가속 LoRA, 자막까지)
• (9:08~) 팁: 처음부터 클로드와 계획 세우기
• (9:45~) 마무리 + LTX 2.3 모델로 만든 엔딩 영상

---

오늘의 4단계입니다. 노드? 워크플로? 몰라도 됩니다. 말로 다 시킬 거예요.

시작 전 알아두면 좋은 3가지

1. 비용 구조: 클로드 코드는 유료 구독이 필요하지만, 이미지·영상 생성 자체는 전부 내 컴퓨터에서 돌아가서 무료입니다. 몇백 장을 뽑아도 추가 비용이 없어요.(전기세는 들 수 있습니다)
2. 사양 기준: 그래픽카드 메모리(VRAM) 8GB 이상이면 이미지는 충분합니다. 영상은 8GB도 되지만 느리고, 12GB부터 편합니다. NVIDIA 지포스 기준이에요. 모델 파일용으로 저장 공간은 100GB 정도 비워두면 좋습니다.
3. 준비물: Claude code를 사용할 수 있게 VS Code(무료) 설치하기 + ComfyUI 데스크탑 앱(무료) 설치하기. 설치가 막히면 그것도 클로드한테 설치해달라고 하면 됩니다.

1단계. 클로드 코드 설치

먼저 작업 환경부터 준비합니다.

1. VS Code를 검색해서 설치합니다 (마이크로소프트 무료 프로그램)
2. VS Code 왼쪽 블록 아이콘(확장)에서 “Claude Code”를 검색해 설치합니다
3. 클로드 유료 구독(Pro/Max) 계정으로 로그인하면 끝이에요

이미 클로드 Pro를 쓰고 계신 분은 추가 비용이 없습니다. 오늘 작업은 Pro 요금제로도 가능합니다. 앱이나 CLI에서 클로드코드를 쓰시는 분들은 거기서 사용해도 되고요.

2단계. ComfyUI 설치 + 내 컴퓨터 사양 확인

두 번째로 ComfyUI를 설치합니다. 예전엔 ComfyUI 설치부터가 진입장벽이었는데, 최근에 데스크탑 앱이 나와서 일반 프로그램처럼 깔면 끝나요. comfy.org에서 Download → 설치 파일 실행 → 다음, 다음 하면 됩니다.

ComfyUI 공식 사이트(comfy.org)에서 데스크탑 앱을 받으면 일반 프로그램처럼 설치가 끝납니다. “Run on your hardware. Free forever.” - 내 컴퓨터에서, 영원히 무료로.

설치가 막히면 클로드한테 “ComfyUI 데스크탑 설치해줘”라고 하면 됩니다.

한 가지 챙길 건 사양인데요. 내 컴퓨터가 되는지 모르겠다면, 이것도 클로드한테 물어보면 됩니다.

내 컴퓨터 그래픽카드와 VRAM을 확인하고,
ComfyUI로 이미지 생성이 가능한 사양인지 판정해줘.

VRAM	이미지	영상
6GB	가능 (경량 모델)	어려움
8GB	충분	제한적 (가볍게, 짧게)
12GB 이상	쾌적	가능
24GB	원본급 모델	쾌적

VRAM 숫자 하나만 보면 됩니다. 이미지는 8GB면 충분하고, 영상은 12GB부터 편해요.

3단계. 이미지 만들기

준비: ComfyUI 켜두고, 작업 폴더 열기

ComfyUI는 켜두기만 하면 됩니다. 화면은 안 만져도 돼요. 클로드가 ComfyUI에 직접 요청을 보내서 작업하거든요.

저는 톨스토이 단편으로 낭독 영상을 만들려고 대본을 준비해뒀는데요. 이 대본이 있는 작업 폴더를 VS Code에서 열고 시작합니다. 클로드가 이 폴더를 보면서 일하게 되는 거예요.

모델 받기

이미지 모델은 클로드한테 뭐가 좋은지 물어보면서 정해도 되는데, 제 추천은 오픈소스 중에 “AI 티 안 나는” 사실적인 그림으로 주목받는 Krea 2입니다. (연매출 100만 달러 이하면 상업적으로도 무료예요.)

ComfyUI에서 Krea 2로 이미지를 만들고 싶어.
내 컴퓨터 사양에 맞는 버전을 골라서, 필요한 파일을 전부 받아 올바른 위치에 설치해줘.
압축(GGUF) 버전이 필요하면 관련 커스텀 노드도 설치해줘.

💡 AI 이미지 모델은 파일 하나가 아니라 세트예요. 그림을 그리는 본체 + 내 프롬프트를 해석하는 인코더 + 최종 이미지로 변환하는 VAE. 원래는 이 세트를 각자 정해진 폴더에 넣어야 하는데, 프롬프트 한 줄이면 클로드가 알아서 다 챙깁니다.

모델은 본체·인코더·VAE 세트인데, 이걸 몰라도 됩니다. 클로드가 사양에 맞는 버전을 골라 정해진 폴더에 넣어줘요.

화풍 테스트부터

다 받았으면 그림을 그립니다. 무작정 본편부터 뽑는 게 아니라, 먼저 화풍 테스트부터 하면 좋은데요.

19세기 러시아 단편 낭독 영상에 어울리는 화풍을 3가지 제안하고,
"반지하 구둣방에서 노인이 창밖을 올려다보는 장면"을
화풍별로 2장씩 만들어서 비교하게 해줘.

몇 분 뒤 6장이 나옵니다. 클로드는 러시아 사실주의 유화, 따뜻한 그림책 수채화, 렘브란트풍 명암 이렇게 세 방향을 제안했고, 저는 러시아 유화풍을 골랐어요. 장르 설명과 대표 장면 한 줄만 바꾸면 어떤 콘텐츠에도 그대로 쓸 수 있습니다.

장면별 생성 + 검수까지 클로드에게

화풍을 골랐으면 이제 장면별로 이미지를 생성합니다.

장면 1~5번, 장면마다 4장씩 총 20장 만들어줘.
주인공 묘사와 화풍은 모든 장면에서 똑같이 유지해줘.

말로 시키면 클로드가 ComfyUI에 요청을 보내 이미지를 만들어 폴더에 넣어줍니다.

그리고 이게 자동화의 진짜 힘인데요. 클로드는 이미지를 직접 볼 수 있습니다. 그래서 이렇게까지 됩니다.

생성된 이미지를 네가 직접 확인해서,
주인공 모습이 설정과 다르게 나온 컷은 걸러내고 다시 그려줘.

뽑고, 검사하고, 다시 뽑는 것까지 맡겨두면 되는 거죠. 이미지의 경우는 시간이 그렇게 많이 들지는 않아서, 넉넉히 뽑아서 고르면 좋아요.

생성 → 검수 → 재생성. 이 사이클이 반복됩니다.

4단계. 영상 만들기 + 편집

이미지를 영상으로 (i2v)

같은 방식으로 영상도 만들 수 있는데요. 이미지를 영상으로 만드는 걸 i2v(image-to-video)라고 합니다. 먼저 내 컴퓨터에서 되는지부터 물어봅니다.

이미지를 영상으로 만들고 싶어.
내 VRAM으로 영상 생성이 가능한지 확인하고, 맞는 영상 모델을 추천해줘.

영상 모델은 로컬 영상 생성에서 가장 많이 쓰이는 Wan 2.2를 추천해요. 그리고 설치할 때 가속 LoRA를 꼭 같이 설치해달라고 하세요. 원래 영상 한 컷을 만들려면 AI가 40~50번을 반복 계산해야 하는데, 가속 LoRA는 그걸 4번 만에 끝내주는 작은 추가 파일입니다. 이게 없으면 5초 클립 하나에 몇십 분씩 걸려요.

Wan 2.2와 가속 LoRA(lightx2v)를 내 사양에 맞게 설치해줘.
그리고 이 이미지들을 각 장면 상황에 맞게 5초 영상으로 만들어줘.

확정된 이미지에서 출발하니까 얼굴 걱정도 없어요. 처음부터 고해상도 대신 480p로 빠르게 뽑고, 괜찮은 것만 업스케일하면 훨씬 효율적입니다.

편집도 클로드에게 - 한 편 완성

뽑아놓은 이미지와 클립을 조립해서 편집하는 것도 클로드한테 시킬 수 있는데요.

채택한 장면 이미지와 영상 클립을 순서대로 이어 붙여서 한 편으로 만들어줘.
정지 이미지에는 천천히 확대되는 효과를 넣고,
장면과 장면 사이는 부드럽게 디졸브로 전환해줘.

클로드가 무료 도구(ffmpeg)로 이미지에 줌 효과를 넣고, 클립을 디졸브로 이어서 영상 파일 하나로 만들어 줍니다. 편집 프로그램을 안 열고도 뼈대가 완성되는 거예요.

자막까지도 가능합니다. 내레이션 대본을 주면 클로드가 타이밍 맞춰 자막 파일을 만들어서 영상에 입혀줘요. “고딕과 명조 두 스타일로 시안 비교해서 보여줘”라고 하면 시안까지 만들어줍니다.

클로드가 자막까지 넣어 편집한 장면이에요.

실전 팁 2가지

팁 1) 주인공 얼굴 고정하기 (캐릭터 일관성)

이미지로 스토리 콘텐츠를 만들 때 최대 난관이, 장면마다 주인공 얼굴이 바뀌는 건데요. 방법을 몰라도 됩니다. 문제를 정확히 설명하고 방법을 제안받으면 돼요.

주인공 노인이 15컷 내내 같은 인물로 보여야 해.
장면마다 얼굴이 바뀌는 걸 막으려면 어떤 방법이 좋을지, 작업 순서와 함께 제안해줘.

클로드의 제안은 이랬습니다. 주인공의 생김새(나이, 머리, 수염, 안경, 옷차림)를 문장으로 확정해서 모든 장면 프롬프트에 토씨 하나 안 바꾸고 넣고, 본편 전에 정면·측면·작업 중·창가 4가지 자세로 캐릭터 시트를 먼저 뽑아 검증하자.

이렇게 하니까 정말 얼굴이 안 흔들리더라고요. 배경 소품도 같은 방식으로 고정할 수 있습니다. 혹은 모델 자체를 일관성을 잘 유지하는 Qwen Image Edit 2511 등을 써도 좋고요.

팁 2) 처음부터 계획 세우기

큰 프로젝트는 시작 전에 클로드와 계획부터 세우는 게 좋습니다.

톨스토이 단편으로 낭독 영상을 만들려고 해. 대본은 첨부한 것과 같고.
이미지, 영상, 오디오를 다 ComfyUI로 만들 건데,
어떤 순서로 작업하는 게 좋을지 계획을 제안해줘.

그러면 계획을 세워주는데요, 그 순서대로 차근차근 하면 더 효율적으로 작업할 수 있습니다.

정리

오늘의 파이프라인을 한 줄로 정리하면 이겁니다.

말로 시켜서 만들고, 말로 시켜서 움직이고, 말로 시켜서 편집한다.

ComfyUI를 클로드에게 말로 시켜서 자동화하는 것, 한번 도전해보세요.

AI 시대 어디까지 할 수 있나를 계속해서 테스트를 하고 있는데, 이 방식을 알고 나서 더 많은 시도를 할 수 있게 되더라고요. 가능하신 분들은 한번 잘 시도해보셨으면 좋겠습니다.

궁금한 점이 있으시면 유튜브 영상에 댓글로 남겨주세요. 감사합니다.

함께 보면 좋은 글

같은 클로드 코드로 할 수 있는 다른 작업들도 정리해 두었어요.

• 클로드 코드로 업무 효율 높이기 - 사진 정리부터 경비 보고서·책 쓰기까지, 코딩 없이 말로 시키는 업무 자동화
• 클로드 코드로 모션그래픽 영상 만들기 - AI한테 말로 시켜서 영상까지 제작하는 법
• 바이브코딩으로 홈페이지 만들기 - 코딩 없이 클로드 코드로 검색되는 수익형 사이트 만들기 5단계