생성형 AI의 최대 약점은 통제력입니다. 원하는 구도·카메라·형태가 안 나오죠. 이 문제를 푸는 방법이 '3D로 통제하고 AI로 마감하는' 하이브리드입니다.

기본 원리

3D에서 정확한 레이아웃과 카메라를 잡고 → 뎁스·노멀·엣지 패스를 뽑아 → 그것을 조건(ControlNet)으로 AI 생성 → 결과를 합성에서 정리. 형태는 내 것이고 질감·분위기만 AI가 만드는 구조입니다.

실전 절차

블렌더·마야에서 블로킹 (정확한 구도, 카메라 워크)

패스 출력 — 뎁스(Z), 노멀, 프리스타일 라인, 오브젝트 ID

ComfyUI에서 ControlNet 조건 + 프롬프트로 스타일 생성

여러 배리에이션 생성 후 클라이언트에 선택지 제시

선택안을 Nuke·After Effects에서 3D 패스와 합성 정리

영상에서의 관건 — 일관성(temporal consistency)

프레임마다 따로 생성하면 화면이 지글거립니다. 대응법

키프레임만 AI로 만들고 중간은 보간·모핑

AnimateDiff 계열 시간축 모델 사용

3D 패스를 강하게 물려 프레임 간 변동 억제

최후의 수단: 스타일을 '텍스처 레이어'로만 쓰고 움직임은 3D 렌더가 담당

어디에 쓰면 좋은가

뮤직비디오·광고의 스타일라이즈드 시퀀스

컨셉 무드 필름

스틸 키비주얼 (일관성 문제가 없어서 가장 안전한 상업 활용처)

2026년 현재, 정교한 실사 VFX 파이널 샷을 AI로 뽑는 건 아직 위험합니다. 하지만 '스타일이 목적'인 작업에서는 이미 상업 결과물이 나오고 있습니다. 견적할 때는 배리에이션 생성이 빠른 대신 일관성 검수에 시간이 든다는 점을 반영하세요.