따라하기

AI 립싱크: 사진이 말하게 만드는 사이트와 꼭 지킬 것

FRAME 운영팀 · 2026. 10. 15.

AI 립싱크는 사진이나 영상 속 얼굴의 입 모양을 내가 넣은 음성에 맞춰 다시 그려, 그 인물이 말하거나 노래하는 것처럼 만드는 기능입니다. 2026년 10월 각 회사 공식 안내 기준으로 Kling AI(클링), CapCut(캡컷), HeyGen(헤이젠)이 이 기능을 제공하고, 무료로 시작할 수 있는 범위는 서비스마다 다릅니다.

이 글의 요금·무료 여부는 2026년 10월에 공식 안내로 확인했습니다. 바뀔 수 있으니 쓰기 전에 공식 페이지를 한 번 더 보세요.

립싱크는 만드는 법보다 쓰는 법에서 사고가 납니다. 다른 사람의 얼굴과 목소리로 하지 않은 말을 하게 만들 수 있는 기능이라서입니다. 이 글은 만드는 순서와 함께, 실존 인물·유명인·돌아가신 분·선거와 관련해 확인한 법 조문과 서비스 정책을 따로 적었습니다. 예시는 모두 그림이나 애니메이션 캐릭터로 들었습니다.

AI 립싱크는 무엇을 하나요

AI 립싱크는 음성의 소리와 박자를 분석해, 영상 속 인물의 입 모양을 그 소리에 맞게 한 장면씩 고쳐 그리는 기능입니다. 2026년 10월 Kling 공식 립싱크 페이지는 립싱크를 "사람이나 캐릭터의 입 움직임을 말하거나 노래하는 음성에 맞추는 것"으로 설명하고, AI가 예전에 사람이 한 장면씩 하던 작업을 대신한다고 적었습니다.

넣는 재료에 따라 세 갈래로 나뉩니다.

사진이 말하게 만드는 일은 사진 속에 없던 입 안쪽, 이, 표정 변화를 AI가 지어내서 그리는 일입니다. 그래서 정면을 보고 입이 가려지지 않은 사진일수록 자연스럽고, 옆얼굴이나 손·마이크가 입을 가린 사진은 어긋나기 쉽습니다.

AI 립싱크 사이트는 어디가 있나요

2026년 10월 각 회사 공식 페이지로 립싱크 기능을 확인한 곳은 Kling AI, CapCut, HeyGen입니다. 세 곳 모두 내 목소리 파일을 올리거나, 글을 입력해 AI 음성으로 읽게 하는 방식을 지원합니다.

무엇을 하려는지에 따라 고르면 덜 헤맵니다. 아래는 위 공식 안내를 바탕으로 정리한 고르는 기준입니다.

Hedra(헤드라)도 립싱크 서비스로 자주 거론되지만, 2026년 10월 공식 첫 화면은 영상 모델 인프라 소개로 바뀌어 있어 지금 제공하는 립싱크 기능의 범위를 공식 문서로 확인하지 못했습니다. 그래서 표에서는 뺐습니다.

사진이나 그림을 그냥 움직이게만 하고 싶다면 립싱크가 아니라 이미지로 영상 만들기 기능을 씁니다. 그 방법은 사진 움직이게 만드는 AI 글에 정리했습니다. Kling 쓰는 법 전체는 클링 AI 사용법 글에 있습니다.

AI 립싱크 무료로 할 수 있나요

AI 립싱크를 무료로 해 볼 수 있는 곳은 있지만 조건이 붙습니다. 2026년 10월 HeyGen 공식 안내 기준 무료 요금제는 한 달 1~3개(지역에 따라 다름), 1분 이하 영상에 HeyGen 워터마크가 붙고, Kling 공식 안내 기준 Kling의 립싱크는 유료 기능입니다.

HeyGen 요금 페이지는 무료를 "한 달 3개"로, 립싱크 소개 페이지는 "지역에 따라 1~3개"로 적어 두 페이지가 조금 다릅니다. 가입 후 내 계정 화면에 표시되는 숫자를 기준으로 보세요.

AI 립싱크 영상 만들기: 순서대로

AI 립싱크 영상은 얼굴이 잘 보이는 사진이나 영상을 고르고, 음성을 올리거나 대사를 입력한 뒤, 생성해서 확인하는 순서로 만듭니다. 아래는 세 서비스의 공식 안내를 각각 옮긴 것입니다.

CapCut 컴퓨터 프로그램에서 (공식 안내 순서)

1. CapCut을 열고 첫 화면에서 Create project(프로젝트 만들기)를 누릅니다.
2. Import(가져오기)를 눌러 사진이나 영상을 올립니다.
3. Video(비디오) 탭의 Basic(기본) 구획에서 Lip sync(립싱크)를 켭니다.
4. "Enter text" 칸에 대사를 적고 AI 음성을 고르거나, Add audio(오디오 추가)로 녹음 파일을 올립니다.
5. 입 모양이 만들어지면 Export(내보내기)에서 해상도 등을 정하고 저장합니다.

한국어 화면의 단추 이름은 확인하지 못해 공식 영어 안내의 이름을 함께 적었습니다.

Kling AI에서 (영상에 목소리 입히기)

1. Kling에서 얼굴 전체가 또렷하게 나오는 캐릭터 영상을 먼저 만듭니다.
2. 그 영상에서 립싱크(Lip Sync)를 누릅니다.
3. 뜨는 창에서 글 읽기 음성(Text to Speech)으로 목소리를 만들거나, 내 녹음·노래 파일을 올립니다. AI 음성의 읽기 속도는 바꿀 수 있습니다(2025년 11월 Kling 립싱크 가이드 기준 0.8배~2배, 지금 화면은 다를 수 있음).
4. 음성이 영상보다 길면 잘라 맞춥니다.
5. 생성이 끝나면 결과를 확인합니다. 박자가 어긋나면 음성을 다듬거나 읽기 속도를 바꿔 다시 합니다.

사진 한 장으로 시작한다면 립싱크 대신 Avatar를 엽니다. Kling 공식 Avatar 2.0 가이드 기준 인물 사진을 올리고, 음성을 올리거나 글을 입력해 목소리를 만들고, 표정·동작을 적으면(선택) 말하는 영상이 나옵니다.

HeyGen에서 (공식 안내 네 단계)

1. 영상(MP4·MOV·WEBM, 최대 5GB)을 올리거나 YouTube·Google Drive 링크를 붙여 넣습니다. 사진 한 장을 올려도 됩니다.
2. 새 음성을 넣습니다. MP3·WAV를 올리거나, 대본을 입력해 AI 음성으로 읽게 하거나, 복제한 내 목소리를 씁니다.
3. 빠른(Speed) 모드와 정밀(Precision) 모드 중 고릅니다. 정면·한 사람이면 빠른 모드, 옆얼굴·여러 사람·입 근처에 손이나 마이크가 있으면 정밀 모드입니다.
4. 미리 보고 내려받습니다.

프롬프트로 처음부터 말하는 장면 만들기

립싱크할 영상이 따로 없다면, 대사까지 함께 만드는 영상 AI에 장면과 대사를 문장으로 적는 방법도 있습니다. Kling 공식 안내 기준 VIDEO 3.0은 대사·입 모양·화면·효과음을 함께 만들고 한국어를 지원합니다. Google의 Veo 3.1은 대사를 따옴표 안에 적으라고 안내합니다. 쓰는 법은 Veo 3 사용법 글에 있습니다.

아래는 FRAME에 모아 둔 애니메이션 캐릭터 영상 프롬프트입니다. 이 카드는 아기 고양이들이 노래하며 춤추는 장면을 한 문단에 담았습니다. 동물 캐릭터라 Kling 립싱크 도구는 쓸 수 없지만(공식 안내 기준 동물 미지원), 프롬프트로 처음부터 노래 장면을 만들 때의 짜임을 볼 수 있습니다.

장갑을 낀 아기 고양이들의 댄스 만화Rajesh Kumar · Seedance 2.0 · 한국어 읽기본

장갑을 낀 아기 고양이들이 아늑한 방에서 즐겁게 춤추며 'we're kittens with mittens'를 노래한다. 고양이들은 장난스러운 표정과 활기찬 움직임으로 신나는 기분을 드러낸다. 방은 부드럽고 따뜻한 조명으로 밝혀져 있으며, 장난감이 가득하고 편안한 분위기다. 만화적이고 다채로운 스타일로 아기 고양이들의 장난기 어린 성격을 담는다. 선명한 색상과 기발한 느낌의 디지털 페인팅 매체로 표현한다.

내 걸로 만들기 →원문 보기

다음 카드는 크레용 그림체의 두 캐릭터를 참고 이미지로 고정하고, 소리 칸에 "대사·내레이션 없이 웃음소리만"이라고 적었습니다. 목소리를 어디까지 넣을지 문장으로 정해 두는 방법을 보여 줍니다.

크레용 스타일 커플 브이로그Syed Abuthahir ∞ · Seedance 2.5 · 한국어 읽기본

[참고 이미지 사용 규칙]

여자의 외모, 헤어스타일, 빨간색 라운드 안경, 의상, 페인팅 질감은 반드시 캐릭터 에셋 이미지 1을 엄격히 참조해야 합니다; 남자의 외모, 곱슬머리, 코의 반창고, 의상, 페인팅 질감은 반드시 캐릭터 에셋 이미지 2를 엄격히 참조해야 합니다.

에셋 이미지에서 시각적 디자인만 추출하십시오. 캐릭터 3면도, 회색 배경, 디테일 그리드, 컬러 바, 치수선, 모든 레이블 텍스트 및 워터마크 생성을 엄격히 금지합니다.

[아트 스타일]

컬러 연필과 크레용으로 그린 손그림 그림책 애니메이션으로, 두 에셋 이미지의 아트 스타일을 엄격히 참조합니다: 선명한 연필 획, 종이 결 질감, 부드러운 라인. 하늘, 바다, 빛은 옅은 수채화 번짐 효과를 사용합니다. 이는 손그림 애니메이션이며, 3D가 아니고 실사도 아닙니다.

[브이로그 촬영 방식]

전체 영상은 커플이 스마트폰으로 직접 찍은 여행 브이로그처럼 보입니다: 자연스러운 핸드헬드 흔들림, 걸을 때 약간의 상하 바운싱, 간헐적인 렌즈 플레어와 태양 과노출, 그리고 카메라가 가끔 약간 기울어집니다.

폰을 들고 있는 손은 항상 화면 밖입니다. 셀피 샷에서는 두 사람이 프레임에 꼭 끼어 있으며, 폰을 든 팔은 가장자리 밖으로 뻗어 나갑니다; 절대 폰, 셀카봉, 또는 폰을 든 손이 화면에 보이지 않습니다.

16:9, 24fps.

[여자]

키 5피트 3인치. 갈색 머리를 폭신한 번 스타일로 묶고, 머리에는 노란색 연필이 비스듬히 꽂혀 있으며, 한쪽에는 분홍색 종이비행기 핀이 있습니다; 큰 빨간색 라운드 안경, 주근깨, 분홍색 블러셔. 연두색 린넨 가디건, 머스터드 옐로우 탑, 산호색 핑크 플리츠 스커트, 보라-흰색 줄무늬 양말, 빨간색 장화, 크로스백 티크 색 작은 천 가방.

[남자]

키 5피트 10인치로 그녀보다 키가 크며, 셀피 시 같은 프레임에 맞추기 위해 약간 몸을 숙여야 합니다. 검은색 폭신한 작은 곱슬머리, 정수리에 원형으로 말린 아호게, 귀 뒤에는 노란색 연필이 꽂혀 있고, 콧등에는 반창고가 붙어 있으며, 분홍색 블러셔. 파랑-흰색 가로 줄무늬 스웨터, 오렌지색 니트 스카프, 올리브 그린 롤업 팬츠, 한쪽은 노란색 양말 다른 쪽은 파란색 양말, 오렌지색 끈이 달린 흰색 캔버스 신발.

[두 사람의 손]

두 사람 모두 손가락이 없는 둥근 공 모양의 손을 가지고 있습니다. 전체 영상 동안 간단한 큰 동작만 수행합니다: 손 잡기, 손 흔들기, 아이스크림 콘 들기, 핸들바 잡기, 서로 목에 스카프 둘러주기, 어깨에 머리 기대기, 이마 대기기.

[장면]

초가을 해안 마을: 알록달록한 오래된 집들, 돌포장 골목길, 나무 데크 산책로, 등대, 해안 도로. 바닷바람이 항상 불고 있으며, 그의 스카프와 곱슬머리, 그녀의 흩어진 머리카락과 가디건이 바람에 날립니다.

[사운드]

전체 영상에 대사, 대화, 내레이션이 없습니다. 유일한 인간의 목소리는 그들의 웃음소리뿐입니다.

배경 음악: 따뜻하고 약간 감동적인 어쿠스틱 기타와 피아노, 가벼운 박수 리듬, 보컬 없음. 앰비언트 사운드: 파도 소리, 갈매기 울음, 바람 소리, 자전거 벨 소리와 발걸음 소리.

━━━━━━━━━━━━━━━━━━

[스토리보드]

0.0–2.5 | 셀피, 기차 내부 | 창문 앞에 꼭 낀 두 사람, 흥분으로 눈이 커져 있고, 뒤쪽 창밖으로는 언덕 너머 푸른 바다가 나타납니다; 아침 햇살이 그들의 얼굴에 비춥니다

2.5–5.0 | 추적 샷, 그의 시점 | 그녀는 그의 손을 잡고 앞서 달리며 카메라를 향해 돌아서 미소 짓고, 끝없이 반짝이는 바다를 향해 내리막 돌포장 골목길을 그와 함께 달려갑니다; 달리기 때문에 핸드헬드 화면이 상하로 튀어 오릅니다

5.0–7.5 | 그녀가 그를 찍음, 미디엄 샷 | 그는 나무 데크 산책로의 끝에 서 있으며, 바닷바람이 그의 곱슬머리와 오렌지 스카프를 거칠게 날립니다; 그는 부끄러운 듯 카메라를 향해 손을 흔들고, 스카프가 거의 날려가자 급히 손으로 눌러 고정합니다

7.5–10.0 | 그가 그녀를 찍음, 미디엄 샷 | 그녀는 빨간 장화를 신고 얕은 물결 속에 들어가 물을 튀기며 팔을 벌리고 웃습니다; 촬영자가 웃고 있어서 카메라가 가볍게 흔들립니다

10.0–12.5 | 셀피, 아이스크림 가게 외부 | 각자 아이스크림 콘을 카메라 가까이 들고 있는데, 그의 아이스크림 스쿱이 갑자기 콘에서 떨어지고 그는 놀란 표정을 짓습니다; 그녀는 미소 지으며 자신의 콘을 그의 입으로 가져다줍니다

12.5–15.0 | 추적 샷, 뒤따르는 자전거에서 | 그는 앞쪽에서 해안 도로를 따라 자전거를 타며, 스카프가 뒤로 날리고, 그는 뒤돌아 카메라를 향해 씩 웃습니다; 오른쪽에는 끝없는 푸른 바다가 펼쳐집니다

15.0–17.5 | 셀피, 등대 꼭대기 | 등대 꼭대기의 난간에 기대어, 뒤로는 광활한 바다가 펼쳐지고, 바람이 너무 강해 두 사람 모두 눈을 가늘게 뜨고, 머리는 흐트러진 채 함께 웃습니다

17.5–20.0 | 미디엄 샷, 바닷가 벤치 | 바람이 차가워지고, 그녀는 어깨를 움츠립니다; 그는 오렌지 스카프를 벗어 그녀의 목에 여러 겹 감아주고, 그녀는 얼굴을 스카프에 묻히고 볼을 붉힙니다

20.0–22.5 | 고정 위치, 돌 위에 놓인 폰 | 일몰 아래, 바닷가 절벽 풀밭 경사면에 나란히 앉아, 등을 카메라에 두고 황금빛-빨간색 태양이 바다로 지는 것을 바라봅니다; 그녀는 천천히 그의 어깨에 머리를 기대웁니다

22.5–25.0 | 셀피, 황금빛 일몰 조명 | 그녀는 카메라를 향해 미소 짓다가 그를 돌아보는데—그녀는 깨닫습니다. 그가 카메라가 아니라 계속 자신을 보고 있었다는 것을; 그녀는 얼어붙고, 즉시 볼을 붉히며, 두 사람은 웃습니다

25.0–27.5 | 추적 샷, 뒤에서 | 밤, 따뜻한 노란 전구 줄이 늘어서 있는 항구, 손을 잡고 천천히 앞으로 걸어갑니다; 여전히 그의 오렌지 스카프가 그녀의 머리에 걸쳐져 있고, 불빛이 바다 표면에 반사됩니다

27.5–30.0 | 고정 위치, 낮은 벽 위에 놓인 폰 | 따뜻한 노란 조명 아래, 그녀는 빨간 장화를 신고 발끝을 세우고, 그는 몸을 굽혀 이마를 부드럽게 맞대고, 눈을 감고 미소 짓습니다; 바닷바람이 오렌지 스카프를 날리고, 멀리서 등대가 켜집니다; 화면은 자연스럽게 닫힙니다

━━━━━━━━━━━━━━━━━━

[연속성]

17.5초 이후, 오렌지 스카프는 그녀의 목에 계속 감겨 있으며, 그에게 다시 돌아가는 일은 없습니다.

[네거티브 프롬프트]

화면 속 폰, 셀카봉, 폰을 든 손, 제3자 촬영;

손가락이 자라는 손, 인간 손으로 변하는 손, 신체 비율 변화;

대사, 대화, 내레이션, 노래, 가사, 립싱크, 자막, 화면 텍스트, 로고, 워터마크, 이미지 원본 레이블 텍스트;

그녀가 안경을 잃거나, 번 스타일을 잃거나, 빨간 장화를 잃는 경우; 그가 반창고를 잃거나, 아호게를 잃거나, 줄무늬 색이 변하거나, 같은 키인 경우;

17.5초 후 오렌지 스카프가 그의 목으로 돌아가거나, 두 번째 스카프가 나타나는 경우;

현실적인 사진 스타일, 실사 영화 품질, 3D 렌더링, 매끄러운 디지털 페인팅, 연필 획 손실, 종이 질감 손실;

안정기처럼 매끄러운 카메라, 완전히 정적인 프레임(고정 위치 샷 제외), 디졸브, 페이드, 블랙 스크린 전환, 프리즈 프레임.

내 걸로 만들기 →원문 보기

입 모양이 잘 맞는 음성 준비하기

립싱크 결과의 절반은 음성이 정합니다. AI는 음성에서 소리 단위를 읽어 입 모양을 고르는데, 잡음이 섞이거나 여러 사람 목소리가 겹치면 어느 소리에 맞출지 헷갈립니다. 2026년 10월 HeyGen 공식 립싱크 페이지는 음성을 소리 단위(음소)로 나눠 소리마다 입 모양을 붙인다고 설명합니다.

말하는 사진에 맞는 사진 고르기

사진 한 장으로 말하는 영상을 만들 때는 사진이 결과를 크게 좌우합니다. 서비스들이 공통으로 요구하는 조건은 "얼굴 전체가 또렷하게 보일 것"입니다. 아래는 그 조건을 사진 고르는 기준으로 풀어 쓴 것입니다.

용도별 대사 예시

립싱크용 대사는 짧은 문장을 끊어서 쓰는 편이 입 모양이 덜 어긋납니다. 아래는 캐릭터 그림에 붙여 쓰기 좋은 예입니다. 글 읽기 음성(AI 음성)에 넣을 때는 쉼표에서 쉬어 읽습니다.

같은 캐릭터로 여러 언어를 만들 때는 언어마다 따로 생성합니다. CapCut은 13개 언어, HeyGen은 175개가 넘는 언어와 방언을 지원한다고 2026년 10월 공식 페이지에 적었습니다.

AI 립싱크로 노래 부르게 하기

AI 립싱크로 캐릭터가 노래하게 만들 수 있습니다. 2026년 10월 Kling 공식 립싱크 페이지는 노래 파일을 올리면 사람 모양 캐릭터의 입을 보컬에 맞춘다고 안내하고, HeyGen은 사진 한 장으로 말하거나 노래하는 영상을 만든다고 소개합니다.

1. 반주와 목소리가 섞인 음원보다 목소리만 있는 파일(보컬)이 입 모양이 잘 맞습니다.
2. 처음에는 15초 안팎의 한 소절로 시험합니다. 길게 뽑았다가 어긋나면 크레딧만 듭니다.
3. 고음에서 입을 크게 벌리는 장면이 많으면 얼굴이 크게 나온 영상·사진을 씁니다. 작은 얼굴은 입 안쪽이 뭉개지기 쉽습니다.
4. 완성한 립싱크 영상에 원래 반주를 편집 프로그램에서 다시 얹습니다.

입이 어긋날 때 무엇을 고치나요

입이 어긋날 때는 얼굴이 가려졌거나, 얼굴이 너무 작거나, 음성에 잡음이 많은 경우가 대부분입니다. 한 번에 하나씩 고쳐야 무엇이 효과가 있었는지 압니다.

꼭 지킬 것: 동의, 유명인, 고인, 선거

립싱크에 쓸 수 있는 얼굴과 목소리는 내 것, 그리고 허락을 받은 사람의 것입니다. 2026년 10월 HeyGen 운영 정책은 맞춤 아바타를 만들 때 그 사람의 명시적 동의를 받아야 하고, 동의 없이 다른 사람의 아바타를 만드는 것을 엄격히 금지한다고 정합니다.

올릴 때 AI 표시 규칙

립싱크 영상을 올리는 곳의 규칙도 확인해야 합니다. 2026년 10월 YouTube 고객센터는 실제 인물이 하지 않은 말이나 행동을 한 것처럼 보이게 만든 콘텐츠를 생성형 AI 사용 공개 대상으로 들고, 크리에이터가 이를 공개하도록 요구합니다.

인스타그램·틱톡 등 다른 플랫폼의 AI 표시 규칙은 이번에 공식 문서로 확인하지 않았습니다. 올리는 곳의 도움말을 직접 보세요.