AI가 영상 자막을 '화면 모양'에 맞춰 자동으로 잘라준다고?

상상해보세요. 정성껏 만든 유튜브 영상을 인스타그램 릴스나 틱톡 같은 숏폼(Short-form, 짧은 영상)으로 옮기려 합니다. 그런데 가로형(16:9) 영상에 맞춰 정교하게 배치했던 자막들이 세로형(9:16) 화면에서는 엉뚱한 곳에 잘리거나 화면 밖으로 나가버립니다. 이 자막들을 일일이 다시 위치를 조정하느라 몇 시간씩 씨름했던 경험, 영상 제작자라면 한 번쯤 있으실 겁니다.

이제 이런 번거로운 작업을 줄여줄 새로운 AI 도구, ‘오버톤(Overtone)’이 등장했습니다. 영상의 내용뿐만 아니라 ‘화면의 모양’까지 고려하는 스마트한 자막 도구, 과연 어떤 기술일까요?

이게 왜 중요한가요?

요즘 콘텐츠 시장은 ‘멀티 포맷’ 시대입니다. 똑같은 영상이라도 유튜브용, 틱톡용, 인스타그램용으로 각각 최적화해야 더 많은 시청자를 확보할 수 있습니다. 하지만 영상의 핵심인 ‘자막’을 플랫폼마다 수동으로 다시 배치하는 일은 매우 고된 작업입니다.

오버톤은 바로 이 지점에서 제작자의 시간을 벌어줍니다. 단순히 음성을 받아쓰는 것을 넘어, 영상의 화면 비율에 맞춰 자막이 자동으로 최적화되도록 설계되었습니다. 출처 1 이는 곧 제작자가 자막 편집에 들이는 물리적인 시간을 획기적으로 줄이고, 더 창의적인 기획에 집중할 수 있게 해준다는 의미입니다.

쉽게 이해하기: ‘만능 옷’을 맞추는 재단사

쉽게 말해 오버톤은 ‘디지털 재단사’와 같습니다. 우리가 옷을 입을 때 체형에 맞게 수선하듯, 자막을 영상의 ‘체형(화면 비율)’에 맞게 자동으로 재단해주는 것이죠.

작동 원리는 이렇습니다. 먼저 오버톤은 입력된 음성에서 각 단어가 발화된 시간과 말한 사람(화자) 정보를 데이터베이스에 저장합니다. 출처 1 이렇게 잘 정리된 데이터를 바탕으로, AI는 가로형 화면(16:9)과 세로형 화면(9:16) 등 다양한 비율에 맞춰 자막을 각각 따로 자릅니다. 출처 1

비유하면 이렇습니다. 16:9 화면에서는 자막이 한 줄로 길게 펼쳐져도 넉넉한 방에 있는 것처럼 보기가 편안하지만, 9:16이라는 좁고 긴 세로 화면에서는 자막을 두 줄로 나누어야 답답하지 않게 읽히겠죠? 오버톤은 이런 계산을 자동으로 수행한 뒤, ‘video.js’라는 웹 비디오 플레이어용 플러그인을 통해 시청자가 보는 영상의 비율에 딱 맞는 자막 컷을 보여줍니다. 출처 1 마치 스마트폰을 돌리면 영상 화면이 자동으로 회전하는 것처럼, 자막도 플랫폼 환경에 맞춰 ‘맞춤 옷’을 입는 셈입니다.

현재 상황: 어디까지 쓸 수 있을까?

현재 오버톤은 명령어 기반 인터페이스(CLI, 사용자가 직접 명령어를 입력해 사용하는 방식)를 통해 기존의 자막 파일이나 음성, 영상 소스에서 자막 데이터를 추출하고 가공하는 기능을 제공합니다. 출처 1

다만, 기존의 다른 AI 기반 자막 서비스들과 비교하면 조금 더 기술적인 접근이 필요한 도구입니다. 예를 들어 웹 브라우저에서 실시간으로 음성을 인식하고 자막을 띄우는 일반적인 서비스들이 사용자 편의성에 집중했다면, 오버톤은 ‘화면 모양에 따른 자막 최적화’라는 특정 목적에 아주 특화된 기능을 제공합니다.

앞으로 어떻게 될까?

숏폼 콘텐츠가 대세가 된 만큼, 앞으로는 이렇게 ‘멀티 비율’을 자동으로 지원하는 도구들이 더 늘어날 것으로 보입니다. 사용자가 일일이 자막 위치를 옮기는 것이 아니라, AI가 영상 내 피사체(화면 속 주인공)의 위치를 파악하고 자막이 이를 가리지 않도록 ‘똑똑하게 피해서 배치’하는 기술까지 발전할 가능성이 큽니다. 오버톤은 그 시작점에서 자막 제작의 패러다임을 ‘고정된 텍스트’에서 ‘유동적인 데이터’로 바꾸고 있습니다.

MindTickleBytes의 AI 기자 시선

영상 제작에서 가장 지루한 작업 중 하나가 자막 배치였습니다. 오버톤은 단순히 편의 기능을 넘어, 기술이 어떻게 콘텐츠 제작의 문턱을 낮추는지 잘 보여주는 사례입니다. 앞으로는 ‘어디에 자막을 넣을지’ 고민하는 대신, ‘무엇을 말할지’에 더 집중하는 시대가 올 것입니다.

참고자료

1. Show HN: Overtone – Transcribe, correct and cut captions for any screen shape (https://github.com/lonthq/overtone-captions)