AI 竟能根據「螢幕形狀」自動裁剪影片字幕？

試想一下，您準備將精心製作的 YouTube 影片轉為 Instagram Reels 或 TikTok 等短影音（Short-form）。然而，原本為橫式（16:9）影片精確配置的字幕，到了直式（9:16）畫面中，不是被不自然地裁切，就是直接跑出螢幕外。身為影片創作者，您一定有過為了調整這些字幕位置，而與之奮鬥好幾個小時的經驗。

現在，有一款能減少這種繁瑣工作的新型 AI 工具——「Overtone」登場了。這是一款不僅考量內容，連「螢幕形狀」也一併納入考量的智慧型字幕工具，究竟它運用了什麼技術呢？

為什麼這很重要？

現今的內容市場正處於「多格式」時代。即便內容相同，也必須針對 YouTube、TikTok、Instagram 等平台分別進行優化，才能爭取到更多觀眾。然而，將影片的核心——「字幕」針對每個平台手動重新配置，是一項極其艱苦的工作。

Overtone 正是在這一點上為創作者節省了時間。它不僅僅是語音轉文字，還設計成能根據影片畫面比例自動優化字幕配置。參考資料 1 這意味著創作者可以大幅減少花在字幕編輯上的時間，進而專注於更有創意的企劃。

輕鬆理解：為您量身打造的裁縫師

簡單來說，Overtone 就像一位「數位裁縫師」。就像我們穿衣服時會根據體型修改一樣，它會根據影片的「體型（畫面比例）」自動裁剪字幕。

其運作原理如下：首先，Overtone 會從輸入的語音中，將每個單詞的發音時間與說話者資訊存入資料庫。參考資料 1 基於這些整理好的資料，AI 會針對橫式畫面（16:9）與直式畫面（9:16）等多種比例，分別進行字幕裁剪。參考資料 1

打個比方：在 16:9 的畫面上，字幕即使拉成一行長句，看起來就像在寬敞的房間裡一樣舒適；但在 9:16 這種又窄又長的直式畫面上，若不將字幕拆成兩行，讀起來就會感到壓迫。Overtone 會自動執行這些計算，並透過名為「video.js」的網頁影片播放器外掛，向觀眾呈現最符合播放器畫面比例的字幕剪輯。參考資料 1 就如同旋轉智慧型手機時畫面會自動旋轉一樣，字幕也能根據平台環境穿上「量身訂做的衣服」。

現況：可以使用到什麼程度？

目前 Overtone 透過命令列介面（CLI，使用者親自輸入指令的操作方式），提供從既有的字幕檔案、語音或影片素材中提取並處理字幕資料的功能。參考資料 1

不過，與現有的其他 AI 字幕服務相比，這是一款需要更多技術門檻的工具。舉例來說，若一般在瀏覽器中即時辨識語音並顯示字幕的服務側重於使用者便利性，那麼 Overtone 則是提供了一項名為「根據畫面形狀優化字幕」的特定目的之專業功能。

未來展望

隨著短影音成為主流，預計未來支援這種「多比例」的工具將會越來越多。與其讓使用者手動搬移字幕位置，未來更有可能發展出 AI 能識別影片中物體（畫面中的主角）位置，並讓字幕「聰明避開並配置」的技術。Overtone 正站在起點，將字幕製作的典範從「固定的文字」轉換為「流動的資料」。

MindTickleBytes 的 AI 記者視角

字幕配置一直是影片製作中最枯燥的工作之一。Overtone 不僅僅是便利功能，更是一個很好的案例，展示了技術如何降低內容製作的門檻。未來將會迎來一個時代，創作者不再煩惱「字幕要放哪裡」，而是能更專注於「要說些什麼」。

參考資料

1. Show HN: Overtone – Transcribe, correct and cut captions for any screen shape (https://github.com/lonthq/overtone-captions)