AI竟然能根据‘屏幕形状’自动切割视频字幕？

想象一下：你精心制作了一个YouTube视频，想要将其搬运到Instagram Reels或TikTok等短视频平台。然而，原本为了横屏（16:9）视频精心排版的字幕，到了竖屏（9:16）画面中，要么被奇怪地截断，要么跑出了屏幕范围。如果是视频创作者，一定都曾有过为了重新调整这些字幕位置而苦战数小时的经历。

现在，一款能减少这种繁琐工作的新型AI工具“Overtone”诞生了。这是一款不仅考虑视频内容，还会考虑“屏幕形状”的智能字幕工具，它究竟是什么技术呢？

为什么这很重要？

当下的内容市场处于“多格式”时代。即使是同一个视频，也需要分别针对YouTube、TikTok和Instagram进行优化，才能吸引更多观众。但是，将作为视频核心的“字幕”针对不同平台进行手动重新布局，是一项非常繁重的工作。

Overtone正是为了解决这一痛点，为创作者节省时间而生的。它不仅仅是语音转文字，更旨在根据视频的画面比例，自动实现字幕的最优化。 参考资料 1 这意味着创作者可以大幅减少在字幕编辑上花费的物理时间，从而更专注于创意策划。

轻松理解：打造“万能服装”的裁缝

简单来说，Overtone就像一位“数字裁缝”。正如我们穿衣服时会根据体型进行剪裁一样，它能根据视频的“体型（画面比例）”自动剪裁字幕。

其工作原理如下：首先，Overtone从输入的语音中提取每个单词的发音时间和说话人信息，并将其存储在数据库中。 参考资料 1 基于这些整理好的数据，AI会根据横屏（16:9）和竖屏（9:16）等各种比例，分别对字幕进行切割。 参考资料 1

打个比方，在16:9的屏幕上，字幕即使拉长成一行显示，看起来也像是在宽敞的房间里一样舒适；但在9:16那种狭窄细长的竖屏上，字幕就需要分成两行，否则阅读体验会很压抑。Overtone会自动完成这些计算，然后通过名为“video.js”的网页视频播放器插件，展示出与观看者设备画面比例完美契合的字幕切片。 参考资料 1 就像旋转手机时视频画面会自动旋转一样，字幕也会根据平台环境穿上“量身定制的衣服”。

现状：可以使用到什么程度？

目前，Overtone通过命令行界面（CLI，用户手动输入命令的方式）提供从现有字幕文件、音频或视频源中提取并加工字幕数据的功能。 参考资料 1

不过，与现有的其他基于AI的字幕服务相比，这是一款需要更多技术门槛的工具。例如，如果说在浏览器中实时识别语音并显示字幕的通用服务专注于用户体验，那么Overtone则专注于“根据画面形状进行字幕优化”这一特定目标，提供了非常专业的功能。

未来展望

随着短视频内容成为主流，未来这种能够自动支持“多比例”的工具预计会越来越多。不仅是简单的自动布局，未来很可能会发展出更高级的技术，即AI识别视频中拍摄对象（画面中的主角）的位置，并让字幕“智能避让”，不会遮挡主角。Overtone正处于这个起点，它正在将字幕制作的范式从“固定的文本”转变为“流动的智能数据”。

MindTickleBytes AI记者观点

字幕布局是视频制作中最枯燥的工作之一。Overtone不仅是一个便捷工具，更是技术如何降低内容制作门槛的一个很好范例。未来，比起纠结“字幕该放在哪里”，创作者将进入更专注于“该表达什么”的时代。

参考资料

1. Show HN: Overtone – Transcribe, correct and cut captions for any screen shape (https://github.com/lonthq/overtone-captions)