Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量，这些向量对于帧到帧的强度变化具有鲁棒性，并可追踪真实的物体运动。

Turing 硬件生成的光流地图样本 --- 源素材

NVIDIA Optical Flow SDK 功能特性

• 视频分析

准确检测和追踪连续视频帧中的物体，同时大大降低计算复杂性要求。

• 实时性能

实时内插或外插视频帧，提高视频播放流畅度或降低 VR 体验延迟。

• GPU 加速

已针对 Turing、Ampere 和未来代次的 NVIDIA GPU 架构进行优化。高速计算准确流向量，对 CPU 或 GPU 影响甚少。

光流引擎辅助的帧率提升转换库

最新的 Optical Flow SDK 3.1 版本引入了引擎辅助帧率提升转换（FRUC），它使用光流向量内插新帧，使视频的有效帧率翻倍。最终，视频播放的流畅度和视觉感知质量得以提升。

用于智能视频分析的物体追踪

Optical Flow SDK 2.0 引入了基于光流的物体追踪器库，以及源代码和即用型 API。在我们的实验中，经证明，基于光流的物体追踪器与一些热门算法相比，可将 GPU 利用率降低多达 80%，同时不会降低追踪的准确性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。

视频帧内插和外插

光流还可以非常有效地用于实时内插或外插视频帧。这对于提高视频播放的流畅度、生成慢动作视频或在使用 Oculus 设备进行 VR 体验时大幅减少延迟非常有用。Turing 和 Ampere GPU 中的光流功能通过将密集的流向量计算卸载到 GPU 芯片上的专用硬件引擎以加速这些用例，从而腾出 GPU 和 CPU 资源来处理其他任务。此功能位于硬件中，独立于 CUDA Core。

相关资源

• 开发者论坛

https://forums.developer.nvidia.com/c/gaming-and-visualization-technologies/visualization/video-processing-optical-flow/189

• GitHub - OpenCV 中的 NVIDIA 光流技术

https://github.com/opencv/opencv_contrib

复制链接，了解更多 NVIDIA Optical Flow SDK 相关内容

https://developer.nvidia.cn/opticalflow-sdk