环境
- windows 10 64bit
- opencv 4.5.3
前言
看到有小伙伴在聊，如何将目标检测的结果保存成视频的相关问题？ 本篇我们就来看看。
opencv保存视频
在绝大多数的目标检测项目中，都是使用 opencv 这个开源的计算机视觉库来进行图片、视频或者摄像头的读写。
关于视频保存，来看下面的代码示例
import cv2
cap = cv2.VideoCapture('test.mp4')
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
fourcc = int(cv2.VideoWriter_fourcc(*'MJPG'))
out = cv2.VideoWriter('output.avi', fourcc, fps, (width, height))
while cap.isOpened():
ret, frame = cap.read()
if not ret:
break
out.write(frame)
cv2.imshow('frame', frame)
if cv2.waitKey(1) == ord('q'):
break
cap.release()
out.release()
cv2.destroyAllWindows()
主要是 VideoWriter 对象，这里需要几个重要参数，输出文件名、宽 width、高 height、帧率 fps 和 fourcc。除了 fourcc，其它几项都很好理解。
FourCC 是一个4字节码，用来表示视频编码器，网站 fourcc.org 列出了所有可用的编码器。在 VideoWriter 中既可以写成 *'MJPG'，也可以写成 'M', 'J', 'P', 'G'。但是并不是说，所有的编码器都可以使用。
使用H264编码器
在上面代码的基础上我们修改一下，使用 h264 编码器
import cv2
cap = cv2.VideoCapture('test.mp4')
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
fourcc = int(cv2.VideoWriter_fourcc(*'H264'))
out = cv2.VideoWriter('output.mp4', fourcc, fps, (width, height))
# 后面代码省略了执行代码后，报错了
OpenCV: FFMPEG: tag 0x34363248/'H264' is not supported with codec id 27 and format 'mp4 / MP4 (MPEG-4 Part 14)'
OpenCV: FFMPEG: fallback to use tag 0x31637661/'avc1'
Failed to load OpenH264 library: openh264-1.8.0-win64.dll
Please check environment and/or download library: https://github.com/cisco/openh264/releases
[libopenh264 @ 000001fe3bfcb240] Incorrect library version loaded
[ERROR:0] global /build/opencv/modules/videoio/src/cap_ffmpeg_impl.hpp (2774) open Could not open codec libopenh264, error: Unspecified error
[ERROR:0] global /build/opencv/modules/videoio/src/cap_ffmpeg_impl.hpp (2791) open VIDEOIO/FFMPEG: Failed to initialize VideoWriter从错误信息中可以看到，H264 字节码并不被支持，自动帮你替换成了 avc1，opencv 默认使用 ffmpeg 框架来处理视频，但是 ffmpeg 并没有 h264 解码器。报错之外，还提供了一个解决方案，那就是去使用 cisco 开源的 openh264。
接下来去站点 https://github.com/cisco/openh264/releases 下载 1.8.0 版本的 dll 文件，并和源码文件放在同一级目录，然后将 fourcc 也改为 avc1，执行代码
看到，报错信息不见了，针对生成的 mp4 文件，使用 ffmpeg 命令查看其信息
Stream #0:0(und): Video: h264 (Constrained Baseline) (avc1 / 0x31637661), yuv420p, 1440x1080, 538 kb/s, 29.92 fps, 29.92 tbr, 29917 tbn, 59834 tbc (default)可以看到，视频编码确实是 h264。
为什么不内置h264
这主要是许可证的问题，libx264 是基于 GPL 的，而 ffmpeg 要使用 libx264 的话，必须 --enable-gpl，而 opencv 则用的是 MIT 许可。具体的，可以看看这个链接 https://github.com/opencv/opencv-python/issues/299
