OEIP 项目功能展示

天天不在:开源项目OEIP 游戏引擎与音视频多媒体(UE4/Unity3D)

1 WinForm 摄像机图像显示(分别有Bitmap/SharpDX二种方式展示)

Bitmap展示需要内存中转,图像大且多就会卡,SharpDX展示要好很多

2 WinForm 自推自拉,并把推流图像与拉流二个DX11纹理结合展示。

这个验证推流拉功能,为了延迟效果,专门用的云服务器(http://129.211.40.225:6110)做直播服务器与媒体服务器,如果用本地媒体服务器,延迟太低,并验证用DX11纹理做为输入与输出效果。

验证一个管线多输出,一个管线多输入效果。

3 Unity3D 里加载darknet框架神经网络与Grabcut扣像

整合Yolov3到UE4/Unity3D

Cuda+Yolov3版Grabcut扣像https://www.zhihu.com/video/1205103396782530560

Grabcut扣像,用一桢算高斯混合模型,然后利用算的结果算后面图像,前后景变化不大可利用。

这个扣像对前后景要求比较大,感觉没什么商业用途。

4 Unity3D里自推自拉,摄像机数据做为输入,Texture2D做为输出

摄像机管线处理各种不同图像格式输入,并输出三种图像,一种是原始图像,一种是神经网络识别后图像,这二种是在Unity3D中是GPU输出,而第三种输出是YUV420P格式,CPU输出,主要为了推流。

5 UE4+摄像机显示与神经网络darknet框架集成

UE4 摄像机效果展示。

6 UE4自推自拉,并把一张RenderTarget做为输入源,一张UTexture2D做为输出展示。

UE4的推流管线在这和WinForm/Unity3D有点不一样,是GPU输入。

7 Unity3D 与UE4各自推一流,各自拉对方流显示。

https://www.zhihu.com/video/1205461653598400512

本人手上只有一个摄像头,故在这个展示里,UE4使用这个摄像头,但是推流用的源是摄像头对应的RenderTarget,Unity3D也是用RenderTarget做输入流,分别用Texture2D展示。

编辑于 2020-02-12