MediaPipe是用于构建应用ML管道的多模式(例如,视频,音频,任何时间序列数据)的框架。利用MediaPipe,可以将感知管道构建为模块化组件的图形,包括例如推理模型(例如,TensorFlow,TFLite)和媒体处理功能。
最近新开源了手部检测和跟踪模型,具体介绍如下:
有关手部检测和手部跟踪的整体背景
在上面的可视化中,红点代表局部手标志,绿线只是选定的标志对之间的连接,用于手骨骼的可视化。红色框表示覆盖整个手的手形矩形,可以通过手部检测(参见 手部检测示例)或使用ML模型(参见模型卡)进行前一轮手部地标定位 。手部地标定位仅在手形矩形内执行以获得计算效率和准确性,并且仅在地标定位不能识别前一次迭代中的手部存在时才调用手部检测。
该示例还可以在以3D方式定位手标志的模式中运行(即,估计额外的z坐标):
在上面的可视化中,局部手标志由不同色调的点表示,较亮的标志表示靠近摄像机的标志。
有了它你可以在移动端做点有意思的APP,比如:
MediaPipe还包括的其他ML解决方案:
① 人脸检测
② 头发分割
③ 目标检测
有兴趣可以都试试看哟!