基于分类器的手势数字启蒙学习器
今天看到邻居家的小孩学习手势数字,想着自己可以尝试着做一个的手势数字启蒙学习器.
在我们的生活中,我们习惯于用手势表示在对话中的数字。为此可见,手势数字在人与人之间的交谈中起到很重要的地位。
该数字启蒙学习器主要面向的对象主要是3-4岁的儿童,并尝试开始学习十以内加法以及手势数字学习。
能够充分的锻炼3-4岁儿童脑力以及肢体语言之间的快速联系
手势数字启蒙学习器下图
手势数字启蒙学习器的使用方式如下
1.开启手势数字启蒙学习器
2.在手势数字启蒙学习器的左侧,有一个随机生成的十以内加减法的问题
3.在手势数字启蒙学习器的右侧,有一个摄像头窗口,用来展示用户的手势
4.用户需要快速计算出窗口左侧的十以内加减法问题,并将摆好的手势放到右侧窗口中
5.此时系统会识别手势所代表的数字,并将所得到的数字与问题的答案进行比对
6.如果答案正确,会在窗口的左上角显示”YOU ARE RIGHT”, 否则会显示”YOU ARE WRONG”
具体效果展示
手势数字启蒙学习器
手势数字启蒙学习器中用到的技术
1.项目主要采用ResNet18神经网络设计一款分类器,其中该分类器能够分类出10个对象,分别对应着1-10的手势表示
2.采用Opencv设计用户展示界面,通过摄像头读取视频,并在所设计界面中显示。
3.为了使推理的速度能够提高采用了Jeston Nano进行高性能的推理
Jeston Nano(图)
手势数字启蒙学习器的技术细节
1.在使用摄像头读取图片的时候,直接将图片按照224窗口大小进行处理和保存
2.在进行分类器训练时,采用PIL进行图片的读取
3.采用2000张样本进行训练和测试,并得到的分类器精度为97%
未来与展望
后期还会继续完善该产品,提高分类器的精度以及前端窗口的美化