前言
本文以UP主工科男孙老师近期发布的视频产品为例,按以下顺序讲解怎么使用聆思官方提的资料做一个成本40元不到的人脸识别小相机。
- 实例介绍
- DIY使用的主要元器件介绍
- 程序和烧录
- 实例演示视频
实例介绍
下图是孙老师视频中分享的人脸识别相机的模块图片,可以看到整个电路非常的简单,一共也没有几个人器件,就算是新手也可以很容易的做出来,算上屏幕和摄像头,整个方案量产成本40元不到。
在这个模块图片中,可以看到有两个按键,BOOT按键可以用来实现人脸录入,K1按键可以用来启动人脸识别,识别结果可以通过屏幕直接显示出来。
在PBC的侧面预留了一个串口,当检测到人脸之后,它就会不停的输出检测到的信息,除了有没有人脸,还有人脸在画面中的、xy坐标、大小三个方向的偏转角信息等等,这样就可以把相机当做一个传感器模块和其他硬件模块搭配,做一些更好玩的应用。
主要元器件和资源介绍
孙老师做的小相机模块主要元器件为这几种:主芯片、摄像头、屏幕、开关电源(DCDC)、电容电阻等,主要参数信息如下:
聆思 CSK6011A芯片 (三核异构AI处理器)
- ARM Star MCU:最高300MHz主频
- HIFI4 DSP:最高300MHz主频
- NPU:128GOPS算力
- SRAM: 1MB
- PSRAM:8MB
- 内置最高支持8MB Flash,可选外置
摄像头
GC0328,算法基于摄像头做的优化,不建议更换其他摄像头,可以联系官方了解获得方式
- DVP接口
- 30万像素
屏幕:
- 屏显接口:SPI
- 触摸接口:I2C
- 可根据实际需求更换或去掉屏幕
开关电源(DCDC)
- 开发板模块可以由串口的5V进行供电,
- 芯片供电需要通过开关电源芯片转换为3.3V
电容电阻
使用可以参考聆思官方提供的原理图根据实际情况搭配使用(后面内容有下载地址)
网络模组
推荐ESP32-C3
- 聆思官方已开放相关源码SDK
- 可根据实际需求更换或去掉
原理图相关
人脸识别相机可以参考聆思CSK6大模型开发板原理图裁剪功能获得,有想尝试拓展模块玩法的朋友也可以很方便的进行改造,开发板资料的下载地址:https://docs2.listenai.com/x/nTn9kMMCU#开发板设计资料下载
程序和烧录
芯片支持串口烧录,模块预留串口,外接串口工具板即可进行烧录。
人脸识别SDK介绍
SDK下载地址:https://docs2.listenai.com/x/XuPPPS80c#示例工程介绍
● 返回人脸边界框、人脸标定点、头部姿态角度、人脸识别特征
● 头部姿态角度如图,支持pitch、roll、yaw三个角度
● 将检测到的人脸特征值和本地存储的人脸特征值输入算法进行比对, 并返回比对结果
聆思官方提供有开源的SDK除了人脸识别,还提供有坐姿检测、头肩跟踪、手势识别、物体分类等AI能力SDK,需要哪个烧录哪个,详情可以参考SDK目录下的README文件。
烧录
cskburn desktop是聆思科技提供的一款桌面烧录工具,支持windwos、Liunx、macOS,一键安装,连接串口即可快速对 CSK6系芯片、开发套件快速进行固件烧录,进行下载地址: https://docs2.listenai.com/x/oo2_KzYFd
进入烧录模式:芯片烧录可以用BOOT+RST组合进入烧录模式。
以下图为例,串口工具链接后,按住BOOT后再按RST即可进入烧录模式。
二次开发
如果要基于官方提供的SDK进行二次开发,可以参考一下文档一键部署开发环境。
环境搭建:https://docs2.listenai.com/x/ZgVUIzY6M
获取大模型SDK:https://docs2.listenai.com/x/GvIW8tsaE
实例演示视频
B站 UP主孙老师做的实物演示视频:【十几块钱的单片机也可以做人脸识别?准确率很高!】
想了解官方开发板的其他AI能力,可以参考:【CSK6 视觉语音大模型开发板功能演示与上手指南】