0
点赞
收藏
分享

微信扫一扫

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍

一、Hi3519AV200芯片简介

2023年第2季度推出的越影Hi3519AV200又叫SS927V100和SD3402V100,或者叫22AP70,是一颗面向市场推出的专业超高清智能网络录像机SoC,专门用来替换之前的Hi3519AV100,2023年推出的业界AI-ISP超高性价比芯片!该芯片最高支持四路sensor输入,支持最高4K60的ISP图像处理能力,支持3F WDR、多级降噪、六轴防抖、硬件拼接等多种图像增强和处理算法,为用户提供了卓越的图像处理能力。

Hi3519AV200内置四核A55,提供高效且丰富和灵活的CPU资源,以满足客户计算和控制需求。集成单核MCU,以满足某些低延时要求较高场景。总之Hi3519AV200(SS927V100)是第2代AI和第2代ISP以及第2代编解码效果,而前几年出的Hi3519AV100和Hi3559AV100都是第1代芯片!

Hi3519AV200集成了高效的图像分析工具推理单元,最高2.5Tops INT8,并支持业界主流的图像分析工具框架以及常用的深度学习架构(Caffe,TensorFlow,ONNX等等)。并内置双核Vision DSP,以满足客户一些差异化的CV计算需求。

采用先进的12nm低功耗工艺和0.65pitch封装, 同时支持LPDDR4/LPDDR4x/DDR4颗粒, 满足客户应用的产品小型化设计和快速量产。Hi3519AV200配套提供的稳定、 易用的SDK设计,能够支撑客户快速产品量产。

二、芯片主要特点

处理器内核

★四核 ARM Cortex A55@1.4GHz

, 32KB D-Cache /512KB L3 cache

支持Neon加速, 集成FPU处理单元

★内置 32bit MCU@500MHz

, 32KB D-Cache /64KB TCM

智能视频分析

★图像分析工具加速引擎,其中NNN(dlite核 * 1)支持2.5Tops@INT8,同时支持INT4/FP16,单独这个核性能直接秒掉Hi3519AV100的NNIE,但是这个核现在支持了:Caffe,TensorFlow, ONNX, 比之前的Hi3519A和Hi3559A深度学习架构可扩展性强多了!

- 支持完整的API和工具链, 易于客户开发

★双核 Vision Q6 DSP(工具软件没有授权客户无法使用,正版DSP软件开发工具比较贵!)

- 32K I-Cache /32K D-Cache /32K IRAM/320K DRAM

★内置智能计算加速引擎(IVE等等)

★内置双目深度加速单元

★内置矩阵计算加速单元

视频编解码

★H.264 BP/MP/HP

★H.265 Main Profile

★H.264/H.265 编解码最大分辨率为 8192 x 8192

★H.264/H.265 编码支持 I/P 帧

★H.264/H.265 多码流编码能力:

   - 3840 x 2160@60fps + 1280x720@30fps

    - 7680 x 4320@15fps

★H.264/H.265/MPEG-4 多码流解码能力:

   - 3840 x 2160@60fps + 1920x1080@60fps

★支持最多 8 个区域的编码前 OSD 叠加

★支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式

★输出码率最大值 100Mbps

★支持 8 个感兴趣区域(ROI)编码

★支持 JPEG Baseline 编解码

★JPEG 编解码最大分辨率 16384x16384

★JPEG 最大性能

编码: 3840 x 2160@60fps(YUV420)

解码: 3840 x 2160@75fps(YUV420)

视频输入接口

★支持 8-Lane image sensor 串行输入,支持MIPI/LVDS/Sub-LVDS/HiSPi 多种接口

★支持 2x4-Lane 或 4x2-Lane 等多种组合,最高支持 4 路 sensor 串行输入

★ 最大分辨率 8192 x 8192

★支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入,时钟频率最高 150MHz

★支持 BT.601、 BT.656、 BT.1120 视频输入接口

★支持主流 CMOS 电平热成像传感器

数字图像处理(ISP)

★ISP 支持分时复用处理多路 sensor 输入视频

★支持 3A(AE/AWB/AF) 功能, 3A 的控制用户可调节

★支持去固定模式噪声(FPN)

★支持坏点校正、 镜头阴影校正;

★最高支持三帧 WDR 及 Advanced Local Tone Mapping

★支持多级 3D 去噪、 图像边缘增强、 去雾、动态对比度增强等处理功能

★支持 3D-LUT 色彩调节

★支持镜头畸变校正, 支持鱼眼矫正

★支持 6-DoF 数字防抖及 Rolling-Shutter 校正

★支持图像 Mirror、 Flip、 90 度/270 度旋转

★提供 PC 端 ISP 调节工具

视频与图形处理

★支持图形和图像 1/15.5~ 16x 缩放功能

★支持多达 4 路视频全景拼接

输入2路3840x2160, 输出4320x3840,即能同时采集2路4K@30帧!

输入4路2688x1520, 输出6080x2688,即能同时采集4路4M@30帧!

★支持视频层、 图形层叠加

★支持色彩空间转换

视频输出

★支持 HDMI2.0 接口输出

★支持 4-Lane Mipi DSI/CSI 接口输出, 最高2.5Gbps/lane

★内置模拟标清 CVBS 输出

★支持 8/16/24 bit RGB、 BT.656、 BT.1120 等数字接口

★同时支持 2 个独立高清视频输出

支持任意两种接口非同源输出

其中一路可支持PIP(Piture In Piture)

★最大输出能力 3840x2160@60fps + 1920x1080@60fps

音频接口与处理

★内置 Audio codec, 支持 16bit 语音输入和输出

★支持 I2S 接口

支持多声道时分复用传输模式(TDM)

★支持 HDMI Audio 输出

★通过软件实现多协议语音编解码

★支持音频 3A(AEC/ANR/ALC) 处理

★支持 G.711/G.726/AAC/等音频编码格式

安全隔离与引擎

★支持安全启动

★支持基于 TrustZone 的 REE/TEE 硬件隔离方案

★硬件实现 AES 对称加密算法

★硬件实现 RSA2048/3072/4096 签名校验算法

★硬件实现基于 HASH 的 SHA/256/384/512、HMAC_SHA256/384/512 算法

★硬件实现随机数发生器

★集成 30Kbit OTP 存储空间供客户使用

网络接口

★2个千兆以太网接口

支持RGMII、 RMII两种接口模式

支持TSO、 UFO、 COE等加速单元

支持Jumbo Frame

外围接口

★支持上电复位(POR) 和外部输入复位

★集成 4 通道 LSADC

★多个 UART、 I2C、 SPI、 GPIO 接口

★2个 SDIO3.0 接口

支持SDXC卡,最大容量2TB

支持对接wifi模组

★2个 USB3.0/USB2.0 接口

仅Host接口

可切换

★2-Lane PCIe2.0 高速接口

支持RC/EP模式

可配置为2-Lane PCIe2.0

可配置为1-Lane PCIe2.0 + USB3.0

外部存储器接口

★DDR4/LPDDR4/LPDDR4x 接口

支持4 x 16bit DDR4

支持2 x 32bit LPDDR4/LPDDR4x

最高速率3200Mbps

最高速率3733Mbps

最大容量8GB

★SPI Nor/SPI Nand Flash 接口

支持1、 2、 4线模式

支持3Byte、 4Byte 地址模式

★NAND Flash 接口

支持SLC、 MLC异步接口器件

支持2/4/8/16KB页大小

支持8/16/24/28/40/64bit ECC(以1KB为单位)

★eMMC5.1 接口, 最大容量 2TB

★可选择从 eMMC、 SPI Nor/SPI Nand Flash、NAND Flash 或 PCIe 从片启动

SDK

★Arm CPU 支持 Linux SMP(很熟练开发过Hi3559AV100和Hi3519AV100的工程师会比较快上手)

★DSP/MCU 支持 LiteOS

芯片物理规格

★功耗

典型功耗(4K@60帧 + 2.5Tops):4.8W左右;最高110°结温场景:最大达到6W,功耗比另外一款超高性能的SS928V100小很多。

- 功耗控制:一些场景用不上DSP和MCU核功耗还可以降低,芯片散热做好,不让芯片工作在最高结温,最小系统功耗可以控制在4.8W内;

★工作电压

内核电压为0.8V

电压为1.8/3.3V

接口电压分别为1.2/1.1/0.6V

★封装形式

, FC-BGA 23mm x 23mm封装

管脚间距: 0.65mm

三、芯片功能框图

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_海思越影

四、Hi3519AV200专业智能网络摄像机方案

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_SS928_02

五、应用领域

1、高端视频监控;

2、高端视频分析产品;

3、高端智能交通相机;

4、高端工业相机;

5、低照度高端相机;

6、工业无人机;

7、边缘服务器;

8、高端运动相机;

9、双屏异显产品;


六、桐烨科技Hi3519AV200(SS927V100)核心板介绍

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_海思越影_03

(注意:Hi3519AV200的芯片实际LOGO如上图,也叫22AP70估计很多人搞蒙了,不清楚里面的原因)

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_SS927_04

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_海思越影_05

Hi3519AV200核心板J1 BTB座子信号定义

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_海思越影_06

Hi3519AV200核心板J2 BTB座子信号定义

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_Hi3519AV200_07

七、软件包SDK介绍

使用2023年上半年发布的:SS928V100R001C02SPC022,SS928V100(SD3403V100)和Hi3519AV200(SS927V100)共用一个SDK包,只是内部有不同选择的区分。后续还会更新,敬请期待!基于OV 的OS08A20,我们对原厂的SDK进行移植和修改,所以不是那种直接COPY 原厂SDK没修改的例子直接给客户(有的开发板方案公司就是这样做的!)。我们的SDK移植了网络播放(VLC播放)2路视频的例子和HDMI输出2路视频输出的例子,等等。

八、SDK配套SNESOR介绍

配备有突破性Nyxel近红外(NIR)技术的OS08A20,Nyxel技术在保持高调制函数转换的同时,在850nm和940nm波段表现出显著的量子效率(QE)提升,使得OS08A20与传统技术相比能够监测更大的面积。不需要外部照明光源不仅降低了功耗,还为隐蔽监视提高了安全性。OS08A20还是一款彩色CMOS图像传感器,采用了背照式PureCel像素结构,可在白天捕捉清晰、细腻的彩色图像。 OS08A20支持高达3840 x 2160(16:9宽高比)的图像尺寸,能够以每秒60帧拍摄高分辨率视频。为提高传感器灵敏度,它采用了2 x 2微米像素尺寸和1/2英寸光学格式。

公司后期也会推出暗光效果更好的SONY IMX485 SENSOR板,不过这个sensor芯片价格+镜头价格就贵得离谱了,仅用在项目合作。所谓的Hi3519AV200和SS928V100(SD3403V100)越影系列,其实说的就是IMX485效果(DOGE)!至于那些更贵的4K全局曝光SENSOR,我们没打算做。SONY IMX334 IMX678 IMX585 SENSOR板我们也能做,但是由于ISP实在难调试,只能靠那些有很强实力ISP调试的公司去开发了。

    公司推出Hi3519AV200(SS927V100)核心板,需要开发板(方案评估板)的客户,在淘宝网输入“Hi3519AV200”,“SS927V100”,“SD3403V100”,“SS928V100”,看到桐烨科技ty的店铺就是我们做的板子,或者直接联系公司(工作时间电话0755-83660725,手机号码这里不公布,诈骗和骚扰太多,有需要手机联系方式的可以通过给我们邮件:zjbtongyetech@foxmail.com说明)。无论是SS928V100平台还是Hi3519AV200(SS927V100)平台,都需要很强的嵌入式LINUX软件工程师和深度学习算法工程师去开发,有时开发新的SENSOR图像传感器芯片,调试ISP,还得高薪的ISP工程师去开发。如果没有这方面的经验,建议通过开发板自己摸索学习,不适合立刻用来做项目。对于有项目合作的客户,我们深圳市桐烨科技有限公司提供对应的硬件平台和软件SDK包,客户自己定制的算法,LINUX APP等等需要客户自己完成的,分工合作,快速出产品推向市场。

附2022年推出的SS928V100介绍:

一、芯片简介

越影SS928V100又叫SD3403V100,或者叫21AP10,是一颗面向市场推出的专业超高清智能网络录像机SoC,专门用来替换之前的Hi3559AV100,2022年推出的业界AI-ISP天花板芯片!该芯片最高支持四路sensor输入,支持最高4K60的ISP图像处理能力,支持3F WDR、多级降噪、六轴防抖、硬件拼接等多种图像增强和处理算法,为用户提供了卓越的图像处理能力。

SS928V100内置四核A55,提供高效且丰富和灵活的CPU资源,以满足客户计算和控制需求。集成单核MCU,以满足某些低延时要求较高场景。

SS928V100集成了高效的图像分析工具推理单元,最高4.8Tops INT8,外加5.6T SVP_NNN核,并支持业界主流的图像分析工具框架以及常用的深度学习架构(Caffe,TensorFlow,ONNX等等)。并内置双核Vision DSP,以满足客户一些差异化的CV计算需求。总之SS928V100(SD3403V100)是第2代AI和第2代ISP,以及第2代的编解码效果,而前几年出的Hi3519AV100和Hi3559AV100都是第1代AI和第1代ISP,第1代的编解码效果。

采用先进的12nm低功耗工艺和0.65pitch封装, 同时支持LPDDR4/LPDDR4x/DDR4颗粒, 满足客户应用的产品小型化设计和快速量产。SS928V100配套提供的稳定、 易用的SDK设计,能够支撑客户快速产品量产。

二、芯片主要特点

处理器内核

★四核 ARM Cortex A55@1.4GHz

, 32KB D-Cache /512KB L3 cache

支持Neon加速, 集成FPU处理单元

★内置 32bit MCU@500MHz

, 32KB D-Cache /64KB TCM

智能视频分析

★图像分析工具加速引擎, 理论高达 (4.8T+5.6T=10.4Tops@INT8)运算能力!

- 其中NNN(dlite核 * 1)支持4.8Tops@INT8,同时支持INT4/FP16,单独这个核性能直接秒掉2个Hi3519AV100的NNIE,基本和1个Hi3559AV100持平,但是这个核现在支持了:Caffe,TensorFlow, ONNX,比之前的Hi3519A和Hi3559A深度学习架构可扩展性强多了!

- 另外SVP_NNN(dpico核 * 1)支持5.6Tops@INT8(这个dpico核只支持INT8,和之前的NNIE一样,但是这个核现在也支持了:Caffe,TensorFlow,ONNX,PyTorch流行的深度学习架构!)

- 支持完整的API和工具链, 易于客户开发

★双核 Vision Q6 DSP(工具软件没有授权客户无法使用,正版DSP软件开发工具比较贵!)

- 32K I-Cache /32K D-Cache /32K IRAM/320K DRAM

★内置智能计算加速引擎(IVE等等)

★内置双目深度加速单元

★内置矩阵计算加速单元

视频编解码

★H.264 BP/MP/HP

★H.265 Main Profile

★H.264/H.265 编解码最大分辨率为 8192 x 8192

★H.264/H.265 编码支持 I/P 帧

★H.264/H.265 多码流编码能力:

   - 3840 x 2160@60fps + 1280x720@30fps

    - 7680 x 4320@15fps

★H.264/H.265/MPEG-4 多码流解码能力:

   - 3840 x 2160@60fps + 1920x1080@60fps

★支持最多 8 个区域的编码前 OSD 叠加

★支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式

★输出码率最大值 100Mbps

★支持 8 个感兴趣区域(ROI)编码

★支持 JPEG Baseline 编解码

★JPEG 编解码最大分辨率 16384x16384

★JPEG 最大性能

编码: 3840 x 2160@60fps(YUV420)

解码: 3840 x 2160@75fps(YUV420)

视频输入接口

★支持 8-Lane image sensor 串行输入,支持MIPI/LVDS/Sub-LVDS/HiSPi 多种接口

★支持 2x4-Lane 或 4x2-Lane 等多种组合,最高支持 4 路 sensor 串行输入

★ 最大分辨率 8192 x 8192

★支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入,时钟频率最高 150MHz

★支持 BT.601、 BT.656、 BT.1120 视频输入接口

★支持主流 CMOS 电平热成像传感器

数字图像处理(ISP)

★ISP 支持分时复用处理多路 sensor 输入视频

★支持 3A(AE/AWB/AF) 功能, 3A 的控制用户可调节

★支持去固定模式噪声(FPN)

★支持坏点校正、 镜头阴影校正;

★最高支持三帧 WDR 及 Advanced Local Tone Mapping

★支持多级 3D 去噪、 图像边缘增强、 去雾、动态对比度增强等处理功能

★支持 3D-LUT 色彩调节

★支持镜头畸变校正, 支持鱼眼矫正

★支持 6-DoF 数字防抖及 Rolling-Shutter 校正

★支持图像 Mirror、 Flip、 90 度/270 度旋转

★提供 PC 端 ISP 调节工具

视频与图形处理

★支持图形和图像 1/15.5~ 16x 缩放功能

★支持多达 4 路视频全景拼接

输入2路3840x2160, 输出4320x3840,即能同时采集2路4K@30帧!

输入4路2688x1520, 输出6080x2688,即能同时采集4路4M@30帧!

★支持视频层、 图形层叠加

★支持色彩空间转换

视频输出

★支持 HDMI2.0 接口输出

★支持 4-Lane Mipi DSI/CSI 接口输出, 最高2.5Gbps/lane

★内置模拟标清 CVBS 输出

★支持 8/16/24 bit RGB、 BT.656、 BT.1120 等数字接口

★同时支持 2 个独立高清视频输出

支持任意两种接口非同源输出

其中一路可支持PIP(Piture In Piture)

★最大输出能力 3840x2160@60fps + 1920x1080@60fps

音频接口与处理

★内置 Audio codec, 支持 16bit 语音输入和输出

★支持 I2S 接口

支持多声道时分复用传输模式(TDM)

★支持 HDMI Audio 输出

★通过软件实现多协议语音编解码

★支持音频 3A(AEC/ANR/ALC) 处理

      ★支持 G.711/G.726/AAC/等音频编码格式

安全隔离与引擎

★支持安全启动

★支持基于 TrustZone 的 REE/TEE 硬件隔离方案

★硬件实现 AES 对称加密算法

★硬件实现 RSA2048/3072/4096 签名校验算法

★硬件实现基于 HASH 的 SHA/256/384/512、HMAC_SHA256/384/512 算法

★硬件实现随机数发生器

★集成 30Kbit OTP 存储空间供客户使用

网络接口

★2个千兆以太网接口

支持RGMII、 RMII两种接口模式

支持TSO、 UFO、 COE等加速单元

支持Jumbo Frame

外围接口

★支持上电复位(POR) 和外部输入复位

★集成 4 通道 LSADC

★多个 UART、 I2C、 SPI、 GPIO 接口

★2个 SDIO3.0 接口

支持SDXC卡,最大容量2TB

支持对接wifi模组

★2个 USB3.0/USB2.0 接口

仅Host接口

可切换

★2-Lane PCIe2.0 高速接口

支持RC/EP模式

可配置为2-Lane PCIe2.0

可配置为1-Lane PCIe2.0 + USB3.0

外部存储器接口

★DDR4/LPDDR4/LPDDR4x 接口

支持4 x 16bit DDR4

支持2 x 32bit LPDDR4/LPDDR4x

最高速率3200Mbps

最高速率3733Mbps

最大容量8GB

★SPI Nor/SPI Nand Flash 接口

支持1、 2、 4线模式

支持3Byte、 4Byte 地址模式

★NAND Flash 接口

支持SLC、 MLC异步接口器件

支持2/4/8/16KB页大小

支持8/16/24/28/40/64bit ECC(以1KB为单位)

★eMMC5.1 接口, 最大容量 2TB

★可选择从 eMMC、 SPI Nor/SPI Nand Flash、NAND Flash 或 PCIe 从片启动

SDK

★Arm CPU 支持 Linux SMP(很熟练开发过Hi3559AV100和Hi3519AV100的工程师会比较快上手)

★DSP/MCU 支持 LiteOS


芯片物理规格

★功耗

典型功耗(4K@60帧 + 4Tops):6.3W左右;最高110°结温场景:最大达到7.1W,功耗比较大。

- 功耗控制:一些场景用不上DSP和MCU核功耗还可以降低,芯片散热做好,不让芯片工作在最高结温,最小系统功耗可以控制在6W内;

★工作电压

内核电压为0.8V

电压为1.8/3.3V

接口电压分别为1.2/1.1/0.6V

★封装形式

, FC-BGA 23mm x 23mm封装

管脚间距: 0.65mm


三、芯片功能框图

嵌入式AI——2023年推出的Hi3519AV200超越老型号Hi3519AV100介绍_Hi3519AV200_08

注意上图和前面介绍的Hi3519AV200的功能框图有个地方有区别:AI那里,NNIE后面带了(Davinci)支持双核AI!

举报

相关推荐

0 条评论