0
点赞
收藏
分享

微信扫一扫

大数据测试理论与方法

zhyuzh3d 2022-01-12 阅读 91

1.大数据的特性

  • 体量巨大: 一般数据集做10TB以上,往往世纪规模已经超过PB级别
  • 增长速度,价值密度:数据增长速度快,但是其价值密度低,需要通过挖掘分析技术从中提取出有价值的信息。
  • 数据准确性和可信度:大数据领域对数据准确度和可信度可以统称为数据度质量,对数据质量的要求一定是精准的。

 

2. 大数据基础架构

 

 

 

3. 数据收集层 

3.1 采集技术

  • 采集技术Sqoop(Sql On Hadoop)
  • 非关系型数据收集Flume
  • 分布式消息队列Kafka(拉货的车子排队问题)

 

3.2 采集内容 

  • 老板进原材料(源数据)
  • 拉进厂子里(数据收集)
  • 安装规律放进仓库
  • 每天重复

4. 大数据测试的概念

大数据测试通常是采用大数据技术的系统或应用的测试,它可以分成两个维度,一个是数据的测试,一个是大数据系统或应用产品的测试。

5. 数据质量的测试

 

6.功能测试

image.png

 

7. 性能测试 

 性能测试中大数据应用中非常重要,不然随着数据的增长,应用会直接崩溃

 

8. 其他非功能性能测试

 

image.png

9. 大数据ETL测试

 

10 .实时数据ETL测试 

 

image.png

 

 

image.png

 

举报

相关推荐

0 条评论