大数据测试-编程知识

1、前言

大数据测试是对大数据应用程序的测试过程，以确保大数据应用程序的所有功能按预期工作。大数据测试的目标是确保大数据系统在保持性能和安全性的同时，平稳无差错地运行。

大数据是无法使用传统计算技术处理的大型数据集的集合。这些数据集的测试涉及要处理的各种工具、技术和框架。大数据涉及数据的创建、存储、检索和分析，在数量、种类和速度方面都非常出色。您可以在此处了解有关大数据、Hadoop 和 MapReduce 的更多信息。

测试大数据应用更多的是对其数据处理的验证，而不是测试软件产品的单个功能。谈到大数据测试，性能和功能测试是关键。

在大数据测试策略中，QA工程师使用商品集群和其他支持组件验证TB级数据的成功处理。由于处理速度非常快，因此需要高水平的测试技能。处理可能分为三种类型

除此之外，数据质量也是大数据测试中的一个重要因素。在测试应用程序之前，有必要检查数据的质量，应该被视为数据库测试的一部分。它涉及检查各种特征，如一致性、准确性、重复性、有效性、数据完整性等。

下图给出了测试大数据应用程序阶段的高级概述

大数据测试大致可分为三个步骤：

步骤1：数据分段验证

大数据测试的第一步，也称为 Hadoop 前阶段，涉及过程验证。

像工具 Talend，Datameer，可用于数据分段的验证。

步骤2：MapReduce验证

第二步是验证“MapReduce”。在这个阶段，测试人员在每个节点上进行业务逻辑验证，然后在多个节点上运行后验证它们，确保

步骤3：输出验证阶段

大数据测试的最后或第三阶段是输出验证过程。输出数据文件已生成并准备好根据要求移动到 EDW（企业数据仓库）或任何其他系统。第三阶段的活动包括

Hadoop 处理非常大量的数据并且是高度资源密集型的。因此，架构测试对于确保大数据项目的成功至关重要。设计不佳或不当的系统可能会导致性能下降，并且系统可能无法满足要求。至少，性能和故障转移测试服务应该在 Hadoop 环境中完成。

性能测试包括对作业完成时间、内存利用率、数据吞吐量和类似系统指标的测试。而故障转移测试服务的动机是验证在数据节点发生故障的情况下数据处理是否无缝进行。

大数据性能测试包括三个主要操作

数据获取和吞吐量：在此阶段，测试人员验证快速系统如何使用来自各种数据源的数据。测试涉及识别队列可以在给定时间范围内处理的不同消息。它还包括将数据插入底层数据存储的速度，例如插入 Mongo 和 Cassandra 数据库的速度。
数据处理：它涉及验证查询或 map reduce 作业的执行速度。它还包括在数据集中填充底层数据存储时单独测试数据处理。例如，在底层 HDFS 上运行 Map Reduce 作业。
子组件性能：这些系统由多个组件组成，必须单独测试每个组件。例如，消息被索引和消费的速度、MapReduce 作业、查询性能、搜索等。