一、Hadoop
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：
1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
二、HDFS
三、MapReduce
MapReduce是一种用于处理大规模数据集的编程模型，主要用于分布式计算。它的核心思想是将大数据处理任务分解为两个主要步骤：Map和Reduce。在Map阶段，输入数据被分解成一系列的键值对，这些键值对会被传送到对应的Reduce任务中进行处理。Reduce阶段则将这些键值对进行处理，最终生成一个结果。
四、Hive
五、Spark
1.概念
2.Spark的特点
（1）内存计算：Spark能够在内存中运行计算，避免了MapReduce模型中多次读写磁盘的IO开销，显著提高了数据处理速度12。
（2）多种语言支持：Spark支持Java、Scala、Python、R和SQL等多种语言，使得开发更加灵活。
（3）通用性强：提供了多个工具库，包括Spark SQL、Spark Streaming、MLlib、GraphX等，适用于批处理、流处理、机器学习和图计算等多种场景。
（4）运行方式多样：可以在Hadoop、Mesos、Kubernetes等平台上运行，也支持独立的Standalone模式。
3.Spark与Hadoop的关系
Spark和Hadoop是两个不同的数据处理框架，但经常被放在一起讨论。Hadoop是一个包含HDFS、MapReduce和Yarn的生态系统，主要用于数据的存储和批处理。而Spark则专注于数据处理，特别是实时数据处理和迭代计算。Spark的出现是为了弥补Hadoop在实时数据处理和交互式查询方面的不足，因此被视为Hadoop的升级版。
4.Spark的应用场景
（1）批处理：适用于大规模数据集的离线处理，如数据仓库的更新和维护。
（2）流处理：通过Spark Streaming，实时处理数据流，适用于需要快速响应的应用场景。
（3）机器学习：利用MLlib，进行分类、回归、聚类等机器学习任务。
（4）图计算：通过GraphX，处理大规模图数据，适用于社交网络分析等应用。
综上所述，Spark凭借其内存计算、多种语言支持和强大的工具库，成为大数据处理领域的重要工具，特别是在实时数据处理和迭代计算方面表现出色。
六、Flink
1.Flink概念
2.Flink的核心特点
(1) 高吞吐、低延迟：Flink能够在保证高吞吐的同时，提供低延迟的处理能力。
(2) 精确的状态一致性保证：Flink能够确保状态的一致性，即使在分布式环境中也能保证数据处理的准确性。
(3) 容错能力强：Flink具有强大的容错能力，能够在节点故障时恢复状态，保证数据的完整性。
(4) 批流一体化：Flink支持批处理和流处理，能够处理有界和无界数据流，适用于离线和实时数据处理场景。
3.Flink与其他大数据处理框架的对比
(1)与Spark对比：Spark采用RDD模型，而Flink的基本数据模型是数据流和时间序列。Spark是批处理框架，而Flink是标准的流处理模式，适合处理实时数据流。
(2)与Kafka对比：Kafka主要用于消息队列，而Flink可以处理Kafka中的消息流，实现更复杂的实时数据处理和分析。
综上所述，Apache Flink是一个功能强大的分布式处理引擎，适用于各种大数据场景，特别是在需要高吞吐、低延迟和精确状态管理的应用中表现出色。
七、YARN
1.概念
2.YARN的基本架构和功能
YARN主要由以下几个核心组件构成：
（1）ResourceManager（RM）：负责集群资源的统一管理和调度，处理客户端请求，监控。（2）NodeManager，分配资源给ApplicationMaster。
（3）NodeManager（NM）：管理单个节点上的资源，执行来自ResourceManager和ApplicationMaster的命令。
（4）ApplicationMaster（AM）：负责应用程序的管理，申请资源并分配给内部任务，监控任务执行。
（5）Container：对任务运行环境的抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘网络等。
