rawley

✨Spark 内存模型

文章围绕 Spark Executor 端 JVM 内存展开，介绍堆内/堆外内存作用与内存不足带来的 GC、spill、OOM 风险；对比 1.6 前静态内存（固定比例、易浪费）与 1.6+ 统一内存（动态共享、可互借）机制，并给出常用资源配置与调优参数建议。

数开知识点

#Spark

2025-11-26

69

0

🔗 Spark 的几种 Join 机制

文章梳理 Spark 在大数据场景下的 5 种 Join 策略：Broadcast Hash、Shuffle Hash、Sort Merge（默认）、Cartesian、Broadcast Nested Loop，并说明 Catalyst 会按数据量、Join 条件与排序情况自动选型及其优缺点与适用场景。

数开知识点

#Spark

2025-11-26

105

0

🔥 Spark Shuffle

文章系统讲解 Spark Shuffle：其本质是跨节点按 key 重分布并伴随排序、分组与合并，触发宽依赖并决定 Stage 划分。梳理 Hash→Sort→Tungsten 演进，说明读写流程、常见瓶颈（IO/网络/GC/倾斜）及优化手段（预聚合、分区与内存调优等）。

数开知识点

#Spark

2025-11-26

64

0

🚀 Spark 任务提交流程

梳理 Spark 核心组件与职责，讲清运行模式差异：Driver 位置决定 Client/Cluster；并概述 Standalone 与 YARN（cluster）提交流程及 Master URL 参数。

数开知识点

#Spark

2025-11-25

65

0

🧠 Spark 计算模型详解（RDD & 算子 & DAG）

本文系统梳理 Spark RDD 核心：不可变分区、血缘与惰性执行；窄/宽依赖与 Stage 划分；Shuffle 全流程及优化；序列化与统一内存；广播变量、累加器、checkpoint 容错；并给出性能调优清单与示例速记。

数开知识点

#Spark

2025-11-25

73

0

🚀 Spark 基础知识

介绍 Spark 的基本概念与性能优势（内存计算、DAG、Shuffle），并概览 Driver/Executor 架构及生态组件与运行模式。

数开知识点

#Spark

2025-11-25

57

0

📚 大数据存储格式详解：TextFile / ORC / Parquet

本文对比 TextFile、ORC、Parquet 三种数据存储格式：指出 TextFile 行式存储压缩率低、无法列裁剪与优化；详解 ORC/Parquet 的列式结构、索引与过滤机制及适用生态；并介绍通过排序+分发重排提升压缩率与查询性能的实践建议。

数开知识点

#Hadoop

2025-11-24

27

0

📘 YARN 资源调度与核心架构

文章梳理YARN资源调度与执行机制：对比FIFO、Capacity、Fair三类调度器的特点与适用场景；解析YARN主从架构中RM、NM、AM、Container职责；说明作业提交到容器执行的全流程，并补充数据本地化与MR运行过程。

数开知识点

#Hadoop

2025-11-24

79

0

✨ MapReduce 原理与机制

本文概述 Hadoop MapReduce：基于分治思想，将批处理拆为 Map→Shuffle→Reduce 并行执行，具备容错、调度与分片能力；解析 WordCount、InputSplit 与 Shuffle（落盘/排序/拉取）细节及性能瓶颈，并介绍压缩优化策略。

数开知识点

#Hadoop

2025-11-24

65

0

NameNode 的 高可用（High Availability）机制详解

本文介绍 HDFS NameNode 的 HA 机制：Hadoop1.x 单点故障影响全局，Hadoop2.x 采用 Active/Standby 架构并由 ZKFC 自动切换提升可用性。元数据由 Fsimage+EditLog 组成，Standby 定期 Checkpoint 合并；生产常用 QJM+JournalNode 保证一致性。

数开知识点

#Hadoop

2025-11-23

77

0