Loading......

Spark

浏览该标签下的所有文章

全部 # LangChain 6 # 大模型工作流数仓 6 # 灵茶山艾府-基础算法精讲 8 # 实时项目 4 # 游戏分享 2 # 思绪随笔 1 # 音乐分享🎵 2 # Flink 时间语义&窗口 6 # Flink 算子 2 # DataStream API 2 # Flink基础 20 # 大数据组件 4 # 汽车天地 2 # AI Agent 8 # 数码产品 3 # 回忆录 4 # 人资数仓 9 # 刷题打卡 1 # 标签资产建设 8 # 核心指标大盘 6 # 面试问答 8 # 数据治理 8 # 数据倾斜 2 # 数据建模 2 # Doris 3 # 实习面经 15 # SQL 3 # Hive 4 # 人物偶像 1 # Hadoop 6 # 日常record✍️ 18 # 吐吐槽🙃 3 # 电商数仓🧰 5 # 力扣Hot100🔥 8 # 意料之外🫨 2

✨Spark 内存模型的封面

数开知识点

Spark

✨Spark 内存模型

文章围绕 Spark Executor 端 JVM 内存展开，介绍堆内/堆外内存作用与内存不足带来的 GC、spill、OOM 风险；对比 1.6 前静态内存（固定比例、易浪费）与 1.6+ 统一内存（动态共享、可互借）机制，并给出常用资源配置与调优参数建议。

37

0

0

🔗 Spark 的几种 Join 机制的封面

数开知识点

Spark

🔗 Spark 的几种 Join 机制

文章梳理 Spark 在大数据场景下的 5 种 Join 策略：Broadcast Hash、Shuffle Hash、Sort Merge（默认）、Cartesian、Broadcast Nested Loop，并说明 Catalyst 会按数据量、Join 条件与排序情况自动选型及其优缺点与适用场景。

34

0

0

🔥 Spark Shuffle 的封面

数开知识点

Spark

🔥 Spark Shuffle

文章系统讲解 Spark Shuffle：其本质是跨节点按 key 重分布并伴随排序、分组与合并，触发宽依赖并决定 Stage 划分。梳理 Hash→Sort→Tungsten 演进，说明读写流程、常见瓶颈（IO/网络/GC/倾斜）及优化手段（预聚合、分区与内存调优等）。

38

0

0

🚀 Spark 任务提交流程的封面

数开知识点

Spark

🚀 Spark 任务提交流程

梳理 Spark 核心组件与职责，讲清运行模式差异：Driver 位置决定 Client/Cluster；并概述 Standalone 与 YARN（cluster）提交流程及 Master URL 参数。

41

0

0

🧠 Spark 计算模型详解（RDD & 算子 & DAG）的封面

数开知识点

Spark

🧠 Spark 计算模型详解（RDD & 算子 & DAG）

本文系统梳理 Spark RDD 核心：不可变分区、血缘与惰性执行；窄/宽依赖与 Stage 划分；Shuffle 全流程及优化；序列化与统一内存；广播变量、累加器、checkpoint 容错；并给出性能调优清单与示例速记。

32

0

0

🚀 Spark 基础知识的封面

数开知识点

Spark

🚀 Spark 基础知识

介绍 Spark 的基本概念与性能优势（内存计算、DAG、Shuffle），并概览 Driver/Executor 架构及生态组件与运行模式。

32

0

0

⚡ Spark Core & SQL 核心知识的封面

数开知识点

Spark

⚡ Spark Core & SQL 核心知识

本文梳理 Spark 常见部署模式（Local、Standalone、YARN、Mesos）与 spark-submit 提交流程，重点解析 Driver/Executor 架构、YARN client/cluster 差异；介绍 RDD Lineage 容错、宽窄依赖及 Stage/Task 划分，并汇总常用算子与性能调优要点。

36

0

0