Hadoop - Rawley

Loading......

全部灵茶山艾府-基础算法精讲 ² 实时项目 ⁴ 游戏分享 ² 思绪随笔 ¹ 音乐分享🎵 ² Flink 时间语义&窗口 ⁶ Flink 算子 ² DataStream API ² Flink基础 ¹⁶ 大数据组件 ⁴ 汽车天地 ² AI Agent ⁵ 数码产品 ³ 回忆录 ³ 人资数仓 ² 刷题打卡 ¹ 标签资产建设 ² 核心指标大盘 ⁶ 面试问答 ⁸ 数据治理 ⁸ 数据倾斜 ² 数据建模 ² Doris ³ 实习面经 ¹⁵ SQL ³ Spark ⁷ Hive ⁴ 人物偶像 ¹ 日常record✍️ ¹⁷ 吐吐槽🙃 ² 电商数仓🧰 ⁵ 力扣Hot100🔥 ⁸ 意料之外🫨 ²

📚 大数据存储格式详解：TextFile / ORC / Parquet 的封面

数开知识点

Hadoop

📚 大数据存储格式详解：TextFile / ORC / Parquet

本文对比 TextFile、ORC、Parquet 三种数据存储格式：指出 TextFile 行式存储压缩率低、无法列裁剪与优化；详解 ORC/Parquet 的列式结构、索引与过滤机制及适用生态；并介绍通过排序+分发重排提升压缩率与查询性能的实践建议。

6

0

0

📘 YARN 资源调度与核心架构的封面

数开知识点

Hadoop

📘 YARN 资源调度与核心架构

文章梳理YARN资源调度与执行机制：对比FIFO、Capacity、Fair三类调度器的特点与适用场景；解析YARN主从架构中RM、NM、AM、Container职责；说明作业提交到容器执行的全流程，并补充数据本地化与MR运行过程。

13

0

0

✨ MapReduce 原理与机制的封面

数开知识点

Hadoop

✨ MapReduce 原理与机制

本文概述 Hadoop MapReduce：基于分治思想，将批处理拆为 Map→Shuffle→Reduce 并行执行，具备容错、调度与分片能力；解析 WordCount、InputSplit 与 Shuffle（落盘/排序/拉取）细节及性能瓶颈，并介绍压缩优化策略。

16

0

0

NameNode 的高可用（High Availability）机制详解的封面

数开知识点

Hadoop

NameNode 的高可用（High Availability）机制详解

本文介绍 HDFS NameNode 的 HA 机制：Hadoop1.x 单点故障影响全局，Hadoop2.x 采用 Active/Standby 架构并由 ZKFC 自动切换提升可用性。元数据由 Fsimage+EditLog 组成，Standby 定期 Checkpoint 合并；生产常用 QJM+JournalNode 保证一致性。

13

0

0

Shuffle 优化 YARN 工作机制的封面

数开知识点

Hadoop

Shuffle 优化 YARN 工作机制

本文梳理 Hadoop MapReduce Shuffle 全流程（Map 溢写排序/合并、Reduce 拉取归并聚合），并给出缓冲区、Combiner、并行拉取与压缩等优化点；同时介绍 YARN 组件与调度器、多队列优势、Benchmark 测试，以及宕机、数据倾斜与资源分配问题的排查方案。

17

0

0

HDFS_读写流程笔记的封面

数开知识点

Hadoop

HDFS_读写流程笔记

本文梳理 Hadoop/HDFS 常用端口与核心配置文件作用，详解 HDFS 文件写入（副本分配、管道传输与确认）和读取（就近访问、故障切换）流程，并总结小文件问题危害及 HAR、合并输入、JVM 重用等优化策略与面试要点。

28

1

0