rawley

步枪手最长的河

MOUZ迎来17岁天才，预瞄精准；NiKo转投Falcons，枪法艺术与荣誉等身，仍惦记波士顿与斯德哥尔摩的遗憾，愿他最终圆Major冠军梦。

记录生活✍️

#人物偶像

2025-11-07

28

0

🚀 Kafka 架构与核心机制详解

概述Kafka架构组件与ZK职责，给出集群机器/磁盘/分区估算公式，介绍副本、ISR与acks可靠性，压测瓶颈与参数调优，含监控、清理策略及顺序性要点。

数开知识点

#大数据组件

2025-11-06

54

0

🌀 Flume 核心原理与组件详解

本文介绍 Flume 日志采集架构：Source/Channel/Sink 三组件与 Put/Take 事务保障“至少一次”传输。重点解析 TaildirSource 断点续传与重复处理，比较 File/Memory/Kafka Channel 选型，说明 HDFS Sink 滚动写入、拦截器与通道选择器，并给出监控与性能优化建议。

数开知识点

#大数据组件

2025-11-06

45

0

今日网易云☁

文章引用《从你的全世界路过》诗句，描绘故事常在不期而遇中开启，却在分道扬镳中落幕；以“花开两朵，天各一方”点出相遇与离别的无常与遗憾。

记录生活✍️

2025-11-06

16

0

求职online系统升级 V2.0→V3.0

电商数仓项目已接近收尾但尚未完成，作者提前更新简历，整理1段实习经历与3个项目经历；项目完结后将全面复盘并准备面试八股，为后续投递数据开发实习打基础。

记录生活✍️

#日常record✍️

2025-11-05

27

0

DolphinScheduler 简介与入门

Apache DolphinScheduler 是分布式可扩展的可视化 DAG 工作流调度平台，支持多任务类型与监控告警。介绍其核心架构（Master/Worker/ZK/API/UI）、三种部署模式（单机/伪集群/集群）及安全中心配置要点（租户、用户、队列、告警、环境、令牌）。

项目实战🖨️

#电商数仓🧰

2025-11-05

65

0

随便写写

作者五天未更新，也没认真学习，更多时间用于打球和刷抖音，导致时间碎片化。11月已至，项目遇阻停滞、动力不足，但仍希望提升效率推进进度，争取12月初完成找数开实习的阶段性准备。

记录生活✍️

#日常record✍️

2025-11-02

21

0

好凶的小茂密🐱

回寝室路上偶遇一只小动物，原本想伸手摸摸，但它的表情有点“蒜鸟”般警惕又可爱，让人瞬间犹豫，只好远远欣赏并记录下这一幕。

记录生活✍️

#日常record✍️

2025-10-28

19

0

🌏 电商数仓项目全链路架构详解

文章从全局视角梳理数据全链路体系：数据由端与业务系统产生，经 DataX/Maxwell/Flume+Kafka 采集汇聚至 HDFS，再以 Hive 构建 ODS-DWD-DM-ADS 分层数仓，最终同步至 MySQL 并用 BI 可视化，实现数据闭环与业务价值输出。

项目实战🖨️

#电商数仓🧰

2025-10-28

69

0

Shuffle 优化 YARN 工作机制

本文梳理 Hadoop MapReduce Shuffle 全流程（Map 溢写排序/合并、Reduce 拉取归并聚合），并给出缓冲区、Combiner、并行拉取与压缩等优化点；同时介绍 YARN 组件与调度器、多队列优势、Benchmark 测试，以及宕机、数据倾斜与资源分配问题的排查方案。

数开知识点

#Hadoop

2025-10-27

51

0