Blog — My Personal Blog

2026-08-02 · 13 分钟阅读 · 48 次阅读 · 数据分析

Windows 本地 PySpark 入门（环境搭建 + 基础操作）

Windows 本地 PySpark 入门（环境搭建 + 基础操作） 📖 目录- [适用场景](适用场景)- [核心原理](核心原理) - [PySpark 是什么](pyspark-是什么) - [为什么 Windows 需要 winutils](为什么-windows-需要-winutils) - [懒执行：transformation 与 action](懒执行transforma

Edit

2026-06-30 · 16 分钟阅读 · 81 次阅读 · 数据分析

Spark SQL 用法手册

Spark SQL 用法手册> 适用场景：日常写 Spark SQL 多、PySpark 少的数据开发岗位。纯 SQL 语法、带测试数据、每类方法说明用法并展示运行效果。>> 环境：Spark 3.x，使用 spark.sql() 执行。以下所有示例在 Spark Thrift Server 或 spark-sql CLI 中也可直接运行。优秀资料分享[Spark SQL 函数分类导航](ht

Edit

2026-06-29 · 40 分钟阅读 · 78 次阅读 · 数据分析

Spark SQL 内核精解：三层架构视角下的全链路拆解

Spark SQL 内核精解：三层架构视角下的全链路拆解> 适用读者：有一定大数据开发经验，但希望深入理解 Spark SQL 内部原理的数据工程师、数据平台开发人员。>> 阅读方式：本文采用逐层递进的结构——每章只引入该层的新概念并配模块图，最后一章才拼出完整全景图。建议顺序阅读，不要跳读。>> 全文线索：跟随一条 SELECT DISTINCT(query) FROM query_table

Edit

2026-06-28 · 7 分钟阅读 · 86 次阅读 · 数据分析

统计建模-假设检验和回归分析

假设检验和回归分析假设检验：判断差异是不是"真的" 核心问题你观察到 CTR 从 12% 变成 13%，这1%的提升到底是排序策略真的有效，还是纯粹随机波动？任何指标天天都在波动，哪怕什么都没变，今天12.3%明天11.8%都很正常。假设检验要解决的就是：怎么判断"看到的差异"够不够大，大到不能用随机波动解释。为什么能做到——背后的逻辑链第一步：假设"什么都没变"（零假设）零假设 H

Edit