一、大厂职级
P7：年薪百万
二、大数据发展
1、职业路线和岗位角色
2、大数据行业发展
三、大数据的位置
1、热门行业
大数据承上启下
2、三者关系
啤酒和尿不湿：启发可以放在一块
3、大数据作用
杀熟：卖东西卖的贵
反杀熟：卸载自己软件，安装其他软件，推送
四、大数据理解
1、数据时代
IT-DT
2、大数据特征
ZB，世界所有体量，大概44ZB
真实性：数据ETL清洗
3、表现形式
半结构化
非结构化
4、处理方式
处理
流处理
精准计算-Exactly-once
5、处理平台
廉价服务器提升海量计算能力
普通数据库，只能达到TB
多快好省，才是大数据
五、大数据深入理解
1、深入理解
表示一种能力
2、阿里发展
3、T腾讯大数据演进
六、技术侧理解
1、大数据前世今生
java实现Hadoop的论文
2、Hadoop组成
存和算
（1）存
元数据管理进行存
取：类似新华字典找目录，就对应其元数据
namenode有多个：standby、联邦学习
（2）算
map
shuffle
reduce
并行计算
（3）案例：集团网页文件个事访问延迟分析
（3）数据流转-生产架构
分久必合，合久必分
3、大数据的组件
存：hudi，数据湖，湖仓一体
七、大数据应用案例-使用MapReduce实现手动举数
1、记住
联系老师要实战三件套：源码、手册、视频
2、双十一大屏
3、使用-Python实现
今天：Python
明天：hive sql
后天：Scala实现flink
（1）生成模拟数据
50个买家买3个商品
（2）map构建
K-V构建
（3）reduce实现
（4）执行程序
4、学习方法
道法术
