大数据工程技术人员（中级）三色笔记

大数据4V特征中，Value指数据价值密度低，但通过分析挖掘可获得很高的总体价值。A为Volume，C为Velocity，D为Variety。

2001年Gartner在研究报告中最先提出大数据3V特征，即Volume、Velocity、Variety，标志着大数据概念的正式提出。

Hadoop 1.x默认块大小为64MB，Hadoop 2.x及以后版本默认块大小调整为128MB，以提升大规模数据存储和处理的效率。

《数据安全法》于2021年6月10日由第十三届全国人大常委会第二十九次会议通过，自2021年9月1日起施行。

《数据安全法》第二十一条规定，国家数据安全工作协调机制统筹协调有关部门制定重要数据目录，加强对重要数据的保护。

人脸识别信息属于敏感个人信息中的生物识别信息，处理敏感个人信息应当取得个人的单独同意；法律、行政法规规定应当取得书面同意的，从其规定。

默认使用 HashPartitioner，分区号由 (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks 计算，因此分区数由 Reduce 任务数量决定。

Spark 的转换操作如 map、filter 只是构建 DAG 和血缘关系，只有遇到行动操作如 count、collect 时才会提交作业并执行计算。

ResourceManager 中的调度器负责集群资源的统一管理和分配，NodeManager 负责节点上的资源管理和任务执行，ApplicationMaster 负责应用程序内部的任务调度和资源申请。

窗口函数不改变明细行数，PARTITION BY user_id 加月份可得到“按用户按月汇总金额”，故 A 正确。B 使用 GROUP BY 会折叠明细行且 SELECT 中出现非聚合字段不合法；C 是同一用户按日期的累计求和，不是按月汇总；D 统计的是订单笔数而非金额。

字段缺失率不高且为随机缺失时，应保留该字段。因其存在极端高值，均值易被拉偏，中位数更稳健；同时增加缺失指示字段可保留缺失本身的信息，避免填充引入偏差。删除字段会损失信息，填充 0 会误判为真实时长，故 C 最合理。

IQR=Q3-Q1=45-25=20，上界=Q3+1.5×IQR=45+30=75，超过 75 的取值判为异常值。下界为 Q1-1.5×IQR=25-30=-5。