一、选题背景习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向。2019年，人力资源社会保障部、市场监管总局和统计局联合下发了《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布人工智能工程技术人员等职业信息的通知》（人社厅发〔2019〕48号），正式将大数据工程技术人员列为新职业。落实《专业技术人员继续教育规定》（人力资源社会保障部令第25号）的要求，为进一步加强大数据工程技术人员队伍建设，开展全国范围内的人员培训，人力资源社会保障部委托中国机械工程学会组织有关专家，制定了《大数据工程技术人员国家职业标准》，并组织开展《大数据工程技术人员培训教程》（以下简称“《教程》”）的编写工作。二、指导思想与开发原则《教程》开发工作是落实国家专业技术类新职业开发重要部署，服务和保障大数据工程技术人员队伍快速稳步发展的必要举措，是开展培训工作的重要基础和有力支撑，是大数据工程技术人员继续教育工作的重要抓手。《教程》根据职业标准与培训大纲编写，充分体现大数据行业特色，是对初、中、高不同专业等级人员实施培训的内容载体，是培训考核命题的基础素材，也将作为专业水平考核评价的重要参考。《教程》开发工作坚持以下原则：（一）科学性。充分考虑大数据技术发展现状和趋势，注重大数据工程技术人员知识要求的基础性，尊重客观规律

第一章 网络数据处理/001
第一节 网络数据处理系统需求/003
第二节 网络数据处理系统设计/007
第三节 数据采集/015
第四节 数据仓库实现/049
第五节 即席查询/073
第六节 网络数据任务调度/080
第二章 离线数据处理/087
第一节 离线数据处理系统需求/089
第二节 网络数据处理系统设计/092
第三节 业务系统实现/107
第四节 数据导入/123
第五节 数据仓库实现/129
第六节 使用Spark分析/150
第七节 离线数据任务调度/163
第三章 实时数据处理/171
第一节 实时数据处理背景/173
第二节 网页埋点开发/176
第三节 Flume日志收集/194
第四节 Kafka消息队列/210
第五节 Spark Streaming实时计算/218
第六节 Druid实时查询/227
第四章 交互式数据处理/239
第一节 交互式数据处理背景/241
第二节 Kylin基本应用/245
第三节 Kylin流式应用/269
第四节 Cube优化/289
第五节 BI集成/292
第五章 数据检索/303
第一节 数据检索背景/305
第二节 Lucene基础入门/311
第三节 ElasticSearch应用/337
第四节 ELK日志分析/374
参考文献/387
后记/389