Spark企业级大数据项目实战

正文

请到「今天看啥」查看全文

第二课：  手把手从零搭建开发环境

1. Hadoop、Spark、Hbase、Kafka、ElasticSearch软件安装

2. IDEA安装

3. Maven工程构建

4. IDEA调试Spark项目

5. Spark源码编译

6. Spark作业提交方式

第三课：安全日志上报之Spark Streaming+Kafka保证数据零丢失（一）

1. Spark Streaming 整合Kafka的几种方式对比

2. 彻底搞懂Kafka 消息检索原理

3. 使用Spark Streaming进行Kafka 的Offset管理（Checkpoints、Hbase、Zookeeper、Kafka）

4. Spark Streaming保存offset到zookeeper乱码处理

第四课：安全日志上报之Spark Streaming+Kafka保证数据零丢失（二）

1. 实时作业的at most once、at least once、exactly once语义

2. 方案选型和对比（四种方案）

3. Spark Streming + Kafka 如何获取每条消息的offset、partition以及每批次的from offset、end offset、count。

4. Spark Streming + Kafka（消费） +  Kafka（清洗后入）方案和代码实操

第五课： 安全日志上报之Spark Streaming+Kafka保证数据零丢失(三）

请到「今天看啥」查看全文