Spark Streaming场景应用- Spark Streaming计算模型及监控

正文

请到「今天看啥」查看全文

2.2 无状态模型

无状态模型只关注当前新生成的DStream数据，所以的计算逻辑均基于该批次的数据进行处理。无状态模型能够很好地适应一些应用场景，比如网站点击实时排行榜、指定batch时间段的用户访问以及点击情况等。该模型由于没有状态，并不需要考虑有状态的情况，只需要根据业务场景保证数据不丢就行。此种情况一般采用Direct方式读取Kafka数据，并采用监听器方式持久化Offsets即可。具体流程如下：

其上模型框架包含以下几个处理步骤：

读取Kafka实时数据;

Spark Streaming Transformations以及actions操作;

将数据结果持久化到存储中，跳转到步骤一。

受网络、集群等一些因素的影响，实时程序出现长时失败，导致数据出现堆积。此种情况下是丢掉堆积的数据从Kafka largest处消费还是从之前的Kafka offsets处消费，这个取决具体的业务场景。

2.3 状态模型

有状态模型是指DStreams在指定的时间范围内有依赖关系，具体的时间范围由业务场景来指定，可以是2个及以上的多个batch time RDD组成。Spark Streaming提供了updateStateByKey方法来满足此类的业务场景。因涉及状态的问题，所以在实际的计算过程中需要保存计算的状态，Spark Streaming中通过checkpoint来保存计算的元数据以及计算的进度。该状态模型的应用场景有网站具体模块的累计访问统计、最近N batch time 的网站访问情况以及app新增累计统计等等。具体流程如下：

上述流程中，每batch time计算时，需要依赖最近2个batch time内的数据，经过转换及相关统计，最终持久化到MySQL中去。不过为了确保每个计算仅计算2个batch time内的数据，需要维护数据的状态，清除过期的数据。我们先来看下updateStateByKey的实现，其代码如下：

暴露了全局状态数据中的key类型的方法。

def updateStateByKey[S: ClassTag](

updateFunc: (Iterator[(K, Seq[V], Option[S])]) => Iterator[(K, S)],

partitioner: Partitioner,

rememberPartitioner: Boolean

请到「今天看啥」查看全文