微博广告分层实验平台(Faraday)架构实践

正文

请到「今天看啥」查看全文

不同实验层之间流量正交，可以避免不同试验间的流量依赖和流量不均匀情况的出现。为了更好地评估实验的效果，每一实验层还引入了基准实验。该基准实验会采用该实验层的默认策略取值，流量配比会设定在一个合适的水平。

流量划分类型

流量的均匀划分是实验具有可对比性的前提。根据策略实验的需求和应用场景，系统提供以下不同均匀强度的流量划分类型：

• 流量完全随机 这是最简单的分流方式；

• 用户标识 id 哈希 该流量划分会使同一个用户会一直命中同一实验，从而保证了用户体验的一致性；而且也满足对同一用户具有累积效应的策略的实验需求；

• （用户标识 id+ 日期）哈希 这是一种更为严格的保证流量均匀性的分流方式，可以保证流量划分在跨时间维度上更为均匀，但是会牺牲用户请求跨时间区间的一致性；

• 8 用户 id 尾号划分 这是一种很常用、很简单的分流方式，还保证了用户体验的一致性，但是可能会由于尾号分布的不均匀性而造成流量分布的不够均匀，影响实验的可对比性。一种折衷方案是，根据用户标识 id 中间若干位来进行流量的划分。

对于涉及用户体验层面的实验，比如广告渲染的样式类型等，还会存在这样的需求，进行实验时，需要指定若干个用户命中指定的实验。这时，实验平台辅以白名单的方式，为流量划分类型提供补充。

具体进行流量划分时，为了实现实验层之间流量划分的正交性，会将流量标识信息和实验层标识一起进行实验流量 bucket 划分， 实验层标识 layer_id 称为离散因子。如基于用户标识的流量划分：

理论上，通过以上几种流量划分类型，可以实现对应均匀强度的流量划分；但是，总会出现一些情况，发现最终划分的流量可能是不均匀的，从而影响到实验的可对比性。

对此，实验平台提供了一种流量划分的均匀性验证工具。基本思路为： 在广告系统中，用户是通过多维的画像向量（a,b,c,…,n）来进行刻画的，如果流量划分是均匀的，意味着用户的每一个画像向量分量在该流量划分条件下是均匀，更进一步，多个画像向量分量的组合在该流量划分条件下也是均匀的。通过进行用户画像向量单个分量和若干个画像向量分量的组合的均匀性验证，即可来反映该流量的划分的均匀性。

实验平台架构

请到「今天看啥」查看全文