主要观点总结
本文详细阐述了视频搜索排序框架的重大变革，特别是在大模型技术驱动下，如何从传统的多阶段级联框架逐步演变为更高效、灵活的端到端排序框架。文章讨论了传统视频搜索排序架构的挑战，如架构功能解耦、系统效能提升和端到端架构的演进等问题，并给出了相应的解决方案。
关键观点总结
关键观点1: 背景介绍
文章首先介绍了随着信息技术的迅猛发展，搜索引擎作为获取信息的主要途径，其背后的技术架构也在不断演进。特别是在大模型技术需求的驱动下，视频搜索排序框架正在发生重大变革。
关键观点2: 目标和挑战
文章明确了对视频搜索排序架构的目标和挑战，即以大模型技术为主线，打造高性能、扩展灵活的视频搜索排序框架，同时完成存量排序系统的熵减治理，以大幅度提升排序系统的系统能力，降低系统长期运营治理成本。
关键观点3: 核心问题和解决方案
文章指出了视频搜索排序架构面临的核心问题，包括架构功能解耦、系统效能提升和端到端架构的演进等，并给出了相应的解决方案，如深度重构核心排序模块、采用支持串行、并行和数据并行的灵活框架、构建全局视角的弹性算力分配控制中心等。
关键观点4: 系统分层优化和Rankflow框架引入
文章介绍了对视频搜索核心排序功能进行重新分层设计的思想，以及引入Rankflow框架的方式，以提升系统性能和灵活性。
关键观点5: 未来展望
文章最后总结了当前视频搜索排序框架的演进情况，并展望了未来的研究方向，如视频搜索如何更好提供RAG搜索增强功能，如何实现视频与通搜端到端融合等。
正文
以大模型技术为主线，打造高性能，扩展灵活的视频搜索排序框架，同时完成存量排序系统的熵减治理，从而来大幅度提升排序系统的系统能力，降级系统长期运营治理成本。
-
架构功能如何解耦：
视频搜索排序架构经历了多年的积累和发展，已经形成了策略、架构和产品逻辑高度耦合的局面。这种耦合导致排序模块承担了过多且复杂的功能，直接影响了研发效率，并频繁引发稳定性问题。此外，模块功能定位模糊，严重制约了新产品和业务的快速落地与迭代。面对这些挑战，我们亟需打破现有的陈旧框架，从更底层进行架构优化，以实现理想的业务和架构收益。
-
系统效能如何提升:
目前核心排序模块缺少灵活
高效的并行计算框架，制约系统资源使用率的提升。
与此同时，系统流量低峰时段会存在大量空闲资源，没有
得到
充分使用，如何充分，高效挖掘这部分空闲资源资源，来满足业务对资源大量需求。
-
端到端架构如何演进
：在端到端大模型技术的引导下，排序策略的复杂性将逐步被模型内部化，现有策略实现可以得到极大的简化。传统多阶段级联排序架构如何演进升级，
以适应这种新的排序模式，也是一个需要深入研究和探索的重要课题。
对上述问题和挑战，我们采取了一系列综合措施来加以解决。首先，为了解决架构耦合与复杂性问题，我们对核心排序模块进行了深度重构，将原本集成在其中的召回处理与摘要计算功能独立出来，从而实现系统分层的合理化。其次，采用支持串行、并行和数据并行的灵活框架，提升视频排序流程的可视化管理和并行计算能力，并基于弹性算力分配控制中心，高效利用系统空闲资源，最大化搜索视频业务收益。最后，在大模型端到端排序模式下，推动多阶段级联框架向单阶段端到端框架转变升级。下面详细介绍以上解决方案的设计思想：
-
-
视频核心排序模块是在线检索核心模块之一，之前承接排序和部分召回功能。累积了大量的视频独有的策略和业务逻辑，支持了视频搜索业务的不断发展。随着越来越多的策略、架构功能迭代，核心排序模块也越来越臃肿，接手、开发、维护等成本不断攀升。同时也面临例如不支持云原生、整体框架设计老旧、功能耦合严重等问题。
