推荐系统粗排之柔:双塔 to NN,Learning to Rank
发布网友
发布时间：2024-10-24 13:25
共1个回答
热心网友
时间：2024-11-05 23:01
要不要在推荐系统中加入粗排环节，乃至在召回、粗排、精排三级结构中增加额外步骤，是一个值得深思的问题。近年来，粗排研究的两个主要方向是模型的复杂化与样本的松弛化。
复杂化模型，从双塔结构过渡到多层感知器（MLP），甚至引入更复杂的组件，与计算能力的提升密切相关。随着算力的增强，粗排阶段可以承受复杂的网络架构，预示着未来召回环节也可能基于深度神经网络（DNN）。样本松弛化则有三个动机：粗排召回的序敏感性，学习目标与后续环节的紧密联系，以及目标的松弛导致对网络要求降低，从而可能带来性能提升。
粗排的引入并非必需，许多大公司如谷歌，将推荐系统构建为召回与精排两个阶段，没有专门的粗排环节。COLD总结了从基于规则、逻辑回归模型、双塔结构到深度神经网络的四个阶段，这一趋势显示粗排的复杂性随时间增加。加入额外环节的决策需要考虑多方面因素，如是否增加延迟、是否加剧内卷、对未来影响的不确定性等。
从双塔向深度神经网络的进发过程中，最大挑战在于粗排的输入规模远大于精排。为简化结构，可以通过减少输入特征、筛选重要特征，以及调整计算精度等策略。例如，COLD通过引入Squeeze-and-Excitation模块，根据训练过程自动生成关注系数，进而筛选出关键特征。这种筛选与特征简化有助于优化网络性能，同时与精排模型结合，实现更高效的特征选择。
在特征简化和性能优化之间取得tradeoff是粗排研究的重要目标。通过向精排模型引入特征选择机制，如阿里在2021年SIGIR上提出的FSCD方法，可以在保留关键信息的同时加速计算过程。这种策略同样适用于深度神经网络的结构简化，旨在平衡效果与效率，实现推荐系统的优化。
学习排名（Learning to Rank）的目标在于为精排提供有潜力的内容，其目标是序敏感而非值敏感，相对位置的重要性大于绝对值大小。这对粗排学习提出了较低的要求，有助于性能提升。list-wise学习是一种实现这种目标的有效方式，通过设计特定的loss函数，如最大化某个项与其他项之间的差距，从而实现排序效果。
总结而言，粗排研究的路径集中于特征筛选与性能优化之间的tradeoff，以及学习排名中的目标设定。通过调整模型复杂度、简化计算过程、优化学习目标，推荐系统可以更高效地为用户推荐内容，满足不同业务场景的需求。
