不忘初心...我的目标是技术博。 今天在这里分享一个来自speech领域迁徙到推荐场景的模型，模型在抖音头条等app实验也非常成功，模型来自bytedance aml。 推荐服务的精排模型基本均为Deep Models，但是当前精排模型的个性化主要来自embedding，dense部分为所有用户/频道/样本所共享 极端情况下，两个样本的embedding相同，那他们的模型输出也是相同的，尽管样本背后对应的用户不同。而且不同频道/APP/新老用户共享相同的网络参数，这不是很合理，虽然有context feature和其他特征的各种交叉，但上层dense部分依然完全相同。 speech领域在训练模型时曾做过尝试，为每个speaker单独调整dense部分的参数可以拿到收益，具体工作是LHUC(Learning Hidden Unit Contributions, arxiv)。这一想法在推荐领域可以被借鉴，推荐领域天然自带uid特征，可以通过uid特征对整个网络进行调整，为每个用户提供单独微调网络参数的能力。不同的用户/频道/新老用户，个性化的网络参数，进一步增强Deep Models的表达能力。 应该如上图所示，左侧是原始ctr网络作为辅助任务，右侧的塔使用LHUC进行调整是最终输出，不对底层embedding进行梯度回传。调整的对象是每一层的output，调整的方法是使用额外的uid/chnid/appid等表征用户和场景的特征作为输入，过两层nn后顶端输出维度是dim(layer_output)的Amplifiers，缩放范围在[0, 2]。每一层的output都会使用一个单独的lhuc_nn进行调整，这些lhuc_nns不共享dense参数但是共享embedding输入。 字数有限就写个大概吧，需要详细资料的同学可以私我 最近也是校招实习招聘的时期，我也是校招过来，带过不少实习生，所以知道想冲互联网同学的不容易。如果有同学对职业有困惑，欢迎来聊 #互联网大厂 #算法推荐技术 #互联网实习 #校招 #python