查看原文
其他

当推荐遇见大模型,会碰撞出什么样的火花

陈祖龙 DataFunSummit
2024-09-11

导读 本文将对大型语言模型(Large Language Models,LLM)在推荐系统中的应用进行概要介绍。

首先,将介绍 LLM 在推荐系统中的两种应用方式。其次,将探讨 LLM 作为推荐系统的一部分,对推荐系统的影响方式,包括在预训练和微调阶段的应用,以及通过 Prompt 方式对推荐系统的影响。随后,重点关注 LLM 作为一个推荐系统的特点。最后,将展望 LLM 在推荐系统中的发展方向,包括对多模态推荐系统、解决 hallucination 和 bias solution 问题、提高系统性能等方面的展望,以及在推荐系统中使用 AGENT 的可能性,如何利用用户的上下文进行推荐。通过本文的综述,读者将全面了解 LLM 在推荐系统中的应用现状和未来发展趋势。主要内容包括以下几个部分:

1. 概要

2. LLM+RS:LLM 作为推荐系统的一部分

3. LLM AS RS:LLM 作为一个推荐系统

4. 未来展望

分享嘉宾|陈祖龙 阿里巴巴 高级算法专家 

编辑整理|苗文亚

内容校对|李瑶

出品社区|DataFun


01

概要

LLM 在推荐系统中的应用可以分为两种范式:一个是作为推荐系统的一部分,即LLM+RS,另外一个是 LLM 作为一个完整的推荐系统,即 LLM AS RS。接下来将分别介绍这两种应用方式。

02

LLM+RS:LLM 作为推荐系统的一部分

首先来介绍 LLM+推荐系统的范式。

传统推荐系统经过多年发展,从召回、排序、销售展示到最终展示的架构已经比较成熟。LLM+RS 是将 LLM 作为推荐链路的一部分,来影响召回、排序、营销等环节。LLM 影响推荐系统的方式多种多样。

首先,第一类方式是将 LLM 引入预训练和微调阶段,包括四个方面:
  • 用户/商品表征:很多工作尝试通过大模型,将商品的待推荐文本、知识等融合到一起,来生成商品的表征。另一方面,通过大模型,对用户上下文进行理解,从而得到用户的表征。
  • 召回匹配:LLM 作为新的召回方式,可以实现 i2i u2i 两种方式。
  • 排序/生成:LLM 对排序的影响方式有 Point-wisePair-wiseList-wise 等。
  • 其他:LLM 用于解决推荐系统的公平性、偏见性、隐私性、可解释性等问题。

另外一类应用方式是 Prompt,也包括四个方面:
  • 用户/商品表征:利用 LLM In-Context Learning 能力通过 Prompt 影响 LLM 的输入、输出。这方面在工业界已经有很多落地案例。比如用大模型来做上下文常用的表征,如对季节、天气的理解等。
  • 召回:使用 Prompt 作为新的交互方式影响召回逻辑。
  • 排序/生成:通过 Prompt 而非模型训练来影响排序,减少系统资源投入。
  • 其他:利用 Prompt 解决模型的公平性、偏见性、冷启动、可解释性等问题。
03

LLM AS RS:LLM 作为一个推荐系统

LLM 作为推荐系统,与 LLM+RS 最大的区别在于,它不再作为一个部分来影响推荐系统,而是以端到端的方式使用一个大模型作为整个系统,LLM 将直接面对用户和商品。应用也是包括预训练&微调,以及 Prompting 两部分。

预训练和微调阶段的应用包括:
  • Top-K 推荐:通过 PTM SFT 端到端地建模用户和商品关系。
  • 评分推荐:通过 role injectiontask description 等影响模型输出。
  • 会话式推荐:结合用户上下文和预训练模型进行推荐。
  • 可解释性/其他:解决公平性、多样性、多模态等问题。

Prompting 还有一种轻量级的推荐,无论在 Top-K 推荐,还是评分预测、会话式推荐、生成式推荐等方面都有着非常好的应用场景。
  • Top-K 推荐:通过面向 Top-K 场景的 Prompt Designer 可以方便地让模型输出。但目前很多过程式模型在 Top-K 推荐的准确性或效果方面表现不是特别好。如果想要得到比较好的效果,最好还是选一些比较可靠的模型,或自己训练一个模型。
  • 评分预测:也是通过 Prompt Designer 来进行设计。
  • 会话式推荐:Prompt Designer 的设计丰富多样,引入了用户的多轮输入等交互方式。
  • 生成式推荐/其他:包括公平性、多样性评估等。
04

未来展望

大模型在推荐系统的落地还将有很长一段路要走。目前主要面临的问题包括:
  • 如何利用用户上下文和商品信息自动设计 prompt
  • 模型对多模态推荐的理解能力;
  • 解决 hallucination 和 bias 的问题;
  • 如何提高推荐系统性能,以满足 C 端的高性能要求。
另外一个值得尝试的方向是 Agent 在推荐系统中的应用,如何利用 Agent 调用不同工具,利用用户的短期和长期上下文进行推荐。

以上就是本次分享的内容,谢谢大家。


分享嘉宾

INTRODUCTION


陈祖龙

阿里巴巴

高级算法专家

13 年毕业东北大学,先后在百度知识搜索部,淘宝搜索与推荐,飞猪技术算法,一直在做搜索、推荐等相关工作,曾在 WWW,KDD,SIGIR,CIKM,ICDE 等多个国际期刊和会议上发表二十多篇论文。


往期推荐


复杂图上的知识迁移学习

开源delta lake 3.0 优势和发展

多模态大模型在文本和视频分析中的应用

流式数据湖 Paimon 0.7 的研发进展

多模内容理解在百度商业广告中的探索实践

直播预告| 智能运维,如何让中小企业数据库管理更高效?

哔哩哔哩基于 Iceberg 的智能数据组织优化实践

图技术在金融反欺诈中的应用

CloudCamel:OPPO 云上大数据极致优化之路

ClickHouse企业版商业化精要解读

点个在看你最好看

SPRING HAS ARRIVED

继续滑动看下一个
DataFunSummit
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存