上图是大家整个召回系统的结构框架。通信模块和存储模块集成了一些异步IO通信机制和缓存机制,提升了需要到多个索引库里面查询时并发的性能,提升了查询效率。
另外两个技术难点的解决主要靠意图分析和查询生成器,根据搜索和推荐不同的请求去适配到下游不同的索引库里面去取内容,同时在系统中的解耦算法和工程方面,提升系统可扩展性和并发工作的效率。
查询生成过程引入了逻辑层和物理层的概念,物理层即索引池,物理层对外暴露的是异构索引系统的一些具体查询的API接口,通过这些接口的调用真正完成具体的索引对内容的获取。而逻辑层更多体现在算法上,通过对查询的意图分析,转化为逻辑层一个或多个从索引中获取信息的意图,例如热点,兴趣图谱等。逻辑层到物理层的映射可以理解类似于搜索引擎里query rewrite的过程,每一逻辑层的意图被翻译成若干物理层索引API的调用。
以逻辑层的兴趣图谱为例,通过这个用户画像里面的具体兴趣,比如,某位用户对“互联网思维”感兴趣,基于兴趣图谱的获取,它会把这个兴趣点转化成频道推荐索引、搜索系统、人工运维的精选池三方面的物理获取途径进行查询,从而召回一些关联兴趣频道的内容,相关源的内容以及人工需要去展现出的内容。
总之,通过这样一种把逻辑层和物理层分开的方式,有效分离了算法逻辑设计和实际索引物理访问之间的耦合,达到了让二者工作更好并行的效果。
双模型排序框架满足搜索+推荐需求
最后和大家快速过一下我们为支持深度融合搜索和推荐,在排序框架和算法产品策略支持方面的一些工作。
在排序框架上,我们现阶段主要支持两种模型更新框架,一是周期性batch更新模型的框架,二是支持online learning的准实时模型更新框架。能够满足现有的搜索和推荐方面在排序方面的需求。
工作流服务框架支持算法产品策略灵活调整
在算法产品策略方面,因需求灵活多变、对系统开发效率要求较高,我们引入了一个基于Akka actor model的流式的服务框架,采用全配置驱动的方式动态生成工作流,从而达到对产品逻辑、算法策略方面的快速支持。
今天的分享由于时间原因很快就要结束了,在摸索如何融合搜索引擎和个性化推荐系统我已经走过三四年,这其中有许多我过去的思考以及在一点资讯团队所做的实践方面的工作。整个兴趣引擎要做的工作还非常复杂且有挑战性,也非常欢迎对兴趣引擎感兴趣的同学能够与我们有一些更多的交流。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。