百變應(yīng)用場景下，優(yōu)酷基于圖執(zhí)行引擎的算法服務(wù)框架筑造之路

在阿里的業(yè)務(wù)中，有廣泛的算法應(yīng)用場景，也沉淀了相關(guān)的算法應(yīng)用平臺和工具：基礎(chǔ)的算法引擎部分，有成熟的召回和打分預(yù)估引擎、在線實時特征服務(wù)；推薦算法應(yīng)用領(lǐng)域，有算法實驗平臺TPP（源于淘寶個性化平臺），提供Serverless形式的算法實驗平臺，包括資源彈性伸縮，實驗?zāi)芰?代碼在線發(fā)布、AB分流、動態(tài)配置)，監(jiān)控管理（完善的監(jiān)控報警、流控、降級)等能力，是算法在線應(yīng)用的基石。

但在實際的算法應(yīng)用業(yè)務(wù)中，比如優(yōu)酷推薦業(yè)務(wù)，算法應(yīng)用場景眾多（100+活躍場景），需求靈活多變，如果沒有一套通用業(yè)務(wù)框架，用于抽象出通用和定制化的部分來提高算法組件的復(fù)用度；會嚴重拖慢算法實驗的節(jié)奏。基于圖引擎的算法服務(wù)框架就是為了封裝一套框架，抽象算法在線服務(wù)的通用算子，支持運行時的算法流程的裝配，提升算法服務(wù)場景搭建的效率。

設(shè)計概覽

算法推薦典型在線處理執(zhí)行流程：多路粗排召回，合并，預(yù)估，打散策略。推薦服務(wù)根據(jù)用戶的設(shè)備ID等其他必要信息進行多路并行召回，在召回引擎中進行粗排后，經(jīng)過必要的過濾處理，截取一定數(shù)量的內(nèi)容調(diào)用Rank引擎進行精排預(yù)估，預(yù)估結(jié)果經(jīng)過一系列算法策略處理后輸出最終結(jié)果。

整個過程中召回，合并，預(yù)估，打散等業(yè)務(wù)處理有并行處理，有串行處理，根據(jù)業(yè)務(wù)需要能夠靈活配置。基于圖的推薦業(yè)務(wù)執(zhí)行引擎是運行在算法實驗平臺上的執(zhí)行引擎，它的典型處理流程是：在AB實驗分桶上，通過圖形化交互頁面配置數(shù)據(jù)源、業(yè)務(wù)算子的執(zhí)行依賴關(guān)系，并配置每個算子的運行時動態(tài)參數(shù)。

系統(tǒng)總體結(jié)構(gòu)如下圖所示：分成五個主要的模塊（圖執(zhí)行算子元件、圖形化配置DAG、圖配置動態(tài)解析、DAG圖執(zhí)行引擎、Debug調(diào)試）。