在智能交通與智慧城市快速發(fā)展的今天，計(jì)算資源的實(shí)時(shí)調(diào)度與高效利用已成為推動(dòng)自動(dòng)駕駛與車聯(lián)網(wǎng)應(yīng)用落地的核心挑戰(zhàn)之一。近日，微云全息推出一項(xiàng)具有顛覆性意義的創(chuàng)新成果——深度強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的協(xié)作車輛邊緣計(jì)算(Collaborative Vehicular Edge Computing, CVEC)混合任務(wù)調(diào)度技術(shù)。該技術(shù)依托最先進(jìn)的強(qiáng)化學(xué)習(xí)優(yōu)化框架——Rainbow算法，在可行約束條件下實(shí)現(xiàn)動(dòng)態(tài)車輛環(huán)境中的最優(yōu)混合任務(wù)調(diào)度，以顯著降低計(jì)算卸載的綜合服務(wù)成本，并提升任務(wù)處理的實(shí)時(shí)性與穩(wěn)定性。其不僅在學(xué)術(shù)和工程上均具有前沿價(jià)值，更有望在智能網(wǎng)聯(lián)汽車、自動(dòng)駕駛協(xié)同感知、智慧交通管理、車載多媒體計(jì)算等領(lǐng)域廣泛應(yīng)用，為未來的車路協(xié)同系統(tǒng)注入更高效的智能調(diào)度能力。

隨著自動(dòng)駕駛、車聯(lián)網(wǎng)(V2X)以及智慧交通的快速普及，車輛逐漸具備了傳感、計(jì)算與通信的綜合能力。然而，自動(dòng)駕駛算法、高清視頻處理、實(shí)時(shí)地圖構(gòu)建、車載AI推理等任務(wù)對(duì)算力的需求持續(xù)攀升，單靠車輛自身的計(jì)算單元，往往難以滿足毫秒級(jí)響應(yīng)的應(yīng)用要求。為此，業(yè)界引入了協(xié)作車輛邊緣計(jì)算(CVEC)的理念，通過路側(cè)單元(RSU)的邊緣服務(wù)器以及周邊志愿者車輛，構(gòu)建一個(gè)動(dòng)態(tài)、可擴(kuò)展的計(jì)算資源池，實(shí)現(xiàn)任務(wù)的分布式處理與高效卸載。

然而，CVEC環(huán)境下的任務(wù)調(diào)度存在多重挑戰(zhàn)。首先，參與計(jì)算的處理節(jié)點(diǎn)(無論是RSU還是志愿者車輛)計(jì)算能力差異巨大，形成了異構(gòu)算力環(huán)境;其次，車對(duì)車(V2V)與車對(duì)基礎(chǔ)設(shè)施(V2I)通信鏈路的時(shí)延與穩(wěn)定性受車輛移動(dòng)性影響顯著，導(dǎo)致卸載路徑與任務(wù)分配的動(dòng)態(tài)變化;再次，任務(wù)的優(yōu)先級(jí)、延遲敏感性、能耗要求等多種因素共同作用，使得傳統(tǒng)靜態(tài)調(diào)度算法難以兼顧全局最優(yōu)與實(shí)時(shí)響應(yīng)。

因此，深度強(qiáng)化學(xué)習(xí)(DRL)因其能夠在未知環(huán)境中通過交互式學(xué)習(xí)不斷優(yōu)化決策策略，成為解決動(dòng)態(tài)混合任務(wù)調(diào)度問題的理想方案。微云全息(NASDAQ:HOLO)在大量實(shí)驗(yàn)與仿真基礎(chǔ)上，提出了結(jié)合Rainbow算法的深度強(qiáng)化學(xué)習(xí)框架，以突破傳統(tǒng)方法在收斂速度、策略穩(wěn)定性以及多目標(biāo)優(yōu)化方面的瓶頸。

微云全息該混合任務(wù)調(diào)度技術(shù)的核心目標(biāo)，是在考慮車輛移動(dòng)性、任務(wù)優(yōu)先級(jí)、延遲要求與能耗約束的前提下，最小化全局的綜合服務(wù)成本。綜合服務(wù)成本被定義為任務(wù)優(yōu)先級(jí)值與處理延遲和能耗加權(quán)和的乘積，這一公式能夠有效反映任務(wù)在實(shí)際應(yīng)用中的重要性與資源消耗情況。

在調(diào)度過程中，車輛可能選擇兩種主要卸載方式：

V2I卸載：請(qǐng)求者車輛將任務(wù)卸載至路側(cè)單元的邊緣服務(wù)器，適合高計(jì)算能力、低延遲需求的任務(wù)處理;

V2V卸載：請(qǐng)求者車輛將任務(wù)卸載至附近的志愿者車輛，適合短時(shí)空鄰近、計(jì)算量中等的任務(wù)執(zhí)行。

為確保任務(wù)在嚴(yán)格的時(shí)延約束內(nèi)完成，系統(tǒng)會(huì)根據(jù)車輛移動(dòng)速度、相對(duì)位置、通信鏈路質(zhì)量等動(dòng)態(tài)因素，實(shí)時(shí)計(jì)算V2V和V2I的可用延遲閾值，從而約束調(diào)度決策的可行性。

Rainbow算法作為本系統(tǒng)的強(qiáng)化學(xué)習(xí)引擎，融合了多種DRL性能增強(qiáng)技術(shù)，包括雙重Q學(xué)習(xí)(Double Q-learning)、優(yōu)先經(jīng)驗(yàn)回放(Prioritized Experience Replay)、分布式值函數(shù)(Distributional RL)、多步學(xué)習(xí)(n-step learning)、噪聲網(wǎng)絡(luò)(Noisy Nets)以及Dueling架構(gòu)等。通過這一融合式改進(jìn)，Rainbow能夠在復(fù)雜的CVEC環(huán)境中實(shí)現(xiàn)更快的收斂、更穩(wěn)定的策略生成，并顯著提升對(duì)動(dòng)態(tài)變化的適應(yīng)能力。

微云全息該系統(tǒng)首先將CVEC環(huán)境抽象為一個(gè)馬爾可夫決策過程(MDP)，其中狀態(tài)空間包括車輛位置、速度、剩余計(jì)算任務(wù)量、鄰近可用處理節(jié)點(diǎn)的計(jì)算與通信特性等信息;動(dòng)作空間對(duì)應(yīng)不同的任務(wù)卸載決策，包括選擇目標(biāo)處理節(jié)點(diǎn)、分配計(jì)算比例、選擇通信鏈路類型等;獎(jiǎng)勵(lì)函數(shù)則基于服務(wù)成本公式構(gòu)建，通過懲罰高延遲、高能耗或違背時(shí)延約束的行為，鼓勵(lì)系統(tǒng)選擇低成本、高效率的調(diào)度策略。

系統(tǒng)周期性收集環(huán)境狀態(tài)并輸入到Rainbow模型中，模型輸出當(dāng)前最優(yōu)的卸載策略。隨后，任務(wù)被分配到最合適的計(jì)算節(jié)點(diǎn)，并通過V2V或V2I鏈路進(jìn)行數(shù)據(jù)傳輸。在任務(wù)完成后，系統(tǒng)會(huì)將延遲與能耗等反饋信息更新到經(jīng)驗(yàn)回放池中，并利用這些歷史經(jīng)驗(yàn)對(duì)Rainbow模型進(jìn)行迭代優(yōu)化，實(shí)現(xiàn)自適應(yīng)的策略改進(jìn)。

與傳統(tǒng)的深度Q網(wǎng)絡(luò)(DQN)不同，Rainbow在多個(gè)方面優(yōu)化了學(xué)習(xí)過程。例如，分布式值函數(shù)能夠捕捉回報(bào)的不確定性分布，而不僅僅是期望值，從而讓調(diào)度策略在波動(dòng)性較大的環(huán)境中更加穩(wěn)健;優(yōu)先經(jīng)驗(yàn)回放機(jī)制則確保模型優(yōu)先學(xué)習(xí)那些對(duì)策略改進(jìn)最有價(jià)值的經(jīng)驗(yàn)樣本，加速了收斂速度;而噪聲網(wǎng)絡(luò)的引入，則使模型能夠在訓(xùn)練后期保持一定的探索性，避免陷入局部最優(yōu)解。

隨著智能交通與車聯(lián)網(wǎng)產(chǎn)業(yè)的持續(xù)發(fā)展，車輛不僅是交通工具，更將成為分布式計(jì)算網(wǎng)絡(luò)中的重要節(jié)點(diǎn)。微云全息(NASDAQ:HOLO)深度強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的混合任務(wù)調(diào)度技術(shù)，將在自動(dòng)駕駛協(xié)同感知、智慧交通信號(hào)優(yōu)化、車載娛樂與多媒體處理以及應(yīng)急事件處理等多個(gè)領(lǐng)域釋放價(jià)值。

總體來看，微云全息該技術(shù)在協(xié)作車輛邊緣計(jì)算中的混合任務(wù)調(diào)度問題上展示了顯著的性能優(yōu)勢(shì)，為動(dòng)態(tài)環(huán)境下的資源優(yōu)化提供了可行方案。未來，通過進(jìn)一步的算法優(yōu)化與模型訓(xùn)練，有望在復(fù)雜多變的實(shí)際交通場(chǎng)景中實(shí)現(xiàn)更高效、穩(wěn)定的調(diào)度效果，并為智能交通系統(tǒng)的持續(xù)發(fā)展提供技術(shù)支撐。


 【免責(zé)聲明：該文章系我網(wǎng)轉(zhuǎn)載，旨在為讀者提供更多信息資訊。所涉內(nèi)容不構(gòu)成投資、消費(fèi)建議，僅供讀者參考�！�

(新媒體責(zé)編：wa123)