本發明涉及車輛控制,尤其涉及一種場景識別方法、車輛控制方法、電子設備及存儲介質。
背景技術:
1、近年來,自動駕駛已從實驗室理論驗證,向工程量產及商業落地階段邁進,其功能層級也正從低階輔助駕駛向l3(level?3,有條件自動駕駛)、l4(level?4,高度自動駕駛)級高階自動駕駛升級。在自動駕駛系統中,預測、決策及規劃(prediction?decision?andplanning,pdp)模型始終是核心功能之一,直接決定了車輛的行駛安全性、舒適性與效率。
2、相關技術中的pdp模型僅依賴感知數據自主判斷場景屬性,難以高效區分同一感知數據在不同場景下的語義差異,易出現決策邏輯混淆,導致訓練后模型對復雜場景的理解能力不足。
技術實現思路
1、本技術提供一種改進的場景識別方法、車輛控制方法、電子設備及存儲介質。
2、本技術提供一種場景識別方法,包括:
3、獲取實車傳感器采集的當前場景下的當前感知數據;
4、將所述當前感知數據輸入場景識別模型,以輸出場景類型概率分布;所述場景識別模型是基于訓練數據及標注的各基礎場景與其對應的動態交互信息對應場景類型的二維標簽訓練得到的;
5、基于所述場景類型概率分布,確定出包含基礎場景與其對應的動態交互信息的當前場景類型。
6、進一步的,所述基于所述場景類型概率分布,確定出包含基礎場景與其對應的動態交互信息的當前場景類型,包括:
7、將所述場景類型概率分布中,概率最大對應的場景類型,作為當前場景類型。
8、進一步的,所述將所述場景類型概率分布中,概率最大對應的場景類型,作為當前場景類型,包括:在所述場景類型概率分布中存在多個概率最大對應的場景類型的情況下,將任一概率最大對應的場景類型,作為當前場景類型;
9、或者,
10、所述將所述場景類型概率分布中,概率最大對應的場景類型,作為當前場景類型,包括:在所述場景類型概率分布中存在多個概率最大對應的場景類型的情況下,將多個概率最大對應的場景類型中的安全權重最大對應的一個場景類型,作為當前場景類型。
11、進一步的,所述基于所述場景類型概率分布,確定出包含基礎場景與其對應的動態交互信息的當前場景類型,包括:將大于置信度閾值的場景類型概率對應的場景類型,作為所述當前場景類型;
12、或者,
13、基于所述場景類型概率分布,確定出包含基礎場景與其對應的動態交互信息的當前場景類型,包括:
14、在確定出所述場景類型為一個場景類型且小于置信度閾值的情況下,將小于置信度閾值的場景類型,作為所述當前場景類型。
15、進一步的,所述方法還包括:采用如下方式,訓練得到所述場景識別模型:
16、獲取第一訓練數據;所述第一訓練數據包括:實車至少一個傳感器采集到的感知數據,并用于標注各基礎場景與其對應的動態交互信息對應場景類型的二維標簽;
17、將所述感知數據及所述場景類型的二維標簽,輸入待訓練的場景識別模型,以使所述待訓練的場景識別模型學習所述第一訓練數據的場景類型標志,得到訓練好的場景識別模型,作為所述場景識別模型。
18、進一步的,所述場景識別模型包括特征提取骨干網絡和場景分類頭;
19、通過所述特征提取骨干網,從所述感知數據中提取環境特征;
20、通過所述場景分類頭,基于所述環境特征,輸出所述場景類型概率分布。
21、進一步的,所述通過所述特征提取骨干網,從所述感知數據中提取環境特征,包括:
22、通過所述特征提取骨干網,從所述采集到的感知數據中,提取當前場景的靜態元素張量與動態元素張量;
23、所述通過所述場景分類頭,基于所述環境特征,輸出場景類型概率分布,包括:
24、分別對所述靜態元素張量與所述動態元素張量進行編碼,得到靜態特征和動態特征;
25、對所述靜態特征與所述動態特征進行融合,得到融合特征;
26、將所述融合特征,映射為場景類型的概率分布。
27、進一步的,所述分別對所述靜態元素張量與所述動態元素張量進行編碼,得到靜態特征和動態特征,包括:
28、基于注意力機制,確定所述靜態特征與所述動態特征的關聯權重;
29、基于所述關聯權重,對所述靜態特征與所述動態特征進行注意力加權,得出加權后的靜態特征以及加權后的動態特征;
30、對所述加權后的靜態特征以及所述加權后的動態特征進行融合,得到所述融合特征。
31、進一步的,所述獲取實車傳感器采集的當前場景下的當前感知數據,包括:
32、獲取實車多個傳感器采集的當前場景下的當前感知數據;所述當前感知數據包括當前場景以及當前場景下的當前動態交互信息;
33、所述將所述當前感知數據輸入場景識別模型,以輸出場景類型概率分布,包括:
34、將所述多個傳感器的所述當前場景以及所述當前動態交互信息,同步輸入場景識別模型,以輸出場景類型概率分布。
35、進一步的,所述方法還包括:采用如下方式,構建場景類型的二維標簽:
36、獲取各場景類型的感知數據;
37、基于各基礎場景與其對應的動態交互信息的關聯關系,對所述各場景類型的感知數據分別進行基礎場景的維度及動態的維度的二維標注,得到標注后的數據;
38、對所述標注后的數據進行數字化標簽,得到基礎場景內的動態交互信息對應場景類型的二維標簽。
39、本技術提供一種車輛控制方法,包括:
40、將如上所述的場景識別方法確定出的當前場景類型與感知數據進行融合,形成包含環境信息與場景上下文的融合特征;
41、將所述融合特征輸入帶場景信息的引導模型,以使所述引導模型根據所述當前場景類型的決策偏好,輸出與所述當前場景類型適配的規劃控制指令。
42、進一步的,所述方法還包括:采用如下方式,訓練得到所述引導模型:
43、基于第二訓練數據中的場景類型的二維標簽,與所述第二訓練數據中實車至少一個傳感器采集到的感知數據的編碼特征,得到包含環境信息與場景上下文的融合特征;所述場景類型的二維標簽用于標注各基礎場景與其對應的動態交互信息對應場景類型;
44、將所述融合特征輸入待訓練的引導模型,以使所述引導模型輸出預測結果;
45、確定所述預測結果的各場景類型對應的各損失項權重;
46、按照各損失項及各場景類型對應的各損失項權重,分別確定所述預測結果與預期結果之間各損失項的損失值,得到總損失值;所述總損失值用于訓練所述待訓練的引導模型;
47、當所述總損失值收斂至穩定時,停止迭代,得到訓練好的引導模型,作為所述引導模型。
48、進一步的,在所述訓練得到所述引導模型的過程中,所述方法還包括:
49、將所述感知數據時標注的場景類型真值作為第一真值和第二真值;
50、所述將所述融合特征輸入待訓練的引導模型,以使所述引導模型輸出預測結果,包括:
51、將所述第一真值輸入引導模型,學習基于感知數據的決策偏好,輸出預測結果;
52、所述確定所述預測結果的各場景類型對應的各損失項權重,包括:
53、將所述第二真值,按照場景類型和損失項權重對應的關聯規則,進行匹配當前場景類型標志對應的損失項權重。
54、進一步的,所述將所述第二真值,按照場景類型和損失項權重對應的關聯規則,進行匹配當前場景類型標志對應的損失項權重,包括:
55、以當前樣本的場景數字標簽為索引,從場景類型和損失項權重對應的關聯規則中,匹配對應場景的匹配當前場景類型標志對應的損失項權重;所述關聯規則庫用于表征各基礎場景與其對應的動態交互信息組成的細分場景對應的損失項權重分配標準。
56、進一步的,所述各場景類型對應的各損失項權重是從場景類型和損失項權重對應的關聯規則中獲得的;
57、所述方法還包括:
58、獲取各場景類型的感知數據;
59、基于各基礎場景與其對應的動態交互信息的關聯關系,對所述各場景類型的感知數據分別進行基礎場景的維度及動態的維度的二維標注,得到標注后的數據;
60、對所述標注后的數據進行數字化標簽,得到基礎場景內的動態交互信息對應場景類型的二維標簽;
61、基于各基礎場景、對應的動態交互信息及所述場景類型的二維標簽,構建所述關聯規則庫。
62、本技術提供一種電子設備,包括一個或多個處理器,用于實現如上所述的場景識別方法或者如上所述的車輛控制方法。
63、本技術提供一種計算機可讀存儲介質,其上存儲有程序,該程序被處理器執行時,實現如上所述的場景識別方法或者如上所述的車輛控制方法。
64、本技術提供一種計算機程序產品,包括計算機程序/指令,該計算機程序/指令被處理器執行時實現如上任一項所述的方法。
65、在一些實施例中,本技術的場景識別方法,通過訓練數據及標注的各基礎場景與其對應的動態交互信息對應場景類型的二維標簽訓練得到的場景識別模型,可以識別基礎場景及其動態交互信息。如此,快速區分出當前場景的交互動作,從而提高復雜場景的理解能力,使得后續決策更為準確。
66、在另一些實施例中,本技術的場景識別方法,通過場景識別模型識別好當前場景類型后,經特征融合,通過引導模型推理得到的與當前場景適配的規劃控制指令。如此,場景識別模型和引導模型的串聯流程,實現感知信息與場景信息的在線協同,使引導模型能實時適配不同細分場景的決策需求。