本發明涉及智能顯示器領域，更具體地說，本發明涉及一種基于邊緣計算的智能顯示器實時語音通信方法。
背景技術：
1、隨著物聯網與人工智能技術的深度融合，以智能顯示器為交互核心的智慧家庭與智能辦公環境正逐步普及，在此類場景中，多臺具備環境光感應、人體感應與語音識別能力的ai智能顯示器被分布式部署，共同構成一個協同感知與交互的網絡，用戶期望通過自然語音與就近的顯示器進行即時交互，例如，在客廳中控制燈光與窗簾，在廚房查詢菜譜，在書房發起視頻會議，或在開放辦公區下達指令查詢日程與文件，這些交互請求通常具有隨機性與并發性，特別是在家庭聚會或團隊協作時，多名用戶可能同時或近乎同時向各自面前的設備發起語音調用，為了保障交互的實時性與隱私性，大量的語音處理任務，包括音頻采集、實時降噪、喚醒詞檢測、以及初步的語音識別，被部署在位于本地的邊緣計算節點上執行，該節點可能是一個功能增強的家庭網關或一臺本地輕量級服務器，這一架構旨在減少對云端服務的依賴，降低網絡傳輸延遲，并保護用戶語音數據隱私。
2、然而，這種依賴邊緣計算節點進行實時語音處理的架構面臨一個嚴峻的技術挑戰：邊緣節點的有限計算資源與動態、高并發的語音處理負載之間的不平衡所導致的處理延遲與響應抖動問題，邊緣計算節點由于成本與功耗的限制，其計算能力包括通用cpu、內存及專用ai加速單元的核心資源遠不及云端數據中心，現有技術方案通常為不同的語音處理單元預留固定的計算資源，或采用簡單輪詢的靜態調度策略，這種僵化的資源分配方式無法有效感知和預測實時變化的負載壓力，當多名用戶同時發起交互，邊緣節點需要并行處理多個語音流時，靜態分配的資源池極易被快速耗盡，后續任務被迫進入排隊等待狀態，直接造成語音指令響應延遲，更為復雜的是，不同的語音任務對計算資源的需求存在顯著差異，例如，簡單的固定指令識別與開放域連續語音理解所需的計算量截然不同，統一的靜態資源分配無法實現細粒度優化，導致資源利用率低下或在關鍵任務上性能不足，盡管存在在檢測到高負載時將任務卸載至云端的方案，但該方式會引入額外的網絡傳輸延遲，并可能因網絡瞬時擁堵而惡化體驗，違背了利用邊緣計算實現低延遲本地化處理的初衷，因此，現有技術缺乏一種能夠深度融合感知、預測與調度能力的機制，以在邊緣節點內部及邊緣節點之間實現計算資源的智能、彈性分配，從而在突發并發場景下依然保障語音交互任務，尤其是高優先級任務的實時性與系統整體穩定性。
技術實現思路
1、本發明針對現有技術中存在的技術問題，提供一種基于邊緣計算的智能顯示器實時語音通信方法，以解決上述背景技術中提出的問題。
2、本發明解決上述技術問題的技術方案如下：具體包括如下步驟：
3、步驟s1、由邊緣計算節點周期性地采集并融合邊緣計算節點的本地系統資源指標、本地待處理語音任務隊列狀態、本地語音任務計算特征，以及通過邊緣網絡的心跳協議從邊緣網絡中獲取至少一個鄰居邊緣計算節點的負載狀態快照，生成一個標準化的多維特征向量；其中，本地系統資源指標包括中央處理器利用率、內存利用率及專用ai加速單元的使用率；
4、步驟s2、將步驟s1生成的多維特征向量輸入一個時空注意力預測模型，由時空注意力預測模型同步分析多維特征向量，輸出對未來設定時間窗口內系統資源需求的預測序列及任務類型分布概率；
5、步驟s3、基于步驟s2輸出的預測序列與任務類型分布概率，結合步驟s1采集的本地系統資源指標及由邊緣計算節點預存儲的服務質量策略，通過一個強化學習優化的動態調度器生成前瞻性調度決策，并同步生成與前瞻性調度決策相對應的預期資源消耗與預期處理時長；前瞻性調度決策包括：將高實時性語音任務分配給邊緣計算節點的空閑專用ai加速單元，將可分解的非實時性子任務分配給步驟s1中獲得的鄰居邊緣計算節點負載狀態快照中負載最輕的鄰居邊緣計算節點，以及僅將需深度語義理解的語音任務的特征數據上傳至云端；
6、步驟s4、依據步驟s3生成的前瞻性調度決策，通過容器管理引擎對邊緣計算節點內的語音處理實例進行彈性伸縮，并采集任務完成后的實際資源消耗與處理時長數據，將實際資源消耗與處理時長數據與步驟s2輸出的預測序列、及步驟s3生成的預期資源消耗與預期處理時長進行比對，產生的差異數據用于在線微調步驟s2中的時空注意力預測模型與步驟s3中的強化學習優化的動態調度器；
7、在一個優選地實施方式中，所述步驟s1中，由邊緣計算節點周期性地采集邊緣計算節點的本地系統資源指標、本地待處理語音任務隊列狀態、本地語音任務計算特征，以及通過邊緣網絡的心跳協議從邊緣網絡中獲取至少一個鄰居邊緣計算節點的負載狀態快照過程具體為：
8、由邊緣計算節點在每一個固定的監控周期到達時，或在本地系統資源利用率超過一個動態調整的閾值時，或被一個新的語音任務到達事件觸發時，執行數據采集操作；
9、本地系統資源指標包括：通過調用操作系統內核提供的性能接口及查詢硬件性能計數器獲得的第一利用率數值、第二利用率數值與第三利用率數值，第一利用率數值、第二利用率數值與第三利用率數值按序組成一個本地資源狀態三元組；
10、本地待處理語音任務隊列狀態包括：從任務調度器中獲取當前排隊等待處理的語音任務總數；基于隊列中各任務的時間戳計算得到的任務平均等待時間；以及統計得到的高優先級語音任務數量占隊列中任務總數的第一比例、中優先級語音任務數量占隊列中任務總數的第二比例、低優先級語音任務數量占隊列中任務總數的第三比例；語音任務總數、任務平均等待時間以及由第一比例、第二比例、第三比例構成的任務優先級比例三元組，共同構成表征任務隊列壓力的狀態數據；
11、本地語音任務計算特征包括：通過輕量級預分析單元對剛抵達的語音任務對應的輸入音頻流進行實時分析，估算出該段音頻的預估音頻持續時長；評估出該段音頻的估算信噪比標量值；以及判斷出的該語音任務所屬的任務類型標識，預估音頻持續時長、估算信噪比標量值以及任務類型標識按序組成一個任務特征三元組；
12、鄰居邊緣計算節點的負載狀態快照包括：通過與相鄰邊緣計算節點建立的udp組播心跳協議，接收多個鄰居邊緣計算節點周期性廣播的狀態報文；每一份狀態報文至少包含一個鄰居邊緣計算節點的中央處理器利用率、內存利用率及專用ai加速單元的使用率；從所有鄰居邊緣計算節點收到的多組由中央處理器利用率、內存利用率及專用ai加速單元的使用率構成的三元組，按鄰居邊緣計算節點分組并按中央處理器利用率、內存利用率、專用ai加速單元的使用率的固定順序排列，構成鄰居邊緣計算節點負載狀態集合。
13、在一個優選地實施方式中，所述生成一個標準化的多維特征向量過程具體為：
14、首先，對本地資源狀態三元組包含的第一利用率數值、第二利用率數值、第三利用率數值進行基于指數衰減的動態權重標準化處理，得到本地資源標準化向量；對任務平均等待時間進行基于指數衰減的動態權重標準化處理，得到隊列等待時間標準化值；對任務特征三元組包含的預估音頻持續時長與估算信噪比標量值分別進行基于指數衰減的動態權重標準化處理，得到任務時長標準化值與任務信噪比標準化值；
15、其次，對任務優先級比例三元組中的第一比例、第二比例與第三比例，以及任務類型標識，采用獨熱編碼方式進行向量化表示，分別得到任務優先級編碼向量與任務類型編碼向量；
16、再次，對鄰居邊緣計算節點負載狀態集合中每一個鄰居邊緣計算節點的中央處理器利用率、內存利用率與專用ai加速單元的使用率分別進行線性歸一化處理，并將所有鄰居邊緣計算節點處理后的數值按節點順序展平連接，構成鄰居狀態展平向量；
17、最后，將本地資源標準化向量、隊列等待時間標準化值、任務時長標準化值、任務信噪比標準化值、任務優先級編碼向量、任務類型編碼向量以及鄰居狀態展平向量，按照預先定義的固定順序連接成標準化的多維特征向量。
18、在一個優選地實施方式中，所述步驟s2中，由時空注意力預測模型同步分析多維特征向量的具體過程為：
19、首先，基于步驟s1在連續多個歷史時刻所生成的標準化多維特征向量，從中提取時間上下文編碼與空間上下文編碼；提取時間上下文編碼通過一個門控循環單元網絡處理連續多個歷史時刻的標準化多維特征向量完成，該門控循環單元網絡通過其內部更新門與重置門的機制，輸出一個固定維度的向量作為時間上下文編碼；
20、提取空間上下文編碼通過一個圖注意力網絡處理從標準化多維特征向量中解析出的鄰居狀態展平向量完成，具體為：
21、a1、將鄰居狀態展平向量重塑為一個鄰居節點特征矩陣，該鄰居節點特征矩陣的行對應不同的鄰居邊緣計算節點，列對應中央處理器利用率、內存利用率及專用ai加速單元的使用率這三類節點資源指標；
22、a2、利用一個可學習的參數權重矩陣對鄰居節點特征矩陣中每一行所代表的節點特征進行線性變換，得到變換后特征向量；
23、a3、為鄰居節點特征矩陣中代表邊緣計算節點自身及其每一個鄰居邊緣計算節點的每一行，計算一個注意力系數；
24、a4、根據計算得到的所有注意力系數，對各個鄰居邊緣計算節點以及邊緣計算節點自身的變換后特征向量進行加權求和，并使用激活函數處理該加權求和結果，最終輸出一個固定維度的向量作為空間上下文編碼。
25、在一個優選地實施方式中，所述時空注意力預測模型輸出預測序列及任務類型分布概率的過程具體為：
26、首先，對得到的時間上下文編碼與空間上下文編碼進行自適應融合，生成一個聯合上下文表征；
27、然后，將該聯合上下文表征輸入一個由多個全連接層構成的解碼器網絡；解碼器網絡并行輸出兩路結果：
28、第一路輸出為未來設定數量時間步內系統資源需求的預測序列，其中每一個時間步的預測結果表示為一個三維實數向量，該三維實數向量中的第一個數值代表對未來該時間步中央處理器利用率的預測值，第二個數值代表對未來該時間步內存利用率的預測值，第三個數值代表對未來該時間步專用ai加速單元的使用率的預測值；
29、第二路輸出為一個三維實數向量，該三維實數向量經由softmax歸一化函數處理，得到任務類型先驗概率分布，該任務類型先驗概率分布表示為一個三維實數向量，其第一個元素表示在未來設定時間窗口內新到達的語音任務屬于簡單命令詞識別類型的概率，第二個元素表示屬于連續語音聽寫類型的概率，第三個元素表示屬于自由對話理解類型的概率，且這三個概率值之和為一。
30、在一個優選地實施方式中，所述自適應融合通過一個自適應門控融合單元完成，該自適應門控融合單元通過操作生成聯合上下文表征：
31、b1、將時間上下文編碼與空間上下文編碼進行拼接，形成一個合并編碼向量；
32、b2、使用一個可學習的權重矩陣對合并編碼向量進行線性變換，然后加上一個可學習的偏置向量，得到一個中間向量；
33、b3、對中間向量施加sigmoid激活函數，生成一個門控向量；
34、b4、將門控向量與時間上下文編碼進行逐元素相乘，得到第一乘積向量；同時，計算一與門控向量的差，得到互補門控向量，并將互補門控向量與空間上下文編碼進行逐元素相乘，得到第二乘積向量；
35、b5、將第一乘積向量與第二乘積向量進行相加，輸出結果作為聯合上下文表征。
36、在一個優選地實施方式中，所述步驟s3中，通過一個強化學習優化的動態調度器生成前瞻性調度決策的過程具體為：
37、首先，構建增強狀態表征，其由本地資源狀態三元組、預測序列中的所有預測值、所述任務類型先驗概率分布及所述鄰居狀態展平向量按序拼接構成；
38、其次，動態調度器維護一個包含本地處理、鄰居協同處理及云端處理在內的可選動作集合，并采用一個雙分支評估網絡對每一個可選動作進行評估；該雙分支評估網絡的第一分支為價值評估分支，其接收增強狀態表征與一個候選動作作為輸入，輸出一個表示執行該動作長期期望收益的價值評分；該雙分支評估網絡的第二分支為約束與代價評估分支，其針對不同的動作類型計算即時評估指標；
39、針對卸載至一個鄰居邊緣計算節點的動作，即時評估指標為協同負載均衡度；
40、針對上傳至云端的動作，即時評估指標為云端通信效用；
41、最后，動態調度器根據預設的服務質量策略，為每個可選動作計算一個綜合決策分數；綜合決策分數由第一權重系數與價值評分的乘積，加上第二權重系數與相應即時評估指標的乘積，再減去第三權重系數與該動作違反服務質量策略的風險估計值的乘積而得到；動態調度器依據以下邏輯選擇動作以生成前瞻性調度決策：對于被識別為高實時性語音任務，優先判斷本地處理動作的綜合決策分數是否高于第一預設閾值且邊緣計算節點的專用ai加速單元的使用率低于一個表征空閑狀態的第四預設閾值，若滿足則選擇本地處理動作；若不滿足，則進一步判斷該語音任務是否為可分解的非實時性任務，若是，則從所有卸載至鄰居邊緣計算節點的動作中，篩選出協同負載均衡度指標高于第二預設閾值的動作，并從中選擇綜合決策分數最高的動作，該動作對應的鄰居邊緣計算節點即視為負載狀態相對最輕的節點；若仍無滿足條件的動作，且任務類型先驗概率分布指示當前語音任務屬于自由對話理解類型的概率最高，即判斷為需深度語義理解的語音任務，則評估上傳至云端動作的綜合決策分數，若其云端通信效用指標高于第三預設閾值則選擇該動作。
42、在一個優選地實施方式中，所述同步生成與前瞻性調度決策相對應的預期資源消耗與預期處理時長的過程具體為：
43、針對生成的前瞻性調度決策中的每一個具體語音任務分配方案，動態調度器依據該語音任務的任務類型、分配目標以及相關的預測與狀態信息，并行計算預期資源消耗與預期處理時長；
44、預期處理時長的數值，由基準計算時長、網絡傳輸時長及排隊等待時長三者相加得到；
45、網絡傳輸時長的數值根據分配目標確定：若語音任務分配至本地處理，則該網絡傳輸時長為零，若卸載至一個鄰居邊緣計算節點，則該網絡傳輸時長為到該鄰居邊緣計算節點的估計網絡鏈路延遲，若上傳至云端，則該網絡傳輸時長為到云端的往返網絡傳輸延遲；
46、排隊等待時長的數值通過查詢目標專用ai加速單元或云端服務器當前的語音任務隊列長度，并結合步驟s2輸出的、針對目標節點的預測序列中關于對應計算單元利用率的預測值，通過一個用于根據隊列長度與利用率預測值輸出排隊延遲的函數計算得到；
47、預期資源消耗的計算，根據分配目標的不同而采用不同的模型：若語音任務被分配至本地或鄰居邊緣計算節點的專用ai加速單元，則預期資源消耗表征為完成該語音任務預計所需的專用ai加速單元的計算量；若語音任務被上傳至云端，則預期資源消耗表征為上傳該語音任務對應的、用于生成步驟s1中本地語音任務計算特征的數據預計將占用的網絡傳輸資源。
48、在一個優選地實施方式中，所述步驟s4中，將實際資源消耗與處理時長數據與步驟s2輸出的預測序列、及步驟s3生成的預期資源消耗與預期處理時長進行比對的過程具體為：
49、首先，容器管理引擎接收并解析步驟s3生成的前瞻性調度決策，依據步驟s3生成的前瞻性調度決策，通過調用容器運行時接口，在毫秒級時間內創建或銷毀運行指定語音處理模塊的容器實例，完成對計算資源的彈性編排與執行；在語音任務從被調度分配開始直至其處理結果可用的整個執行過程中，通過部署在容器實例內部及宿主機上的監控探針，持續采集該任務執行完畢后的實際資源消耗數據與實際端到端的處理時長數據；實際資源消耗數據至少包括任務實際占用的中央處理器時間、實際使用的內存峰值以及實際消耗的專用ai加速單元的累計計算時間；
50、其次，將采集到的每一份實際資源消耗數據與實際端到端的處理時長數據，與產生該數據的語音任務的唯一標識、該語音任務的任務類型、以及觸發該語音任務執行的步驟s3中的前瞻性調度決策信息進行關聯綁定，形成包含任務身份、決策依據與執行結果的執行軌跡記錄；
51、再次，將執行軌跡記錄中的實際資源消耗數據與實際端到端的處理時長數據，與來自步驟s2和步驟s3的對應基準數據進行多維度差異比對；比對操作生成兩類誤差數據：第一類為資源預測誤差向量；第二類為調度預期誤差；
52、最后，為比對產生的每一組誤差數據，計算一個數據可信度權重；數據可信度權重的計算，依據該組誤差數據對應的語音任務在執行期間所遭遇的未預見系統擾動的強度，以及該任務是否被正常完成為條件進行，將關聯了數據可信度權重的誤差數據、其對應的執行軌跡記錄中記載的歷史決策狀態、以及所執行的調度動作三者整合，形成用于后續在線微調的數據記錄集合。
53、在一個優選地實施方式中，所述將產生的差異數據用于在線微調步驟s2中的時空注意力預測模型與步驟s3中的強化學習優化的動態調度器的過程具體為：
54、首先，以周期性觸發或累積誤差超閾值觸發的方式，啟動在線微調過程；將用于在線微調的數據記錄集合按批次組織，形成用于模型微調的數據批次；
55、其次，對步驟s2中的時空注意力預測模型進行微調：以數據批次中每一條數據記錄所包含的實際資源消耗數據作為真實值，以其對應的步驟s2輸出的資源利用率預測值作為模型預測值，構造一個損失函數，該損失函數等于數據批次內所有數據記錄的、其數據可信度權重與實際資源消耗數據同對應的預測值之間各對應數值誤差的平方和的總和；采用小批量梯度下降算法，結合彈性權重鞏固技術對時空注意力預測模型的參數進行更新；
56、最后，對步驟s3中的強化學習優化的動態調度器進行微調：以數據批次中每條數據記錄包含的歷史決策狀態、所執行的調度動作、實際獲得的即時收益以及后續狀態信息作為輸入，計算時序差分誤差；利用計算得到的時序差分誤差，通過梯度下降方法更新動態調度器中價值評估分支的網絡參數，從而校準其對不同調度動作長期期望收益的估計，使其更貼近真實環境的反饋。
57、本發明的有益效果是：通過實時融合本地與鄰居節點的多維狀態并生成標準化特征，驅動時空注意力模型對未來負載與任務類型進行精準預測，基于此預測，強化學習調度器結合服務質量策略前瞻性地分配計算資源，將高實時任務調度至本地空閑ai單元，將可分解任務協同至負載最輕的鄰居節點，并將深度語義任務高效卸載至云端，執行過程中依據決策彈性伸縮容器實例，并通過比對實際與預期數據持續在線微調預測與調度模型，該閉環實現了在資源受限的邊緣環境下，對并發語音任務的低延遲、高可靠處理與系統資源的動態最優適配，顯著提升了交互實時性、資源利用率及系統整體智能協同水平。