本公開涉及圖像生成。更具體地，本公開涉及一種圖像生成模型的訓練方法、圖像生成方法及裝置、設備、介質及產品。
背景技術：
1、專家混合模型（mixture?of?experts，moe）是一種采用多專家協同架構的模型技術，能夠通過路由器選擇少量專家參與計算，顯著提升了模型容量與計算效率比，其已被廣泛應用于大模型架構中。
2、以大語言模型（llm）領域為例，moe可以通過專家選擇路由（expert-choicerouting）策略實現動態計算分配，例如在llm中采用整個批次統一路由選擇（batch?levelchoice），以全局優化資源分配。
3、然而，視覺任務與語言任務存在本質差異，視覺數據具有更強的空間結構依賴性，對樣本獨立性要求更高，因此，在將現有moe路由策略直接遷移至視覺任務時，易因跨樣本干擾導致模型不穩定，影響生成圖像的可靠性。
技術實現思路
1、本公開的實施例提供了一種圖像生成模型的訓練方法、圖像生成方法及裝置、設備、介質及產品，以至少解決或緩解上述問題。
2、根據本公開實施例的第一方面，提供一種圖像生成模型的訓練方法，所述圖像生成模型包括專家混合模型，所述訓練方法包括：獲取訓練樣本數據，其中，所述訓練樣本數據包括多個樣本圖像；利用所述專家混合模型的路由器，針對所述多個樣本圖像中的每個樣本圖像進行路由決策，從所述專家混合模型的多個專家模型中選擇與每個樣本圖像對應的目標專家模型；利用與每個樣本圖像對應的目標專家模型，生成與該樣本圖像對應的預測圖像；基于各樣本圖像以及相應的預測圖像，對所述圖像生成模型進行訓練。
3、在本公開的實施例中，針對每個樣本圖像，利用所述路由器通過以下方式進行路由決策：基于該樣本圖像的圖像特征，確定所述多個專家模型中的每個專家模型針對該樣本圖像的路由權重，其中，所述路由權重表征專家模型與該樣本圖像相對應的概率；基于所述路由權重，確定與該樣本圖像對應的目標專家模型。
4、在本公開的實施例中，所述基于所述路由權重，確定與該樣本圖像對應的目標專家模型，包括：根據當前訓練的時間步長，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到調制后的權重；基于所述調制后的權重，確定與該樣本圖像對應的目標專家模型。
5、在本公開的實施例中，所述圖像生成模型還包括第一條件調制模塊，所述第一條件調制模塊用于根據當前訓練的時間步長生成時間感知向量，其中，所述根據當前訓練的時間步長，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到調制后的權重，包括：從所述第一條件調制模塊獲取所述時間感知向量；基于所述時間感知向量，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到所述調制后的權重。
6、在本公開的實施例中，所述訓練樣本數據還包括與每個樣本圖像對應的樣本文本，每個樣本文本用于描述相應的樣本圖像的內容，所述第一條件調制模塊還用于根據當前訓練的時間步長和所述樣本文本生成調制向量，其中，所述基于所述時間感知向量，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到所述調制后的權重，包括：從所述第一條件調制模塊獲取所述調制向量；對所述時間感知向量和所述調制向量進行融合，得到融合向量；基于所述融合向量，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到所述調制后的權重。
7、在本公開的實施例中，所述圖像生成模型還包括第二條件調制模塊和注意力層，所述第二條件調制模塊的輸出輸入到所述注意力層，所述第二條件調制模塊與所述第一條件調制模塊相同。
8、在本公開的實施例中，所述訓練方法包括多個訓練輪次，其中，通過以下方式得到所述多個專家模型：根據當前的訓練輪次，對預設的專家網絡進行劃分，得到所述多個專家模型。
9、在本公開的實施例中，所述根據當前的訓練輪次，對預設的專家網絡進行劃分，得到所述多個專家模型，包括：根據當前的訓練輪次，確定針對所述專家網絡的劃分比例，其中，所述劃分比例與待劃分的專家模型的數量呈負相關；基于所述劃分比例和待劃分的專家模型的數量，對所述專家網絡的相鄰網絡層中的前一層的輸出維度和后一層的輸入維度進行劃分，得到所述多個專家模型。
10、在本公開的實施例中，所述根據當前的訓練輪次，確定針對所述專家網絡的劃分比例，包括：響應于當前的訓練輪次處于第一訓練階段，將第一比例確定為所述劃分比例；響應于當前的訓練輪次處于第二訓練階段，將第二比例確定為所述劃分比例，其中，所述第一訓練階段在所述第二訓練階段之前，所述第一比例大于所述第二比例，所述第一訓練階段中劃分的專家模型的數量小于所述第二訓練階段中劃分的專家模型的數量。
11、根據本公開實施例的第二方面，提供一種圖像生成方法，所述圖像生成方法包括：接收圖像生成指令；基于所述圖像生成指令，利用圖像生成模型，生成圖像，其中，所述圖像生成模型是根據本公開的實施例所述的圖像生成模型的訓練方法訓練的。
12、根據本公開實施例的第三方面，提供一種圖像生成模型的訓練裝置，所述圖像生成模型包括專家混合模型，所述訓練裝置包括：獲取單元，被配置為獲取訓練樣本數據，其中，所述訓練樣本數據包括多個樣本圖像；路由決策單元，被配置為利用所述專家混合模型的路由器，針對所述多個樣本圖像中的每個樣本圖像進行路由決策，從所述專家混合模型的多個專家模型中選擇與每個樣本圖像對應的目標專家模型；預測單元，被配置為利用與每個樣本圖像對應的目標專家模型，生成與該樣本圖像對應的預測圖像；訓練單元，被配置為基于各樣本圖像以及相應的預測圖像，對所述圖像生成模型進行訓練。
13、在本公開的實施例中，針對每個樣本圖像，所述路由決策單元被配置為利用所述路由器通過以下方式進行路由決策：基于該樣本圖像的圖像特征，確定所述多個專家模型中的每個專家模型針對該樣本圖像的路由權重，其中，所述路由權重表征專家模型與該樣本圖像相對應的概率；基于所述路由權重，確定與該樣本圖像對應的目標專家模型。
14、在本公開的實施例中，所述路由決策單元還被配置為利用所述路由器通過以下方式進行路由決策：根據當前訓練的時間步長，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到調制后的權重；基于所述調制后的權重，確定與該樣本圖像對應的目標專家模型。
15、在本公開的實施例中，所述圖像生成模型還包括第一條件調制模塊，所述第一條件調制模塊用于根據當前訓練的時間步長生成時間感知向量，其中，所述路由決策單元還被配置為利用所述路由器通過以下方式進行路由決策：從所述第一條件調制模塊獲取所述時間感知向量；基于所述時間感知向量，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到所述調制后的權重。
16、在本公開的實施例中，所述訓練樣本數據還包括與每個樣本圖像對應的樣本文本，每個樣本文本用于描述相應的樣本圖像的內容，所述第一條件調制模塊還用于根據當前訓練的時間步長和所述樣本文本生成調制向量，其中，所述路由決策單元還被配置為利用所述路由器通過以下方式進行路由決策：從所述第一條件調制模塊獲取所述調制向量；對所述時間感知向量和所述調制向量進行融合，得到融合向量；基于所述融合向量，對所述多個專家模型針對該樣本圖像的路由權重進行調制，得到所述調制后的權重。
17、在本公開的實施例中，所述圖像生成模型還包括第二條件調制模塊和注意力層，所述第二條件調制模塊的輸出輸入到所述注意力層，所述第二條件調制模塊與所述第一條件調制模塊相同。
18、在本公開的實施例中，所述訓練裝置執行多個訓練輪次，其中，所述訓練裝置還包括專家劃分單元，所述專家劃分單元被配置為通過以下方式得到所述多個專家模型：根據當前的訓練輪次，對預設的專家網絡進行劃分，得到所述多個專家模型。
19、在本公開的實施例中，所述專家劃分單元被配置為：根據當前的訓練輪次，確定針對所述專家網絡的劃分比例，其中，所述劃分比例與待劃分的專家模型的數量呈負相關；基于所述劃分比例和待劃分的專家模型的數量，對所述專家網絡的相鄰網絡層中的前一層的輸出維度和后一層的輸入維度進行劃分，得到所述多個專家模型。
20、在本公開的實施例中，所述專家劃分單元被配置為：響應于當前的訓練輪次處于第一訓練階段，將第一比例確定為所述劃分比例；響應于當前的訓練輪次處于第二訓練階段，將第二比例確定為所述劃分比例，其中，所述第一訓練階段在所述第二訓練階段之前，所述第一比例大于所述第二比例，所述第一訓練階段中劃分的專家模型的數量小于所述第二訓練階段中劃分的專家模型的數量。
21、根據本公開實施例的第四方面，提供一種圖像生成裝置，所述圖像生成裝置包括：接收單元，被配置為接收圖像生成指令；圖像生成單元，被配置為基于所述圖像生成指令，利用圖像生成模型，生成圖像，其中，所述圖像生成模型是根據本公開的示例性實施例所述的圖像生成模型的訓練方法訓練的。
22、根據本公開實施例的第五方面，提供一種電子設備，所述電子設備包括：處理器；以及用于存儲處理器可執行指令的存儲器，其中，所述處理器可執行指令在被所述處理器運行時，使所述處理器執行根據本公開的示例性實施例所述的圖像生成模型的訓練方法或者圖像生成方法。
23、根據本公開實施例的第六方面，提供一種計算機可讀存儲介質，當所述計算機可讀存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行根據本公開的示例性實施例所述的圖像生成模型的訓練方法或者圖像生成方法。
24、根據本公開實施例的第六方面，提供一種計算機程序產品，包括計算機可執行指令，所述計算機可執行指令被至少一個處理器執行時實現根據本公開的示例性實施例所述的圖像生成模型的訓練方法或者圖像生成方法。
25、本公開的實施例提供的技術方案至少帶來以下有益效果：
26、根據本公開實施例的圖像生成模型的訓練及圖像生成方案，可以在圖像生成模型中設置專家混合模型，并且專家混合模型的路由器可以針對每個樣本圖像進行單獨路由決策，選擇與每個樣本圖像對應的目標專家模型，從而使路由決策針對單個圖像進行，而非整個批次統一決策，避免了在將現有的整個批次統一路由選擇的路由策略遷移至視覺任務時易引發跨樣本干擾的問題，確保模型生成圖像的穩定性，避免在不同圖像生成任務中生成的圖像質量差異過大，提高圖像生成的可靠性。
27、此外，根據本公開實施例的圖像生成模型的訓練及圖像生成方案，可以通過引入時間感知調制專家模型的路由權重，增強專家混合模型對擴散過程時間步長的動態感知能力，優化專家分配，使得專家模型可以趨于專業化，在面對不同的圖像生成任務時，同類任務可以更趨于分配到相同的專家模型，進一步提高所生成圖像的圖像質量的穩定性。
28、此外，根據本公開實施例的圖像生成模型的訓練及圖像生成方案，可以通過在不同訓練階段采用不同的專家劃分策略，實現專家結構的細粒度劃分，在固定參數總量下實現性能最優平衡，避免專家數量盲目擴張導致的收益遞減，使專家數量或規模與圖像生成任務需求匹配，使得在采用多專家提高圖像生成質量的基礎上，還能夠兼顧增加專家數量所引起的對圖像生成速度、生成效率的影響。
29、應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。