本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)，具體而言，涉及一種基于?lut復(fù)刻、合并和評(píng)估的智能視頻調(diào)色方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。
背景技術(shù)：
1、視頻調(diào)色技術(shù)是影視制作、短視頻創(chuàng)作等領(lǐng)域的核心技術(shù)之一，通過(guò)對(duì)視頻畫(huà)面的色彩進(jìn)行調(diào)節(jié)，能夠提升視頻的視覺(jué)效果、烘托畫(huà)面氛圍，賦予視頻獨(dú)特的藝術(shù)風(fēng)格。lut（查找表）作為視頻調(diào)色的重要工具，能夠?qū)㈩A(yù)設(shè)的色彩映射關(guān)系應(yīng)用于視頻像素，實(shí)現(xiàn)快速、標(biāo)準(zhǔn)化的色彩調(diào)整，被廣泛應(yīng)用于各類(lèi)專(zhuān)業(yè)視頻調(diào)色軟件和制作流程中。
2、目前在處理批量風(fēng)格重復(fù)的同類(lèi)鏡頭的調(diào)色時(shí)多依賴(lài)專(zhuān)業(yè)調(diào)色師逐鏡頭判斷風(fēng)格并調(diào)色，制作過(guò)程耗時(shí)耗力，且不同調(diào)色師的制作風(fēng)格存在差異，難以形成標(biāo)準(zhǔn)化調(diào)色效果。對(duì)于這種情況通常的解決方法為使用lut提高調(diào)色效率，但由此會(huì)產(chǎn)生眾多問(wèn)題，例如，怎樣確認(rèn)有多少種調(diào)色風(fēng)格；如何基于調(diào)色前后的效果復(fù)刻生成與原調(diào)色效果一致的lut；面對(duì)新的視頻鏡頭時(shí)，如何快速?gòu)亩鄠€(gè)?lut?中選出最合適的?lut。面對(duì)上述問(wèn)題通常多依靠人工參與解決，浪費(fèi)了視頻制作的人力成本和時(shí)間成本，缺乏智能化的?lut?推薦和調(diào)色解決方案。
3、雖然現(xiàn)有技術(shù)中存在部分基于神經(jīng)網(wǎng)絡(luò)的色彩遷移和?lut?生成方法，能夠?qū)崿F(xiàn)單張圖像或單段視頻的?lut?生成，但尚未實(shí)現(xiàn)?lut?復(fù)刻、合并、評(píng)估的智能調(diào)色全流程整合，無(wú)法針對(duì)視頻鏡頭的特征實(shí)現(xiàn)智能推薦lut和調(diào)色，難以滿(mǎn)足批量視頻制作中高效、標(biāo)準(zhǔn)化的調(diào)色需求。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)的實(shí)施例提供了一種基于?lut?復(fù)刻、合并和評(píng)估的智能視頻調(diào)色方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，以解決現(xiàn)有視頻調(diào)色中?lut?制作成本高、人工調(diào)色效率低及缺乏智能推薦機(jī)制的問(wèn)題。
2、本申請(qǐng)的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本申請(qǐng)的實(shí)踐而習(xí)得。
3、根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供了一種基于?lut?復(fù)刻、合并和評(píng)估的智能視頻調(diào)色方法，包括：
4、對(duì)調(diào)色前后視頻進(jìn)行鏡頭切分并提取關(guān)鍵幀；
5、基于所述關(guān)鍵幀提取特征向量并合并同類(lèi)鏡頭；
6、復(fù)刻同類(lèi)鏡頭的lut；
7、基于調(diào)色前鏡頭關(guān)鍵幀以及所述調(diào)色前鏡頭關(guān)鍵幀應(yīng)用lut圖像的特征向量訓(xùn)練lut評(píng)估網(wǎng)絡(luò)模型；
8、使用訓(xùn)練好的lut評(píng)估網(wǎng)絡(luò)模型為新的視頻鏡頭推薦lut。
9、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述對(duì)調(diào)色前后視頻進(jìn)行鏡頭切分并提取關(guān)鍵幀，包括：
10、通過(guò)深度學(xué)習(xí)模型推算每一幀作為鏡頭切點(diǎn)的概率分?jǐn)?shù)；
11、設(shè)置分?jǐn)?shù)閾值，基于所述分?jǐn)?shù)閾值進(jìn)行鏡頭切分；
12、對(duì)于切分后的每個(gè)鏡頭等距取出若干幀作為鏡頭的關(guān)鍵幀。
13、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述基于所述關(guān)鍵幀提取特征向量并合并同類(lèi)鏡頭，包括：
14、提取關(guān)鍵幀的特征向量；
15、使用k-mean算法基于特征向量將所有鏡頭聚類(lèi)為若干類(lèi)；
16、復(fù)刻每個(gè)鏡頭類(lèi)別的lut；
17、每個(gè)類(lèi)別內(nèi)各鏡頭的調(diào)色前關(guān)鍵幀依次應(yīng)用對(duì)應(yīng)lut后計(jì)算與調(diào)色后關(guān)鍵幀的psnr值；
18、基于psnr值在每個(gè)鏡頭類(lèi)別內(nèi)再次聚類(lèi)，得到最終聚類(lèi)合并結(jié)果。
19、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述復(fù)刻同類(lèi)鏡頭的lut，包括：
20、統(tǒng)計(jì)各類(lèi)別所有鏡頭關(guān)鍵幀的所有像素，建立調(diào)色前后的顏色映射表；
21、構(gòu)建kd樹(shù)進(jìn)行最近鄰搜索生成lut；
22、對(duì)lut進(jìn)行平滑。
23、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述基于調(diào)色前鏡頭關(guān)鍵幀以及所述調(diào)色前鏡頭關(guān)鍵幀應(yīng)用lut圖像的特征向量訓(xùn)練lut評(píng)估網(wǎng)絡(luò)模型，包括：
24、提取調(diào)色前鏡頭關(guān)鍵幀和調(diào)色前鏡頭關(guān)鍵幀應(yīng)用lut圖像的特征向量；
25、構(gòu)建用于lut分類(lèi)模型和場(chǎng)景分類(lèi)模型訓(xùn)練的特征向量樣本；
26、設(shè)置損失函數(shù)和訓(xùn)練參數(shù)；
27、訓(xùn)練并保存lut分類(lèi)模型和場(chǎng)景分類(lèi)模型。
28、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述損失函數(shù)采用infonce?損失，計(jì)算步驟包括：
29、計(jì)算錨點(diǎn)樣本與正樣本和負(fù)樣本特征向量的余弦相似度；
30、將余弦相似度結(jié)果除以溫度系數(shù)，得到正樣本相似度和負(fù)樣本相似度；
31、將正樣本相似度與所有負(fù)樣本相似度在通道維度拼接，構(gòu)成對(duì)比向量；
32、以正樣本類(lèi)別為目標(biāo)標(biāo)簽，采用交叉熵?fù)p失完成優(yōu)化。
33、在本申請(qǐng)的一些實(shí)施例中，基于前述方案，所述使用訓(xùn)練好的lut評(píng)估網(wǎng)絡(luò)模型為新的視頻鏡頭推薦lut，包括：
34、提取新鏡頭關(guān)鍵幀，然后依次將每個(gè)lut應(yīng)用于關(guān)鍵幀，每應(yīng)用一個(gè)lut則提取應(yīng)用前后的關(guān)鍵幀特征向量傳入場(chǎng)景分類(lèi)模型得到場(chǎng)景分類(lèi)分?jǐn)?shù)，若場(chǎng)景分類(lèi)分?jǐn)?shù)低于閾值則不推薦該lut，若高于閾值則再傳入lut分類(lèi)模型獲得lut分類(lèi)分?jǐn)?shù)，最后將所有l(wèi)ut分類(lèi)分?jǐn)?shù)進(jìn)行排序，選取lut分類(lèi)分?jǐn)?shù)最高的n個(gè)lut作為推薦lut。
35、根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供了一種基于?lut?復(fù)刻、合并和評(píng)估的智能視頻調(diào)色裝置，包括：
36、提取單元，用于對(duì)調(diào)色前后視頻進(jìn)行鏡頭切分并提取關(guān)鍵幀；
37、合并單元，用于基于所述關(guān)鍵幀提取特征向量并合并同類(lèi)鏡頭；
38、復(fù)刻單元，用于復(fù)刻同類(lèi)鏡頭的lut；
39、訓(xùn)練單元，用于基于調(diào)色前鏡頭關(guān)鍵幀以及所述調(diào)色前鏡頭關(guān)鍵幀應(yīng)用lut圖像的特征向量訓(xùn)練lut評(píng)估網(wǎng)絡(luò)模型；
40、推薦單元，用于使用訓(xùn)練好的lut評(píng)估網(wǎng)絡(luò)模型為新的視頻鏡頭推薦lut。
41、根據(jù)本申請(qǐng)實(shí)施例的第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行如第一方面所述的方法。
42、根據(jù)本申請(qǐng)實(shí)施例的第四方面，提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器；
43、所述存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)指令；
44、所述處理器，用于調(diào)用所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)指令，使得所述電子設(shè)備執(zhí)行如第一方面所述的方法。
45、本申請(qǐng)的技術(shù)方案，解決了現(xiàn)有視頻調(diào)色過(guò)程中?lut?手動(dòng)制作成本高、人工調(diào)色效率低及缺乏智能推薦機(jī)制的問(wèn)題，實(shí)現(xiàn)了?lut?復(fù)刻、合并和評(píng)估的全流程智能化，減少了視頻制作的人力成本，提升了視頻調(diào)色的效率和標(biāo)準(zhǔn)化程度。
46、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。
1.一種基于?lut?復(fù)刻、合并和評(píng)估的智能視頻調(diào)色方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)調(diào)色前后視頻進(jìn)行鏡頭切分并提取關(guān)鍵幀，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述關(guān)鍵幀提取特征向量并合并同類(lèi)鏡頭，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述復(fù)刻同類(lèi)鏡頭的lut，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于調(diào)色前鏡頭關(guān)鍵幀以及所述調(diào)色前鏡頭關(guān)鍵幀應(yīng)用lut圖像的特征向量訓(xùn)練lut評(píng)估網(wǎng)絡(luò)模型，包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述損失函數(shù)采用infonce?損失，計(jì)算步驟包括：
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述使用訓(xùn)練好的lut評(píng)估網(wǎng)絡(luò)模型為新的視頻鏡頭推薦lut，包括：
8.一種基于?lut?復(fù)刻、合并和評(píng)估的智能視頻調(diào)色裝置，其特征在于，包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的方法。
10.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器；