本申請涉及圖像處理領(lǐng)域，特別是涉及一種多模態(tài)商品信息提取方法、系統(tǒng)、設(shè)備、介質(zhì)及產(chǎn)品。
背景技術(shù)：
1、隨著電商行業(yè)的蓬勃發(fā)展，商品信息的準(zhǔn)確提取和分析對于業(yè)務(wù)團(tuán)隊來說至關(guān)重要。其他團(tuán)隊希望通過解析電商商品詳情頁的圖片內(nèi)容，深入挖掘商品的功能、新技術(shù)、賣點等信息，以便更好地進(jìn)行市場分析、產(chǎn)品研發(fā)、營銷推廣等工作。
2、然而，目前市面上現(xiàn)有的光學(xué)字符識別(optical?character?recognition，ocr)api在提取電商詳情頁圖片中的文字時，識別效果不盡如人意，存在文字遺漏、識別錯誤、難以處理電商詳情頁圖片中的特殊格式(如上標(biāo)、腳注等)等問題。同時，市場上缺乏專門針對電商詳情頁圖片內(nèi)容分析商品特性相關(guān)的產(chǎn)品或服務(wù)，這使得傳統(tǒng)的文字提取和分析方法難以滿足業(yè)務(wù)需求。
技術(shù)實現(xiàn)思路
1、本申請的目的是提供一種多模態(tài)商品信息提取方法、系統(tǒng)、設(shè)備、介質(zhì)及產(chǎn)品，可高準(zhǔn)確率地提取商品詳情頁圖片中的文字，并對文字進(jìn)行格式化以及腳注處理。
2、為實現(xiàn)上述目的，本申請?zhí)峁┝巳缦路桨福?/p>
3、第一方面，本申請?zhí)峁┝艘环N多模態(tài)商品信息提取方法，包括：
4、對商品詳情頁圖片進(jìn)行預(yù)處理；
5、采用調(diào)試好的文字識別指令模板識別預(yù)處理后的商品詳情頁圖片中的文字，得到文本數(shù)據(jù)；
6、識別文本數(shù)據(jù)中的腳注及腳注內(nèi)容，并將腳注替換為對應(yīng)的腳注內(nèi)容，生成格式化后的文本數(shù)據(jù)；
7、基于格式化后的文本數(shù)據(jù)確定商品信息。
8、第二方面，本申請?zhí)峁┝艘环N多模態(tài)商品信息提取系統(tǒng)，包括：
9、預(yù)處理模塊，用于對商品詳情頁圖片進(jìn)行預(yù)處理；
10、文字識別模塊，用于采用調(diào)試好的文字識別指令模板識別預(yù)處理后的商品詳情頁圖片中的文字，得到文本數(shù)據(jù)；
11、腳注及腳注內(nèi)容識別模塊，用于識別文本數(shù)據(jù)中的腳注及腳注內(nèi)容，并將腳注替換為對應(yīng)的腳注內(nèi)容，生成格式化后的文本數(shù)據(jù)；
12、基于格式化后的文本數(shù)據(jù)確定商品信息。
13、第三方面，本申請?zhí)峁┝艘环N計算機(jī)設(shè)備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序以實現(xiàn)上述的多模態(tài)商品信息提取方法。
14、第四方面，本申請?zhí)峁┝艘环N計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述的多模態(tài)商品信息提取方法。
15、第五方面，本申請?zhí)峁┝艘环N計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述的多模態(tài)商品信息提取方法。
16、根據(jù)本申請?zhí)峁┑木唧w實施例，本申請具有以下技術(shù)效果：
17、本申請?zhí)峁┝艘环N多模態(tài)商品信息提取方法、系統(tǒng)、設(shè)備、介質(zhì)及產(chǎn)品，通過調(diào)試好的文字識別指令模板(prompt)能夠高準(zhǔn)確率地提取商品詳情頁圖片中的文字，并對文字中的腳注進(jìn)行處理，最終分析得到商品信息，為業(yè)務(wù)團(tuán)隊提供高效、準(zhǔn)確的數(shù)據(jù)支持，提升電商商品信息的利用價值和業(yè)務(wù)決策效率。
1.一種多模態(tài)商品信息提取方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的多模態(tài)商品信息提取方法，其特征在于，對商品詳情頁圖片進(jìn)行預(yù)處理，具體包括：
3.根據(jù)權(quán)利要求2所述的多模態(tài)商品信息提取方法，其特征在于，通過調(diào)試好的尾部文字截斷識別指令模板識別當(dāng)前的商品詳情頁圖片的尾部文字是否被截斷。
4.根據(jù)權(quán)利要求1所述的多模態(tài)商品信息提取方法，其特征在于，采用調(diào)試好的文字識別指令模板識別預(yù)處理后的商品詳情頁圖片中的文字，得到文本數(shù)據(jù)，具體包括：
5.根據(jù)權(quán)利要求1所述的多模態(tài)商品信息提取方法，其特征在于，識別文本數(shù)據(jù)中的腳注及腳注內(nèi)容，并將腳注替換為對應(yīng)的腳注內(nèi)容，生成格式化后的文本數(shù)據(jù)，具體包括：
6.根據(jù)權(quán)利要求1所述的多模態(tài)商品信息提取方法，其特征在于，基于格式化后的文本數(shù)據(jù)確定商品信息，具體包括：
7.一種多模態(tài)商品信息提取系統(tǒng)，其特征在于，統(tǒng)包括：
8.一種計算機(jī)設(shè)備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序以實現(xiàn)權(quán)利要求1-6中任一項所述的多模態(tài)商品信息提取方法。
9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-6中任一項所述的多模態(tài)商品信息提取方法。
10.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，其特征在于，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-6中任一項所述的多模態(tài)商品信息提取方法。