本發(fā)明屬于產(chǎn)科，具體涉及一種ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法。

背景技術：

1、超聲是產(chǎn)科常用的輔助檢查手段，可用于檢查胎兒、胎盤、子宮及周圍附件的解剖結(jié)構，從而輔助醫(yī)生做好臨床決策，最大程度地提升診斷準確性并提升就診體驗。近年來，產(chǎn)科手持超聲設備是現(xiàn)代醫(yī)療科技領域中的一項重要創(chuàng)新，其便攜性與靈活性顯著提升了產(chǎn)科檢查的便捷程度，使得醫(yī)生能夠在各種醫(yī)療場景下都能夠迅速開展高質(zhì)量的超聲檢查。除此之外，產(chǎn)科手持超聲設備不僅能夠精細地檢查胎兒的生長發(fā)育情況、監(jiān)測胎心率、評估羊水量，還能夠?qū)μケP位置、子宮形態(tài)以及周邊附件的解剖結(jié)構進行詳細觀察，為醫(yī)生提供豐富的影像學信息。然而，人體健康是多系統(tǒng)、多器官相互協(xié)作的結(jié)果，且處于動態(tài)變化之中。孕婦既往的健康狀況及患病情況可能會對其自身及胎兒造成影響，因此僅依靠單次的超聲檢查結(jié)果難以即時產(chǎn)生準確的診療方案。因此，結(jié)合多學科、多時間點的電子健康記錄對于產(chǎn)科超聲醫(yī)生做出最佳臨床決策是非常有益且十分必要的。

2、電子健康記錄(ehr，electronic?health?record)已經(jīng)成為現(xiàn)代醫(yī)療體系中的重要組成部分，能夠幫助醫(yī)生快速訪問孕婦的既往病史、檢查結(jié)果和治療方案，提高醫(yī)療服務的效率和質(zhì)量。然而，ehr系統(tǒng)中龐大的數(shù)據(jù)量和格式多樣的復雜數(shù)據(jù)內(nèi)容也同時帶來了新的挑戰(zhàn)，特別是如何有效地整合和分析既往數(shù)據(jù)和本次就診數(shù)據(jù)并即時做出個性化最佳診斷是亟待解決的重要問題。

3、為了克服上述問題，近年來，人工智能技術(ai,artificial?intelligence)，尤其是深度學習技術，逐漸被應用于醫(yī)療影像分析和電子健康記錄的處理。特別是多模態(tài)ai模型的應用，使得結(jié)合文本和圖像數(shù)據(jù)進行分析成為可能，這類模型能夠從多源數(shù)據(jù)中提取有用信息，輔助快速輸出診斷報告，為臨床決策提供更全面的支持，從而提高診斷的及時性和準確性。然而現(xiàn)有的人工智能技術在超聲報告輸出領域存在以下不足：

4、1、數(shù)據(jù)標準化和交互操作不足。不同醫(yī)療系統(tǒng)和設備產(chǎn)生的數(shù)據(jù)格式和標準不統(tǒng)一，導致數(shù)據(jù)整合和分析困難，交互操作不足等問題限制了數(shù)據(jù)的跨系統(tǒng)使用和分析。

5、2、多模態(tài)數(shù)據(jù)整合不足?，F(xiàn)有的ai模型只能處理單一數(shù)據(jù)源，如ehr文本或單一的醫(yī)療影像數(shù)據(jù)，缺乏對多模態(tài)醫(yī)療數(shù)據(jù)(如：文本、圖像、實驗數(shù)據(jù)等)的有效整合和統(tǒng)一分析，無法生成綜合性檢查報告。

6、3、使用大語言模型生成的個性化報告在專業(yè)性上有待增強：現(xiàn)有的做法忽略了b超圖像這一關鍵信息，使得最終報告信息不夠全面；而且沒有對大語言模型進行微調(diào)，使得最終報告在該特定領域的專業(yè)性不足。

技術實現(xiàn)思路

1、為了解決上述問題，本發(fā)明提出一種ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法。

2、本發(fā)明的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，包括以下步驟：s1.孕婦信息同步；s2.ai參數(shù)調(diào)整；s3.實時圖像采集與解析；s4.提供實時診斷建議；s5.診斷結(jié)果與孕婦記錄更新；s6.醫(yī)生操作與反饋；s7.持續(xù)學習和優(yōu)化。

3、所述s2中的ai參數(shù)調(diào)整是指采用lora方法對flamingo模型進行微調(diào)。

4、所述s2中的ai參數(shù)調(diào)整中的ai算法包括以下步驟：s201.數(shù)據(jù)準備；s202.模型選擇與構建；s203.利用lora技術進行模型微調(diào)；s204.模型訓練與優(yōu)化。

5、所述s201數(shù)據(jù)準備包括數(shù)據(jù)收集、數(shù)據(jù)清洗與預處理以及數(shù)據(jù)標注。

6、所述數(shù)據(jù)收集包括ehr收集與孕婦相關的電子健康記錄數(shù)據(jù)和收集孕婦的超聲圖像數(shù)據(jù)。

7、s202模型選擇與構建是指選擇并下載預訓練好的flamingo大模型，并根據(jù)具體應用場景調(diào)整模型的配置參數(shù)。

8、所述s203利用lora技術進行模型微調(diào)，是指在flamingo模型的每層中插入低秩矩陣，初始化低秩矩陣并約束低秩矩陣。

9、所述flamingo模型中的權重矩陣為w，則lora微調(diào)后為w'＝w+δw

10、其中，δw是一個低秩矩陣，且δw＝ab，a和b是兩個低秩矩陣，a的維度為d×r,b的維度為r×d，其中r是一個小于d的秩值。

11、所述在flamingo模型的每層中插入低秩矩陣，低秩矩陣包括低秩矩陣a和低秩矩陣b，且

12、wq'＝wq+aqbq

13、wk'＝wk+akbk

14、wv'＝wv+avbv

15、式中，wq、wk和wv分別為查詢、鍵和值的權重矩陣，aq、bq、ak、bk、av、bv為相應的低秩矩陣。

16、所述低秩矩陣a和b是由均值為0、方差為0.01的高斯分布隨機生成的。

17、本發(fā)明的有益效果是，

18、1)整合多模態(tài)數(shù)據(jù)提高超聲檢查的整體診斷質(zhì)量和效率：根據(jù)不同孕婦的健康狀況和檢查需求，提供個性化的超聲方案，統(tǒng)一數(shù)據(jù)標注格式，以滿足不同臨床場景的需要，提高診療的精準性和有效性。此外，經(jīng)微調(diào)的大語言模型可以使用多模態(tài)的ehr數(shù)據(jù)輔助醫(yī)生快速做出及時、全面、精確的臨床決策，降低誤診的發(fā)生，并快速、準確地為后續(xù)患者提供診斷建議，提高臨床診療效率。

19、2)提高個性化醫(yī)療報告生成的準確性和靈活性：根據(jù)孕婦本次檢查結(jié)果和歷史數(shù)據(jù)生成詳細、個性化的醫(yī)療報告，提升報告的準確性和個性化程度，并能夠有效地減少誤診、漏診的發(fā)生率。同時，系統(tǒng)結(jié)合孕婦的歷史健康數(shù)據(jù)，根據(jù)每位孕婦的健康狀況，提供個性化的解讀建議，在增強臨床決策的科學性和針對性的同時，也極大地縮減臨床決策時間，并幫助每位孕婦節(jié)省就診時間。

20、3)提升大語言模型在醫(yī)療領域的專業(yè)性：本發(fā)明擬通過lora技術對flamingo大模型進行微調(diào)，與之前直接應用chatgpt的專利技術相比，將不再受限于單一固定的運行模式，而是能夠靈活地依據(jù)不同孕婦的特異性情況進行相應的參數(shù)設置，能夠更好地適應復雜多變的臨床場景，并顯著提升模型在產(chǎn)科超聲檢查報告生成方面的綜合表現(xiàn)。

技術特征：

1.一種ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，包括以下步驟：

2.根據(jù)權利要求1所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述s2中的ai參數(shù)調(diào)整是指采用lora方法對flamingo模型進行微調(diào)。

3.根據(jù)權利要求2所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述s2中的ai參數(shù)調(diào)整中的ai算法包括以下步驟：

4.根據(jù)權利要求3所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述s201數(shù)據(jù)準備包括數(shù)據(jù)收集、數(shù)據(jù)清洗與預處理以及數(shù)據(jù)標注。

5.根據(jù)權利要求4所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述數(shù)據(jù)收集包括ehr收集與孕婦相關的電子健康記錄數(shù)據(jù)和收集孕婦的超聲圖像數(shù)據(jù)。

6.根據(jù)權利要求3所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，s202模型選擇與構建是指選擇并下載預訓練好的flamingo大模型，并根據(jù)具體應用場景調(diào)整模型的配置參數(shù)。

7.根據(jù)權利要求3所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述s203利用lora技術進行模型微調(diào)，是指在flamingo模型的每層中插入低秩矩陣，初始化低秩矩陣并約束低秩矩陣。

8.根據(jù)權利要求7所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述flamingo模型中的權重矩陣為w，則lora微調(diào)后為w'＝w+δw

9.根據(jù)權利要求8所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述在flamingo模型的每層中插入低秩矩陣，低秩矩陣包括低秩矩陣a和低秩矩陣b，且

10.根據(jù)權利要求9所述的ai驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，其特征在于，所述低秩矩陣a和b是由均值為0、方差為0.01的高斯分布隨機生成的。

技術總結(jié)
本發(fā)明公開了一種AI驅(qū)動的電子健康記錄集成產(chǎn)科手持超聲報告生成方法，包括以下步驟：S1.孕婦信息同步；S2.AI參數(shù)調(diào)整；S3.實時圖像采集與解析；S4.提供實時診斷建議；S5.診斷結(jié)果與孕婦記錄更新；S6.醫(yī)生操作與反饋；S7.持續(xù)學習和優(yōu)化。本發(fā)明通過整合多模態(tài)數(shù)據(jù)提高產(chǎn)科超聲檢查的整體診斷質(zhì)量和效率；結(jié)合超聲檢查圖像和多模態(tài)健康信息生成個性化產(chǎn)檢報告，提高醫(yī)療報告生成的準確性和靈活性；通過Lora技術對Flamingo大模型進行微調(diào)，提升大語言模型在醫(yī)療領域應用的專業(yè)性。

技術研發(fā)人員：唐昆,李雨軒,安鳴昊,賈哲越,楊融鑫,張如東,李悅童,熊恬
受保護的技術使用者：清華大學
技術研發(fā)日：
技術公布日：2024/12/19