清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）與清華大學(xué)計算機科學(xué)與技術(shù)系合作構(gòu)建了虛擬醫(yī)院Agent Hospital，提出了醫(yī)學(xué)智能體自我進化方法MedAgent-Zero，通過在虛擬醫(yī)院中產(chǎn)生大量無需人工標(biāo)注的數(shù)據(jù)，讓醫(yī)學(xué)智能體不斷提升醫(yī)療能力，并在真實世界數(shù)據(jù)集得到驗證。Agent Hospital中所有的病人、護士和醫(yī)生均由大模型驅(qū)動的自主智能體扮演，對發(fā)病、分診、掛號、問診、檢查、診斷、開藥、康復(fù)和隨訪的“院前-院中-院后”閉環(huán)流程進行模擬。Agent Hospital基于知識庫與基礎(chǔ)模型對虛擬病人的疾病產(chǎn)生與發(fā)展過程進行模擬。虛擬醫(yī)生在Agent Hospital中進行學(xué)習(xí)（即閱讀醫(yī)學(xué)文獻）與實踐（即與虛擬病人交互并做診療決策），不斷從成功診療案例中總結(jié)經(jīng)驗、從失敗案例中反思教訓(xùn)，在多個診療任務(wù)上實現(xiàn)準(zhǔn)確率持續(xù)提升。在診療近萬名虛擬病人后（人類醫(yī)生大約需要2年時間），虛擬醫(yī)生能夠在MedQA數(shù)據(jù)集呼吸道疾病子集上超越當(dāng)前最好的方法，達到93.06%的準(zhǔn)確率。該研究由AIR馬為之助理研究員與AIR執(zhí)行院長、計算機系副系主任劉洋教授擔(dān)任論文共同通訊作者，在arXiv上公開后受到海內(nèi)外人工智能社區(qū)和醫(yī)學(xué)社區(qū)的廣泛關(guān)注和討論。

· 論文標(biāo)題：Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents · 論文鏈接： https://arxiv.org/pdf/2405.02957v1

Agent Hospital概覽

研究背景

近年來，大規(guī)模語言模型蓬勃發(fā)展，基于大語言模型的智能體技術(shù)備受關(guān)注。已有研究利用智能體技術(shù)實現(xiàn)了真實世界模擬，包括“斯坦福小鎮(zhèn)”、“狼人殺游戲”等交互和博弈場景；同時，智能體技術(shù)也被用在解決各類任務(wù)的調(diào)度規(guī)劃、協(xié)作過程，但這個過程大都依賴于高質(zhì)量人工標(biāo)注數(shù)據(jù)的支持。因此帶來的研究問題是，真實環(huán)境模擬能否助力智能體的任務(wù)處理能力提升。

智慧醫(yī)療因其場景的重要性和應(yīng)用價值廣受關(guān)注，研究團隊高度關(guān)注大語言模型和智能體技術(shù)在醫(yī)療場景的應(yīng)用研究。針對上述研究問題，團隊認為真實的模型環(huán)境能夠助力智能體的任務(wù)能力提升和進化，因此開展了結(jié)合真實世界模擬和醫(yī)學(xué)能力提升的Agent Hospital研究。在本工作中，團隊致力于構(gòu)建醫(yī)院模擬環(huán)境，探索醫(yī)學(xué)智能體在該環(huán)境下的自主進化。目的是讓智能體能夠像人類醫(yī)生一樣在診療和學(xué)習(xí)過程中自主積累醫(yī)學(xué)知識，實現(xiàn)醫(yī)學(xué)能力的不斷進化。

Agent Hospital構(gòu)建

研究團隊首先致力于利用大模型智能體模擬真實世界的關(guān)鍵醫(yī)療環(huán)節(jié)。在Agent Hospital中，團隊設(shè)計并覆蓋了從疾病產(chǎn)生到康復(fù)的8個典型場景，即：發(fā)病、分診、掛號、問診、檢查、診斷、開藥和康復(fù)，且患者會主動參與隨訪反饋。所有的環(huán)節(jié)流程均由大模型支持，在其中的角色間能夠進行自主交互。

主要診療環(huán)節(jié)示例

上圖展示了閉環(huán)的診療環(huán)節(jié)：當(dāng)病人智能體角色Kenneth Morgan患病后，他會前往醫(yī)院求助。分診護士Katherine Li了解Morgan的癥狀進行分析后，將他分診到具體科室就診。Morgan會根據(jù)醫(yī)囑完成掛號、咨詢、醫(yī)學(xué)檢查后，醫(yī)生Robert會給他最終的診斷和治療方案，Morgan將會根據(jù)醫(yī)囑回家休息并反饋給醫(yī)院康復(fù)情況，直至下次生病再前往醫(yī)院。

從上述示例中可以看到，研究團隊為醫(yī)院主要設(shè)計了兩類角色：醫(yī)護人員和患者。所有的角色信息都是由大模型（GPT-3.5）生成，因而可以很輕松地擴展增加。部分角色的具體信息如下圖所示，35歲的患者Kenneth Morgan當(dāng)前患有急性鼻炎，且有高血壓病史，當(dāng)前有持續(xù)嘔吐等一系列癥狀；Zhao Lei則是一名經(jīng)驗豐富的影像科醫(yī)生，內(nèi)科醫(yī)生Elise Martin具備優(yōu)秀的交流能力，擅長內(nèi)科急/慢性疾病的診斷、治療。這些完整的人物信息背景提升了醫(yī)院模擬的真實性。

虛擬角色的信息簡介

在上述醫(yī)療模擬過程中，疾病的產(chǎn)生是其中的關(guān)鍵。具體來說，當(dāng)前的病歷信息是由大語言模型結(jié)合醫(yī)學(xué)知識為患者生成完整的病歷，包括疾病類型、癥狀、持續(xù)時間、各項檢查結(jié)果等（具體內(nèi)容可見論文附錄）。需要注意的是，為了盡可能保證整個模擬流程的準(zhǔn)確性，患者智能體只會感知到自己的疾病癥狀但不知道具體疾病，而醫(yī)生智能體則只能通過和患者智能體對話問診和開具檢查來了解信息?；颊咧悄荏w需要進行的檢查、所患疾病類型和疾病嚴(yán)重程度判斷將作為三個關(guān)鍵任務(wù)來評價醫(yī)學(xué)智能體對虛擬病人的診療能力。

智能體自我進化

傳統(tǒng)的大部分醫(yī)學(xué)模型訓(xùn)練方法依賴于預(yù)訓(xùn)練、微調(diào)等技術(shù)，因而需要大量的醫(yī)學(xué)數(shù)據(jù)以及部分高質(zhì)量人工標(biāo)注數(shù)據(jù)的支持。 然而，研究團隊認為，人類醫(yī)生能力提升過程不依賴這樣的海量數(shù)據(jù)，他們往往能從臨床實踐的診療過程中積累經(jīng)驗，也會通過閱讀醫(yī)學(xué)文獻積累關(guān)鍵知識實現(xiàn)提升。 在虛擬醫(yī)院中的醫(yī)療智能體應(yīng)該也能實現(xiàn)類似的能力進化。 因此，團隊設(shè)計了名為“MedAgent-Zero”的智能體自我進化算法，它如同AlphaGo-Zero一樣不依賴人工標(biāo)注數(shù)據(jù)，而是在虛擬醫(yī)院中利用學(xué)習(xí)（即閱讀醫(yī)學(xué)文獻）與實踐（即與虛擬病人交互并做診療決策）兩種途徑實現(xiàn)能力提升：一方面，醫(yī)學(xué)智能體可以按照上述診療流程，與虛擬病人進行診療交互，在開具檢查、疾病診斷和治療建議三個任務(wù)上自主積累經(jīng)驗；另一方面，醫(yī)學(xué)智能體也會進行自主學(xué)習(xí)，基于LLM生成的醫(yī)學(xué)問題模擬醫(yī)學(xué)文檔的學(xué)習(xí)過程。

MedAgent-Zero策略流程示意圖

如上圖所示，MedAgent-Zero的進化方式包括兩種途徑： 1) 從成功案例中總結(jié)經(jīng)驗，對于能夠答對的診療問題，智能體會像人類醫(yī)生一樣進行病例庫經(jīng)驗積累； 2) 從失敗案例中反思教訓(xùn)，在回答錯誤時，智能體會主動進行錯誤反思并進行反思。 如果反思的經(jīng)驗教訓(xùn)能夠幫助智能體回答對該問題，它將被保留下來并存儲在經(jīng)驗庫中。

最終，研究團隊將在虛擬數(shù)據(jù)上的訓(xùn)練過程中進行上述兩方面的積累進化。在每次推理過程中，智能體從兩個庫中檢索最相似的內(nèi)容并將其加入到Prompt中進行In-context Learning，并根據(jù)回答的正確和錯誤分別進行病歷積累或者是經(jīng)驗總結(jié)，從而實現(xiàn)智能體能力的持續(xù)提升。

醫(yī)學(xué)能力評價

在虛擬醫(yī)院中，研究團隊構(gòu)造了上萬名虛擬病人的病歷用于醫(yī)學(xué)智能體的自主進化實驗，包括甲流、乙流、新冠等8個呼吸道相關(guān)疾病，涉及十余種不同的醫(yī)學(xué)檢查。按照人類醫(yī)生一周治療約100名病人計算，人類醫(yī)生可能需要花兩年診斷10000名病人，但是智能體醫(yī)生只需要幾天就可以完成。

團隊主要從兩方面對虛擬醫(yī)院中的醫(yī)學(xué)智能體進行能力評價。首先是在虛擬環(huán)境中的醫(yī)學(xué)能力評價：如下圖所示，在醫(yī)學(xué)智能體的訓(xùn)練過程中（左圖），隨著診療病人的增加，醫(yī)學(xué)智能體在三個關(guān)鍵任務(wù)上的準(zhǔn)確率持續(xù)上升并逐漸趨于平穩(wěn)；而針對500個測試病歷的實驗則發(fā)現(xiàn)（右圖），在診療病人數(shù)量增加的過程中智能體準(zhǔn)確率略有波動，但整體呈現(xiàn)上升趨勢。

醫(yī)學(xué)智能體在訓(xùn)練集（左圖）和測試集（右圖）上的任務(wù)準(zhǔn)確率情況 隨后，研究團隊對比了醫(yī)學(xué)智能體進化前后在各個疾病上的診斷準(zhǔn)確率，發(fā)現(xiàn)均有大幅提升，驗證了其自主進化的有效性。

智能體進化前后在不同疾病的診斷表現(xiàn)

另一方面，團隊使用了外部數(shù)據(jù)集MedQA的呼吸道疾病子集用于評價醫(yī)學(xué)智能體在真實世界的醫(yī)學(xué)能力。令人驚訝的是，即便在智能體進化的過程中沒有使用任何人工標(biāo)注的數(shù)據(jù)，在診療近萬名病人后，醫(yī)學(xué)智能體能夠在該數(shù)據(jù)集上超越當(dāng)前最好的方法，達到了最高93.06%的準(zhǔn)確率，驗證了模擬環(huán)境中醫(yī)學(xué)智能體自主進化的有效性。  

不同方法在MedQA子集上的正確率

此外，研究團隊開展了消融實驗驗證，結(jié)果表明不管是從成功中積累的樣例還是從失敗中總結(jié)的經(jīng)驗都有助于提升模型的醫(yī)學(xué)能力。

MedAgent-Zero的消融實驗表現(xiàn) 綜上所述，該研究工作構(gòu)建了首個虛擬醫(yī)院場景Agent Hospital，并提出了不依賴人工數(shù)據(jù)標(biāo)注的醫(yī)學(xué)智能體進化算法MedAgent-Zero。在虛擬數(shù)據(jù)和真實數(shù)據(jù)的實驗結(jié)果初步驗證了模擬環(huán)境對于醫(yī)學(xué)智能體能力提升的有效性，為人工智能特別是大語言模型和智能體技術(shù)在智慧醫(yī)療場景的應(yīng)用提出了新的解決方案。但該研究工作目前仍存在一定的局限性，未來團隊將在覆蓋的疾病病種、模擬環(huán)境的細致程度以及模型基座的選擇與優(yōu)化等方面繼續(xù)完善優(yōu)化。

通訊作者簡介

馬為之，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）助理研究員，入選中國科協(xié)“青年人才托舉工程”。研究方向為智能信息獲取、智慧醫(yī)療。個人主頁：https://mawz12.github.io。

劉洋，清華大學(xué)萬國數(shù)據(jù)教授、智能產(chǎn)業(yè)研究院（AIR）執(zhí)行院長、計算機系副系主任，國家杰出青年基金獲得者。研究方向為人工智能、自然語言處理與智慧醫(yī)療。個人主頁：https://nlp.csai.tsinghua.edu.cn/~ly。

相關(guān)知識

AIR觀點｜聶再清：數(shù)據(jù)驅(qū)動的個性化營養(yǎng)健康管理是慢病管理的核心
3999元！云米AI健康監(jiān)測馬桶Air上線 居然還能測血壓
Current status and prospects of air purification and disinfection technology
AIR學(xué)術(shù)｜韓騰：新型感知與反饋自然交互技術(shù)
Health Impact Assessment of Air Pollution from Road Traffic Sources in China
Mass Concentrations, Source Analysis and Health Risk Assessment of Some Emerging Air Pollutants
AI虛擬教練助你練出人魚線，揭秘Keep AI運動技術(shù)實力
Ai健身運動中心！虛擬教練打造“運動處方”
心景科技：精神心理VR數(shù)字療法，助力實現(xiàn)“在虛擬中訓(xùn)練，在現(xiàn)實中康復(fù)”—維科號
心景科技：精神心理VR數(shù)字療法，助力實現(xiàn)“在虛擬中訓(xùn)練，在現(xiàn)實中康復(fù)”

網(wǎng)址: AIR科研｜AIR打造虛擬醫(yī)院，實現(xiàn)AI醫(yī)生自我進化 http://www.gysdgmq.cn/newsview572644.html