ChatGPTと医師を比較した研究で医師を上回った

患者からの問い合わせに対応するChatGPTと医師を比較した新しい研究では、回答の質と共感を向上させたAIが明らかに優位であることが示されました。

 

https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2804309

 

質問 人工知能のチャットボットアシスタントは、患者さんの質問に対して、医師が書いたものと同等の品質と共感性を持つ回答を提供することができますか?

 

結果 この横断研究では、ソーシャルメディアフォーラムから無作為に抽出した195の患者の質問を対象に、ライセンスを持つ医療専門家のチームが、公共のソーシャルメディアフォーラムで公開された患者の質問に対する医師とチャットボットの回答を比較しました。チャットボットの回答は、医師の回答よりも好まれ、品質と共感性の両方で有意に高く評価されました。

 

意味 この結果は、人工知能アシスタントが、患者さんの質問に対する回答を作成する際の手助けとなる可能性を示唆しています。

 

アブストラクト
重要性 バーチャルヘルスケアの急速な拡大により、医療従事者の仕事量と燃え尽き症候群の増加に伴い、患者からのメッセージが急増しています。人工知能(AI)アシスタントは、臨床医が確認できる回答を作成することで、患者の質問に対する回答を作成するのに役立つ可能性があります。

 

目的 2022年11月にリリースされたAIチャットボットアシスタント(ChatGPT)が、患者の質問に対して質の高い共感的な回答を提供する能力を評価すること。

 

デザイン、設定、参加者 この横断研究では、公共のソーシャルメディアフォーラム(Redditのr/AskDocs)の質問の公開および非特定化データベースを使用して、検証済みの医師が公開質問に回答した2022年10月の195件のやりとりをランダムに抽選しました。チャットボットの回答は、2022年12月22日と23日の新鮮なセッションに元の質問を入力することで生成されました(セッション内で事前に質問が行われていない状態)。元の質問と、匿名化されランダムに並べられた医師とチャットボットの回答は、ライセンスを持つ医療専門家のチームによって3重に評価されました。評価者は「どちらの回答が良かったか」を選択し、「提供された情報の質」(非常に悪い、悪い、許容範囲、良い、非常に良い)と「提供された共感やベッドサイドマナー」(共感しない、少し共感する、適度に共感する、共感する、非常に共感する)の両方を判断しました。平均的な成果は1~5のスケールで順序付けられ、チャットボットと医師の間で比較された。

 

結果 195の質問と回答のうち、評価者は585の評価のうち78.6%(95%CI、75.0%-81.8%)で医師の回答よりチャットボットの回答を優先した。医師の回答の平均値(IQR)は、チャットボットの回答よりも有意に短かった(52 [17-62] 語 vs 211 [168-245] 語、t = 25.4; P < 0.001).チャットボットの回答は、医師の回答よりも有意に高品質と評価された(t = 13.3; P < .001)。例えば、「良い」または「非常に良い」と評価された回答(≧4)の割合は、医師よりもチャットボットの方が高かった(チャットボット:78.5%、95% CI, 72.3%-84.1%; 医師:22.1%、95% CI, 16.4%-28.2%;).これは、チャットボットの良質な回答や非常に良質な回答の普及率が3.6倍高いことに相当します。また、チャットボットの回答は、医師の回答よりも有意に共感的と評価された(t = 18.9; P < .001)。共感的または非常に共感的(≧4)と評価された回答の割合は、医師よりもチャットボットの方が高かった(医師:4.6%, 95% CI, 2.1%-7.7%; chatbot:45.1%, 95% CI, 38.5%-51.8%; 医師:4.6%, 95% CI, 2.1%-7.7%)である。これは、チャットボットの方が、共感的または非常に共感的な回答の有病率が9.8倍高いことになります。

 

名無しの外国人1
現在、医療問題に取り組んでいる者として、GPTと自分の主治医とでは、私の質問に対してより良いより共感的な回答を得たことを確認できます。もちろん、主治医からの簡単な質問に対する回答を得るために24時間以上待たされたことは言うまでもありません。

 

名無しの外国人2

 

つまり、チャットは保険の事務手続きや妻に先立たれたり、その他、医者の気を散らすような全てのつまらないことに対処する必要がないんです。その上、医師の中には傲慢な人もいる。

 

名無しの外国人3

 

医療はイノベーションの導入が非常に遅れています。すぐにChatbotが医師の代わりになることはないでしょう。なぜなら、ここにいる人たちが考えているようなこととは異なり、チャットボットがいくつかの統計で優れているからといって、そのような規制のある分野で働くための認定にはならないからです。

 

名無しの外国人4

 

DragonX(大規模な医療システムに関連する医師の大半が使用しているディクテーションソフトウェア)は、すでに今年の夏にGPT-4の統合版をリリースすることを発表しています。Epic EHRも今年後半に統合を発表しています。私が一緒に仕事をしてきた医師の大部分は、患者対応メールや保険会社への手紙などを書くのに使ってきました。

 

名無しの外国人5

 

AIは○○ができてすごい、という時代は終わり
AIはまだ○○ができない、という時代になったな。

 

名無しの外国人6

 

AIは進歩したかもしれませんが、ロボットはもっと時間がかかると思います。ERの医師が行うような処置を行うには、完全な機能を備えた手術用ロボットが必要でしょう。特に、過去10年間の医師給与の高騰を考慮に入れたとしても、AIが支援する設計では医師の費用よりはるかに高くつくはずです。視覚に加え、人間の触覚や手先の器用さを代替する必要があり、さらに安価でなければなりません。

 

怪我をして救急病院に行くと、胸部チューブ挿入機と看護師がいるなんて想像もできませんね。そして、その機械は、縫合、出産、内耳チューブ挿入、アートライン挿入、中心静脈ライン挿入、その他100の処置を行うための拡張機能を備えているはずです。ロボットへの依存度が高い産業であっても、安価な機械1台で工場内のすべての作業を代替できる万能ロボットは存在しない。

 

 

Widget is loading comments...
page top