AIにおけるデータセットシフト

The Clinician and Dataset Shift in Artificial Intelligence.

Finlayson SG, et al.
N Engl J Med. 2021.
PMID: 34260843

Correspondence
人工知能(AI)はすでに医療現場で使用されている。医療者はAIのユーザーであるとともに問題を喚起する立場でもある。AIが間違えた場合、それに対する準備はできているのであろうか。
臨床向けAIシステムでは、機械学習によってデータから重要なパターンを習得する。AIの不具合は主にデータセットシフトによって生じる。このデータセットシフトは、開発時のデータセットと実行時のデータとの間に不一致があるため起こる現象である。例えば、ミシガン大学では、2019年のコロナ流行に伴う患者背景の変化によって、2020年4月には敗血症アラートモデルが使用できなくなった。これはデータセットが変わり発熱と細菌性敗血症の関係が根本的に変わってしまったためである。これは極端な例であるが、データセットシフトの原因の多くはもっと繊細である。データセットシフトを確実に認識するには、慎重な臨床医とAIガバナンスによる確実な監視の両方が必要である。
AIを使用する際、敗血症の例のようにモデルと自分の臨床判断との間の不一致に注意する必要がある。またAIシステムを使用する臨床医は、臨床行為が非典型的なものか、最近変わったことがないか常に見ていく必要がある。AIガバナンスチームは、臨床医の懸念を簡単に報告できるようにし、フィードバックを提供するべきである。また、チームは、AIのモニタリングと更新規定を確立し、技術と臨床医の声をチェックリストにしてまとめていく必要がある。

感想
AIが常に万能とは限らないことで、似たような懸念は常にあります。自動変換に頼ると漢字を忘れることに似ているでしょうか? 技術に溺れるとでもいうのでしょうか、あまりにAIがうまく予測すると今度はそれに頼ることが続き、正誤が判断できなくなる懸念があります。CT読影など基本的に変わることが少ない分野ではあまり問題にならないでしょうが、私たちの社会全体がAIによって変化すると、またその状況下で働くAIが必要となり、今後直面していく問題かと思います。現在のコロナ診療でもワクチン普及により、年齢がリスクにならなくなっています。これもワクチンが広がればまた考え方が変わるでしょう。このようにわかりやすい例はよいのですが、免疫チェックポイント阻害薬の登場前と後では発熱一つとっても鑑別が変わってきていると思います。人間は何気なくうまく取り入れていますが、鑑別診断のアルゴリズムは確実に変わっています。とは言え、人間の方がうまくやっているつもりですが、実はAIの方がうまくやれる…というやり取りは常に繰り返されています。ハイテク(これも死語?)に頼りすぎることなく、常に自分の頭で考える姿勢はいつまでも必要とされているということです。NEJMの”perspective”と”correspndence”はあまり読まなかったのですが、味わい深い論評があり面白いです。さすが世界の一流雑誌です。