[디지털데일리 이건한 기자] 최근 AI에 대한 병원·의료진의 인식이 긍정적으로 변화하면서 점점 더 많은 AI가 의료 현장에 도입되고 있다. 하지만 동시에 AI의 진단 오류가 의료사고로 이어질 경우 그 책임 소재를 둘러싼 논쟁도 커질 수 있다.

이 가운데 지난 13일 세계적인 의학 학술지 'JAMA(미국의사협회저널)'에 공개된 '오늘과 내일의 AI, 건강, 그리고 헬스케어(AI, Health, and Health Care Today and Tomorrow The JAMA Summit Report on AI)' 보고서가 이 문제를 집중 조명해 눈길을 끈다. 약 50명의 의료분야 전문가가 참여한 이 보고서는 'AI가 가져올 혁신의 이면에는 책임 소재의 불분명함이 가장 큰 난제'라고 지적했다.

◆ 이미 현실이 된 'AI 의사', 어디까지 왔나?

AI에 의한 의료사고 대비를 왜 지금 시작해야 할까? 의료 AI는 더이상 미래 기술이 아니기 때문이다. 보고서는 크게 4개 형태로 의료 현장과 일상에 널리 쓰이는 AI를 구분했다.

1. 임상적 AI (Clinical Tools): 의사의 진단과 치료를 보조하는 AI다. 당뇨병성 안과질환 검사 자동화, 선제적인 패혈증 발생 가능성 경고 시스템 등이 대표적이다. 이 분야는 특히 미국 의료 시스템의 90%가 이미 영상 데이터 활용 AI를 도입했을 만큼 보편적이다. 2. 소비자용 AI (Direct-to-Consumer): 소비자가 직접 사용하는 AI다. 스마트폰 카메라로 피부 질환을 자가진단하거나, 스마트워치로 부정맥을 감지하는 건강 앱 등이 해당된다. 전세계 성인의 30%가 건강 앱을 쓴 경험이 있을 만큼 이 시장도 성장 속도가 빠르다.

3. 병원 운영 AI (Business Operations Tools): 병원의 행정과 운영 효율 개선에 사용되는 AI다. 환자 스케줄링, 병상 관리, 진료비 청구, 보험사의 승인 심사 등이 포함된다. 4. 하이브리드 AI (Hybrid Tools): 진료와 행정 업무를 동시에 지원하는 AI다. 대표적으로 'AI 서기'가 꼽힌다. 환자와 의사의 대화를 듣고 실시간으로 진료 기록을 생성하고 진단이나 치료 계획도 제안할 수 있다. 보고서는 특히 "미국의 모든 의사와 환자 간 대화에 이런 실시간 대화형 AI 에이전트가 동행할 수 있다"고 예측했다.

◆ 책임 소재의 '블랙홀'... 누가 잘못했는가?

위 4개 분야만 보더라도 의료 현장에서 AI의 개입 비중이 상당히 커졌음을 알 수 있다. 다만 그만큼 사고 발생 시 책임 소재도 복잡하다. 보고서는 현재 거론되는 책임 주체를 크게 3개로 정리했다.

1. AI 개발사: 알고리즘을 설계하고 학습시킨 주체다. 2. 병원: 해당 AI 솔루션의 도입을 결정한 주체다. 3. 의사: AI의 제안을 최종 검토하고 임상적 결정을 내린 주체다. 문제는 이들의 책임 범위를 명확히 나누기 어렵다는 점이다. 의사가 AI의 제안을 맹신한 경우라면 의사의 책임이 크다고 볼 수 있다.

하지만 AI가 왜 그런 결론을 내렸는지 설명하지 못하는 '블랙박스' 문제로 인해 의사가 AI의 오류를 인지하기 어려웠다면 개발사의 책임도 크다. 안전성이 충분히 검증되지 않은 AI를 도입한 병원도 책임에서 자유롭지 않다. 보고서는 "무엇보다 의료 과실에 대한 기존 법률체계는 AI를 고려해 설계되지 않았다"며 "결국 의료 소송이 발생하면 개발사, 병원, 의사 모두가 서로에게 책임을 떠넘기는 상황이 발생할 수 있다"고 경고했다.

◆ 문제는 평가 기준과 규제의 부재

이런 혼란은 의료 AI를 제대로 평가하고 규제할 표준 시스템이 없는 점에 기인한다. 다만 보고서의 저자들은 현시점에 의료 AI 도구의 평가를 '매우 어려운 과제'로 규정했다. AI의 효과는 설계 구조뿐 아니라 의사의 숙련도, 병원의 업무환경, 심지어 UI/UX(디자인과 사용자경험)에도 큰 영향을 받기 때문이다. 또한 전통적인 임상시험은 시간과 비용이 많이 든다. AI의 빠른 발전 속도를 따라잡는 건 역부족이라는 설명이다.

규제 상황은 더욱 심각하다. 미국을 예로 들면, 진단·치료용 AI는 FDA(식품의약국)의 감독을 받지만, 행정 지원이나 일반적인 건강 관리용 AI는 규제 대상에서 제외되는 경우가 많다. DTC 앱은 FTC(연방거래위원회)가 허위 광고 여부만 감독할 뿐, 건강에 미치는 영향은 거의 검증하지 않는다. 이처럼 규제 기관이 제각각이고 법적 공백이 많아, 많은 AI 툴들이 충분한 안전성 검증 없이 시장에 출시되고 있다.

이에 보고서의 저자들은 신뢰할 수 있는 의료 AI 생태계를 만들기 위한 4가지 핵심 전략을 제언했다. 첫째는 환자, 의사, 개발사, 규제기관 등 의료 AI의 모든 이해관계자의 협력 모델을 만드는 것이다. 개발사는 병원의 제품 도입 과정을 돕고, 병원은 실제 사용 데이터를 공유하며 안전한 모델 개선에 기여하는 방식이다. 둘째는 AI가 실제 현장에서 안전하고 효과적인지 지속적으로 감시하는 새로운 평가 방법론, 즉 '알고리즘 감시' 체계 도입이다. 의약품 분야에서는 이미 부작용을 추적하는 '약물 감시(Pharmacovigilance)' 개념이 있다.

셋째는 다양한 인종과 환경 데이터를 포함한 '데이터 샌드박스' 구축이다. 이를 통해 AI 모델이 특정 환자 집단에 편향되지 않고, 다양한 의료 환경에서의 안전성을 시뮬레이션할 수 있다. 넷째는 새로운 인센티브 구조 설계다. 각 정부기관의 의료 AI 정책 또한 기업이 단순한 수익 극대화만 추구하도록 두어서는 안 된다. 대신, 환자의 건강 증진을 최우선으로 책임감 있는 AI 개발을 유도하는 정책적 인센티브 마련이 중요하다는 것이다.

◆ "지금도 책임은 본인이 져..." 현실과 동떨어진 우려?

한편 이런 문제에 대한 국내 의료 AI 분야 전문가들의 생각은 달랐다. 특히 보고서의 연구 결과와 달리 의료 AI 사고와 배상 책임 문제는 현재 시장에서 그리 큰 문제가 아니라는 의견이 나왔다.

한 의료 AI 기기 스타트업 관계자 A는 "현재 병원에 보급되는 의료 AI 솔루션은 보통 의사가 선택적으로 활용하는 '진단보조' 도구다. AI 기기의 판독 결과를 의사가 검증하고 판단하기 때문에 아직까지 판독 오류에 대한 큰 문제 제기는 없었다. 병원들도 의료 AI 기기 도입 과정에서 관련 문의를 거의 하지 않는 분위기"라고 설명했다.

익명을 요구한 의사 출신의 또다른 업계 관계자 B도 비슷한 의견을 전했다. 그는 "AI 의료 기기 대부분은 이미 기관 인증을 받은 제품으로, 의사들이 믿고 쓰는 것도 있지만 그 결과물은 자신이 책임진다는 생각"이라며 "의사들 입장에서 AI는 자신이 책임지고 쓰는 다른 의료 도구처럼 좀 더 쓰기 편한 제품일 뿐"이라고 설명했다.

B는 "일반 소비자형 의료 AI들도 비슷하다. 대개 약관상 사용 중 문제 발생에 따른 책임은 사용자에게 묻는 면책 조항이 있을 것"이라며 "의료 AI 기기 제조사 중 '사고 발생 시 우리가 책임질 것'이라고 선언한 유일한 사례는 지난 2018년 FDA 승인을 받은 미국의 'IDx-DR(당뇨병성 망막증 진단 AI)'이 처음이자 마지막이었을 것"이라고 말했다. 이어 "결국 현재 의료 AI 기기 도입과 활용의 문제는 법적 책임보다 보험 수가, 병원 시스템 내 원활한 도입이 어려운 여건 등이라고 본다. 사견이지만, 이번 JAMA 보고서도 현업이 공감보다는 학술적 차원에서 고민하고 제기한 문제로 해석된다"고 덧붙였다.