AI 스타트업 포티투마루 김동환 대표가 26일 서울 서초구 드림플러스 강남에서 열린 ‘2026 AI Safety Compass(이하 2026 ASC)’ 컨퍼런스에 ‘신뢰할 수 있는 에이전틱 AI 확보 방안’을 주제로 발표하고 있다.[사진=포티투마루]

[디지털데일리 오병훈기자] 자율적으로 업무를 수행하는 ‘에이전틱 AI’ 도입이 본격화되는 가운데 초거대 AI의 불확실성 한계를 극복하고 신뢰성과 안전성을 확보해야 한다는 목소리가 높아지고 있다.

에이전틱 AI 스타트업 포티투마루 김동환 대표는 26일 서울 서초구 드림플러스 강남에서 열린 ‘2026 AI Safety Compass(이하 2026 ASC)’ 컨퍼런스에 ‘신뢰할 수 있는 에이전틱 AI 확보 방안’을 주제로 발표했다. 국제인공지능윤리협회(IAAE)가 주최한 이번 행사는 ‘AI 에이전트의 보안과 기업의 신뢰 구현 전략’을 핵심 의제로 다뤘다.

먼저 김 대표는 생성형 AI가 단순 질의응답이나 초안 작성을 넘어 스스로 계획을 수립하고 의사결정을 내리며 물리적 현실 세계에서 액션을 취하는 에이전틱AI 및 피지컬 AI 시대로 진입했다고 진단했다.

김 대표는 “AI가 결정하고 움직이는 하나하나가 현실 세계에 상당한 영향을 미치기 때문에 AI 기술 자체 신뢰성, 안전성, 윤리성 확보가 그 어느 때보다 중요해졌다”며 “에이전틱AI 시대에는 한치의 오류나 보안 취약점도 허용하지 않는 ‘절대적 신뢰성’과 하네스 엔지니어링이 기업 비즈니스와 AI 전환(AX)의 사활을 결정짓는다”고 강조했다.

김 대표는 이에 대응하기 위한 포티투마루 서비스를 소개했다. 포티투마루는 검색증강생성 기술 ‘RAG42’와 기계독해 서비스 ‘MRC42’, 도메인 특화 경량화 언어모델(LLM42) 등 기술을 바탕으로 환각(할루시네이션)을 최소화하는데 집중하고 있다.

또 LLM42을 통해 은행, 증권 등 금융권, 자동차, 조선해양, 건설, 제철 등 제조 엔지니어링 분야에 산업별 맞춤형 시스템을 구축해왔다는 설명이다.

포티투마루는 회사 차원에서 시스템적인 한계를 보완하기 위해 내부 거버넌스와 개발 문화 혁신 작업도 이어가고 있다. 개발팀과 분리된 별도 품질관리(QC) 전담 조직을 신설하고 자체 시스템 검증 후 출시 전 외부 전문가 검증 절차도 도입했다.

또 레드팀 챌린지에 주기적으로 출전해 보안 취약점을 선제적으로 점검하는 한편 소스코드 버전 관리가 이뤄지지 않으면 아예 시스템 릴리즈를 강제로 차단하는 엄격한 자체 품질관리 체계를 확립했다.

마지막으로 김 대표는 “기존에 신뢰성 체계를 만들어두지 않는다면 리스크가 큰 시장으로 넘어가며 급하게 세팅하려 할 때 최소 6개월에서 1년 이상이 걸릴 수 있다”며 “컨설팅이나 시스템 구축에 그치지 않고 당장 문제가 터지지 않아 우선순위가 떨어지기 쉬운 평시에도 경영진이나 최고기술책임자(CTO) 등 리더들이 조직 내에서 시스템이 작동하도록 지속적으로 관심을 가져야 한다”고 강조했다.