[디지털데일리 강소현 기자] 암호기술의 역사는 흔히 ‘창과 방패’의 싸움에 비유된다. 더 강력한 공격 기술이 등장할 때마다 이를 막기 위한 새로운 암호체계가 개발돼 왔기 때문이다.

1970년대 공개키 기반 RSA 암호체계의 등장으로 잠시 휴전 상태에 접어들었던 이 싸움도 최근 새로운 국면을 맞았다. 기존 슈퍼컴퓨터로는 수천~수만 년이 걸릴 계산을 단 몇 분 만에 해결할 수 있는 ‘양자컴퓨터 시대’가 가시화되면서다.

양자컴퓨터 시대에 대비한 차세대 보안기술 선점 경쟁 역시 본격화되고 있다. 양자역학 원리를 활용해 도청 여부까지 탐지할 수 있는 양자키분배(QKD) 기술이 대표적이다.

다만 기술적 우수성과 별개로 QKD 확산의 벽은 여전히 높다. 최근 SK텔레콤이 유럽연합(EU) 연구개발 프로그램인 '호라이즌 유럽(Horizon Europe)' 양자 프로젝트에 참여한 것도 이 때문이다.

호라이즌은 EU에서 운영하는 대표적인 연구기금으로, 규모는 약 955억유로(약 170조원)다. 우리나라는 2025년 7월 아시아 국가 최초로 준회원국으로 가입해 유럽으로부터 직접 예산을 지원받을 수 있게 됐다. SK텔레콤은 양자암호 분야 전문성을 바탕으로 아시아 민간기업으로는 최초로 연구비를 지원받는 기회를 얻었다.

지난 16일 <디지털데일리>는 최정운 SK텔레콤 퀀텀 테크(Quantum Tech) 팀장을 만나 이번 프로젝트가 가지는 의미에 대해 들어봤다.

◆ 도청은 막는데 시장은 못 뚫었다…QKD 확산 막는 벽

양자암호통신 기술은 데이터 암호화 방식에 따라 크게 양자키분배(QKD)와 양자내성암호(PQC)로 구분된다. 데이터를 암호화·복호화하는 데 사용된 값을 '암호키'라고 부르는데 QKD는 양자의 물리적 특성, PQC는 복잡한 수학 알고리즘에 기반한 암호키를 생성한다.

특히 QKD는 제3자가 암호키를 관측하는 순간 양자 상태가 변하는 특성(비가역성)을 활용하기 때문에 도청 시도 자체를 탐지할 수 있다는 점에서 차세대 보안 기술로 주목받고 있다.

이 분야에서 최정운 팀장은 ETRI 시절부터 연구를 이어온 전문가다. 2011년 SK텔레콤 합류 이후 10년 넘게 양자 사업을 담당하며 관련 기술 개발과 사업화를 병행해 왔다.

다만 QKD의 시장 안착 과정은 생각만큼 순탄치 않았다. 기술 개발과 상용화에는 성공했지만 높은 비용과 제한적인 활용처 탓에 시장 확산은 더디게 진행됐다.

QKD는 확실한 보안성을 제공하지만, 별도의 양자키분배장치와 안정적인 양자키분배채널 등 고가의 하드웨어를 요구해 확장성이 떨어진다는 한계가 있었다. 현재 상용 QKD 장비는 송신부와 수신부를 포함한 한 쌍 기준 수억원 수준으로 알려져 있다.

전송거리 역시 제약 요소로 꼽혔다. 현재 상용 환경에서 약 100km 수준이 현실적인 전송 거리로 평가되며, 그 이상 구간에선 중간 노드와 추가 장비가 필요해 구축 비용과 운영 부담이 커지기 때문이다.

최 팀장은 "QKD는 소프트웨어 기반 암호기술이 아니라 실제 물리 현상을 구현해야 하는 기술"이라며 "절대적인 안전성을 제공하지만 하드웨어가 반드시 따라가야 하고 장비를 설치·운영해야 하기 때문에 네트워크 확장성에 한계가 있다"고 설명했다.

◆ 장비값 10분의 1, PIC·AI로 QKD 대중화 승부수

그가 이번 호라이즌 유럽 프로젝트에 의미를 두는 이유도 여기에 있다. 기술적 우수성에도 불구하고 확산에 어려움을 겪어온 QKD가 본격적인 상용화의 전기를 마련할 수 있다는 판단에서다.

이번 프로젝트의 목표는 차세대 'QPIC-AI(Quantum Photonic Integrated Circuit-AI)' 기반 QKD 시스템을 구현·실증하는 것이다.

핵심은 광자집적회로(PIC)다. PIC는 레이저와 변조기, 광분배기 등 여러 광학 부품을 하나의 반도체 칩에 집적하는 기술이다. 현재 QKD 시스템 가격의 상당 부분은 광학 부품이 차지하는데, PIC를 적용하면 광학계 상당 부분을 칩 수준으로 집적할 수 있어 비용과 전력 소모를 크게 줄일 수 있을 것으로 기대된다.

특히 최 팀장은 PIC 기술이 적용될 경우 QKD 장비 가격을 현재 대비 10분의 1 수준까지 낮출 수 있을 것이라고 봤다.

그는 "현재 QKD 시스템의 약 3분의 2는 광학 컴포넌트로 구성돼 있는데, 개별 부품 가격이 수백만원에 달하기 때문에 장비 가격이 높을 수밖에 없는 구조"라며 "(QKD 장비값이) 수천만원 수준까지 낮아질 수 있다면 기존 VPN 장비와 비교 가능한 수준이 되고 보다 넓은 시장으로 확산될 수 있을 것"이라고 강조했다.

이번 프로젝트의 또 다른 축은 AI다. PIC가 QKD 장비의 가격과 크기를 줄이는 역할을 한다면, AI는 확산 과정에서 남아 있는 또 다른 과제인 광학계 안정화 문제를 해결하는 데 초점이 맞춰져 있다.

현재 QKD 시스템은 온도와 진동, 광섬유 상태 변화 등에 민감하게 반응한다. 작은 환경 변화만으로도 광학 상태가 달라질 수 있어 지속적인 보정 작업이 필요하다. 실제 시스템을 구축·운영하는 과정에선 이 같은 안정성 확보가 기술 상용화의 핵심 과제로 꼽힌다.

최 팀장은 "기존에는 고정된 알고리즘으로 장비를 제어했다면 앞으로는 머신러닝 기반 AI가 환경 변화를 학습하며 최적 상태를 유지하게 될 것"이라며 "궁극적으로는 연구 성과 자체보다 실제 현장에서 안정적으로 운영 가능한 시스템을 만드는 데 의미가 있다"고 설명했다.

◆ 고객과 QKD 접점 확대 목표…"3~5년 내 상용 수준 결과물 도출"

최근 업계에선 PQC가 먼저 차세대 암호체계의 표준으로 자리 잡을 것이라는 전망도 나온다. 기존 네트워크 인프라를 활용할 수 있다는 점에서 확산 속도가 빠를 것으로 예상되기 때문이다.

하지만 최 팀장은 PQC와 QKD를 대체 관계로 보지 않았다. PQC 소프트웨어 형태로 물리적 암호가 아닌 동형암호(4세대)의 확장된 개념으로 물리적 특성이 반영되진 않은 말그대로 양자‘내성’암호기 때문이다.

그는 "PQC 역시 매우 중요한 기술이지만 결국 수학적 알고리즘 기반 기술"이라며 "QKD는 물리 법칙을 기반으로 도청 여부 자체를 탐지할 수 있다는 점에서 고유한 가치가 있다"고 말했다. 이어 "향후에는 하나의 기술이 모든 것을 대체하기보다 PQC와 QKD가 함께 활용되는 하이브리드 형태가 될 가능성이 높다"고 전망했다.

실제 SK텔레콤의 전략도 특정 기술 하나에 집중하기보다 다양한 양자보안 기술을 현실 서비스에 접목하는 데 맞춰져 있다. 2018년 스위스 양자암호 기업 IDQ(아이디퀀티크)에 투자한 데 이어 양자난수생성기(QRNG)를 상용화했고, 과학기술정보통신부 및 NIA와 함께 세계 최초 양자통신 기반 전용회선 서비스를 선보였다. 양자암호통신 장비 인증체계 구축에도 참여하며 국내 초기 시장 형성에 기여해 왔다.

최 팀장은 지난 10여년의 경험을 돌아보며 가장 어려운 과제로 '시장과의 접점'을 꼽았다. 기술 개발이나 상용화 자체보다 고객이 실제 사용할 수 있는 형태로 만드는 과정이 더 어렵고 오래 걸렸다는 설명이다.

이런 점에서 그는 이번 호라이즌 유럽 프로젝트 역시 단순한 연구과제가 아니라 양자 기술을 실제 네트워크 환경으로 끌어오는 과정의 연장선으로 보고 있다. 프로젝트 참여 기관 가운데 유일한 통신사인 SK텔레콤은 PIC 기반 QKD 시스템 개발과 테스트베드 구축·검증을 맡아 상용화 가능성을 검증할 예정이다.

이를 바탕으로 SK텔레콤은 향후에도 연구개발에 머무르지 않고 QKD를 실제 서비스와 사업으로 연결하는 데 집중한다는 계획이다.

최 팀장은 "SK텔레콤이 개발한 기술들을 기존 보안 기술과 결합해 고객들이 쉽게 사용할 수 있는 형태로 만들려고 노력해 왔고 앞으로도 실제 서비스와 사업으로 연결할 수 있는 접점을 만드는 데 집중할 계획"며 "개인적으로는 QKD도 3~5년 안에 실제 상용 시스템과 유사한 수준의 결과물을 만들어 시장에서 의미 있는 접점을 확보하는 것이 목표"라고 전했다.