Physical AI Deployment Assurance란 무엇인가

영상이 아니라 증거 — Physical AI Deployment Assurance 시리즈 2편.

1편은 하나의 이름으로 끝났다.

그 글의 주장은 이랬다. 완벽해 보이는 데모와 실제 현장 배치 사이의 간극은 우연이 아니라 구조적인 문제다. 데모는 일종의 존재 증명이다. 반면 현장 배치는 세상이 실제로 만들어내는 조건들에 대한 주장이다. 그리고 인터넷 소프트웨어가 자신의 간극을 넘을 때 사용했던 방식, 즉 배포하고, 실패를 보고, 패치하는 방식은 사람과 공간을 공유하는 기계에는 그대로 적용되지 않는다.

이런 간극을 건너게 해주는 것은 더 큰 데모가 아니다.

필요한 것은 하나의 분야다.

나는 그것을 Physical AI Deployment Assurance(피지컬 AI 배치 보증)라고 부르려 한다.

물론 이름만 붙이는 것은 쉽다. 중요한 것은 그 이름 안에 무엇이 들어가는지, 어떤 증거를 요구하는지, 그리고 무엇은 아닌지를 분명히 하는 일이다.

병원에서 물품 배송 로봇이 성공적인 파일럿을 마쳤다고 해보자. 로봇은 복도를 지나고, 의료진을 피하고, 엘리베이터를 호출하고, 필요한 물품을 배송했다. 영상으로도 잘 남았다.

하지만 현장 배치의 질문은 “이 로봇이 이 일을 한 번 할 수 있는가”가 아니다.

질문은 이것이다.

이 병원이 그 로봇을 매일 운용해도 되는가? 교대 시간에도, 환자와 보호자가 오가는 상황에서도, 카트와 청소 인력이 지나가는 상황에서도, 네트워크가 불안정할 때도, 소프트웨어가 업데이트된 뒤에도, 그리고 예외 상황에 누군가의 책임이 걸려 있을 때도?

이 질문에 답하기 위해 필요한 분야가 바로 Physical AI Deployment Assurance다.

정의

Physical AI Deployment Assurance는 다음을 위한 분야다.

물리적 세계에서 작동하는 AI 시스템이 특정 현장에서, 명시된 가정 아래, 받아들일 수 있는 수준의 위험으로 운용될 수 있다는 방어 가능한 증거를 만들고, 그래도 남는 위험을 누가 책임질지 분명히 하는 일.

데모는 이렇게 말한다.

작동한다.

Assurance는 이렇게 말한다.

이곳에서 운용해도 된다.

이 정의에서 특히 중요한 단어가 세 개 있다.

첫째, 특정 현장이다. Assurance는 로봇 일반에 붙는 보편적 속성이 아니다. 같은 로봇이라도 어떤 현장에서는 받아들일 수 있고, 다른 현장에서는 받아들이기 어려울 수 있다.

둘째, 방어 가능한 증거다. 여기서 증거는 박수를 칠 준비가 되어 있는 관객을 설득하는 자료가 아니다. 실제 이해관계가 걸린 회의적인 사람, 즉 운영자, 인증기관, 보험사, 법률 담당자도 받아들일 수 있어야 한다.

셋째, 남는 위험이다. 어떤 진지한 현장 배치도 위험을 0으로 만들 수는 없다. 증거는 위험을 줄이고, 이해 가능하게 만들고, 관리 가능하게 만들 수 있다. 하지만 위험을 완전히 지우지는 못한다. Assurance는 무위험을 약속하지 않는다. 남는 위험이 무엇인지, 그 위험을 계산한 가정이 무엇인지, 그리고 그 위험을 누가 떠안을지를 밝힌다.

세 가지 질문, 세 개의 기둥

1편은 어떤 모델 개선 이후에도 남는 세 가지 질문으로 끝났다.

이 현장에 대해 정확히 무엇을 약속하는가?

합리적인 회의론자가 그 약속을 받아들이려면 어떤 증거가 필요한가?

그 약속을 지킨 뒤에도 남는 위험은 누가 소유하는가?

이 질문들에 답하려면 세 가지 서로 연결된 주장을 다루어야 한다.

에이전트를 신뢰할 수 있어야 한다.
환경이 준비되어 있어야 한다.
운영이 남은 위험을 감당할 수 있어야 한다.

에이전트. 환경. 운영.

각각 하나의 기둥이다.

첫 번째 기둥: 에이전트

에이전트 기둥은 보통 벤더가 주도한다. 여기서 물어야 할 질문은 “작동하는가”가 아니다.

질문은 이것이다.

어떻게 실패하는가, 얼마나 자주 실패하는가, 그리고 어떤 명시된 가정 아래에서 그런가?

이 영역에서 필요한 증거는 성공 영상이 아니다. 필요한 것은 가정이 붙어 있는 정량적 실패 확률에 가깝다. 센서 조건, 장애물의 행동, 지연 시간의 범위, fallback mode, 학습 분포가 아직 현실을 설명한다고 볼 수 있는 영역 같은 것들이 함께 제시되어야 한다.

이런 주장을 만들기 위한 기술적 도구들은 이미 어느 정도 존재한다. Risk-constrained control, distribution-free prediction interval, distribution shift에 대한 robustness margin, reachability analysis, stress testing, runtime monitoring 등이 모두 기여할 수 있다. 이후 글들에서 이들 중 일부를 더 다룰 것이다.

하지만 기술적 도구만이 병목은 아니다.

많은 경우 벤더는 안전성 숫자를 요구받지만, 정작 그 숫자가 어느 선을 넘으면 충분한지, 기준선은 받지 못한다.

무엇과 비교해서 안전한가?
어느 신뢰수준에서 안전한가?
누가 그렇게 결정하는가?

이 질문은 따로 다룰 가치가 있다. 다음 글의 주제다.

두 번째 기둥: 환경

환경은 고아가 된 기둥이다. 모두가 그것에 의존하지만, 거의 아무도 그것을 자기 책임으로 여기지 않는다.

같은 로봇이라도 교대 시간의 병원 복도에서 운용될 때와 새벽 3시의 텅 빈 물류창고에서 운용될 때 위험은 전혀 다르다. 1편에서 말했듯이, 현장 배치는 세상이 선택하는 조건들로 평가된다. 그리고 그 조건을 실제로 만들어내는 곳이 바로 현장이다.

현장 준비 상태는 하나의 항목이 아니다. 여기에는 공간 구조, 조명, 반사면, 여유 폭, 바닥 상태, 사람의 이동 패턴, 네트워크 연결성, 엘리베이터 접근성, 비상 절차, 사람이 개입해야 하는 상황, 그리고 로봇의 경로를 막는 임시 안내판을 누가 치울 것인가 같은 아주 사소해 보이는 문제까지 포함된다.

이 모든 것은 평가 가능하다.

그런데 많은 프로젝트에서 현장 준비 상태는 사전에 평가 항목으로 등장하지 않는다. 대신 정식 가동 이후 다른 이름으로 나타난다.

예상치 못한 현장 조건.

벤더는 이상화된 현장을 가정했다. 운영자는 로봇이 현실을 알아서 처리할 것이라고 가정했다.

사고는 바로 이 두 가정 사이에서 발생한다. 그리고 그렇기 때문에, 양쪽의 문서 어디에도 그 문제가 충분히 명확하게 적히지 않는 경우가 많다.

세 번째 기둥: 운영

운영 기둥은 파일럿 팀이 떠난 뒤에도 그 시스템과 함께 살아야 하는 주체의 몫이다.

컨트롤러를 신뢰할 수 있고, 현장도 준비되어 있다고 해보자. 그래도 위험은 남는다. 언제나 그렇다.

이 기둥은 그 남은 위험의 장부다. 실제로 구속력을 갖는 인수 기준(acceptance criteria), 어제의 증거가 의존했던 가정이 오늘도 유효한지 감지하는 모니터링, 사고 대응, 보험, 유지보수, 개입·정지 권한(fallback authority), 그리고 오늘 밤 소프트웨어 업데이트가 지난달의 승인에 어떤 의미를 갖는지까지 포함한다.

1편에서 말했듯이, 구매 문서, 안전 문서, 기술 보고서, 보험 논의는 너무 자주 서로를 참조하지 않는다.

이 기둥은 그 문서들이 만나야 하는 장소다.

운영 기둥은 세 기둥 중 가장 덜 기술적이다. 하지만 실제 배치가 가장 자주 멈추는 곳이기도 하다. 여기서 위험은 더 이상 숫자가 아니다. 누군가의 책임이 된다.

배치 보증이 아닌 것

경계를 분명히 하는 일은 정의를 내리는 것만큼 중요하다.

배치 보증은 여러 인접 분야와 겹치지만, 그 어느 하나와도 완전히 같지는 않다.

AI safety에서 도구를 빌려오지만, AI safety는 주로 컨트롤러를 어떻게 더 좋게 만들 것인가를 묻는다. 배치 보증은 이렇게 묻는다.

이 컨트롤러가, 이 현장에서, 이 증거를 바탕으로, 충분히 좋은가?

AI governance와 model assurance에서도 도구를 빌려온다. 하지만 이 분야들은 종종 조직의 절차와 관리 체계를 감사한다. 배치 보증은 거기에 더해 물리적 장소 안에서 작동하는 물리적 시스템에 대한 주장을 만들어야 한다.

고전적인 verification and validation에서도 배울 것이 있다. 하지만 학습 기반 컨트롤러는 업데이트되고, fine-tuning되고, 현장 drift에 노출된다. 승인받는 대상이 가만히 서 있지 않는다.

인접 분야들은 각자 중요한 도구를 제공한다. 하지만 오늘날의 실무에서 이 세 질문, 즉 에이전트, 환경, 운영을 한 번에 충분히 답하는 분야는 아직 뚜렷하지 않다.

왜 지금인가: 청구서의 항목들

1편에서 나는 청구서가 도착하고 있다고 말했다. 이번에는 그 항목을 조금 더 구체적으로 보자.

안전 책임을 모호하게 남겨두기가 점점 어려워지고 있다. 한국에서는 중대재해처벌법 이후 심각한 산업재해가 경영진 차원의 문제가 되었다. 유럽에서는 AI Act와 Machinery Regulation이 안전이 중요한 AI와 소프트웨어 구성요소에 대해 더 명시적인 위험관리, 제품안전 논리, 적합성 평가를 요구하는 방향으로 움직이고 있다.

관할권마다 세부 내용은 다르다. 하지만 방향은 비슷하다.

피지컬 AI 시스템은 점점 더 검토를 견딜 수 있는 안전성 주장을 요구받게 될 것이다.

인증기관은 코드 목록이 아니라 통계적 주장으로 행동하는 컨트롤러를 평가해야 한다. 보험사는 사고 이력이 거의 없는 시스템의 위험을 가격화해야 한다. 운영자는 조달 과정에서 이름 붙여지지 않았던 남은 위험을 안고 시스템을 돌려야 한다.

서로 다른 세 제도가 사실상 같은 것을 요구하고 있다.

증거를 보여달라. 가정을 보여달라. 그리고 남은 위험의 주인을 보여달라.

그 주장을 만들어내는 것이 이 분야의 일이다.

누구를 위한 글인가

로봇을 만드는 사람에게는 evidence pack, 즉 증거 묶음이 제품의 일부가 되고 있다. 데모만이 아니라, 이 시스템을 실제로 운용해도 된다는 증거가 판매 주기의 길이를 결정한다.

현장을 운영하는 사람은 이름을 붙이든 붙이지 않든 남은 위험을 구매하고 있는 셈이다. Assurance는 그 위험이 얼마나 되는지 알아내는 방법이다.

시스템을 인증하는 사람에게는 학습 기반 컨트롤러의 통계적 주장을 승인해야 하는 상황이 올 것이다. 문제는 어떤 근거로 승인할 것인가다.

보험을 설계하는 사람에게는 보험료가 사실상 산업의 안전 기준선이 될 수 있다. 의도했든 아니든 그렇게 된다.

법률 담당자에게는 기록되지 않은 위험이 사라지는 것이 아니라는 점이 중요하다. 그것은 단지 문서상 흔적을 잃을 뿐이다. 그리고 시정 조치로 이어진 증거와, 파일에 보관만 되었다가 무시된 증거는 전혀 다르게 읽힌다.

앞으로의 방향

이 시리즈는 하나의 분야를 그려보려 한다. 어떤 질문이 필요한지, 누가 결정하고 누가 비용을 부담하는지를 둘러싼 갈등은 무엇인지, 그리고 어떤 방법들이 주장을 방어 가능하게 만드는지를 다룰 것이다.

출발점은 이 분야가 가장 약한 곳이다.

위험 숫자를 만드는 것은 상대적으로 쉽다. 그 숫자의 기준선을 책임지는 것은 어렵다.

얼마나 안전해야 충분히 안전한가?

그리고 정확히 누가 그것을 결정하는가?

다음 글은 그 질문에서 시작한다.

이 글은 개인 의견이며, 소속 기관이나 자문하는 조직의 입장을 대표하지 않습니다.