똑똑한 AI 직원의 위험한 독주

AI 에이전트가 실제 업무 현장에 투입되기 시작했다. AI 에이전트란 목표가 주어지면 스스로 상황을 파악하고, 계획을 세우고, 필요한 도구를 골라 작업을 완료하는 자율적인 인공지능 소프트웨어 프로그램이다. 사람의 지속적인 개입 없이도 독립적인 업무 처리가 가능해지면서, AI 에이전트는 조직의 ‘새로운 직원’으로 주목받고 있다. 그런데 이 똑똑한 AI 에이전트가 회사의 규칙을 어기거나, 우리가 의도하지 않은 행동을 한다면 어떻게 될까? 과연 우리는 이 새로운 직원에게 안심하고 일을 맡길 수 있을까?

AI 에이전트가 자율적으로 작업을 수행하되, 조직의 목표와 의도를 벗어나지 못하도록 울타리를 쳐주는 방법, '하네스 엔지니어링(Harness Engineering)'에 대해 살펴본다.


지시(Prompt)를 넘어, 통제(Harness)로!
AI를 다루는 기술의 확장

AI가 진화하면서 AI를 효과적으로 활용하기 위한 방법도 함께 발전해왔다. 초기에는 AI로부터 원하는 답을 얻기 위해 지시문을 정교하게 설계하는 프롬프트 엔지니어링(Prompt Engineering)이 주목받았다. 이후 AI가 더 복잡하고 긴 작업을 수행하게 되면서, 지시문만으로는 AI가 제대로 된 판단을 내리기 어려워졌다. 복잡한 작업일수록 AI는 더 많은 배경 정보가 필요한데, 지시문 하나에 그걸 다 담을 수 없기 때문이다. 이에 따라 AI에게 필요한 데이터와 맥락을 언제, 어떤 형식으로 전달할지 설계하는 컨텍스트 엔지니어링(Context Engineering)이 중요해졌다.

최근에는 ‘AI 에이전트’의 도입이 늘면서 또 한 번의 전환점을 맞이하고 있다. AI의 행동을 안정적으로 통제할 수 없다는 우려가 생기고 있기 때문이다. 일례로 2025년 7월, 한 개발자가 AI 에이전트에게 작업을 맡기면서 "코드에 손대지 말 것"를 반복해서 지시했다. 그러나 작업 9일째 되던 날, AI는 이 지시를 무시하고 임원 1,200여 명, 기업 1,190여 개의 데이터를 삭제했다. 복구를 요청하자 AI는 불가능하다고 답했다. 그 답변 역시 사실이 아니었다. 개발자는 결국 수동으로 데이터를 되찾았다.

이후 사람들은 더 정교한 지시 대신, AI가 일하는 환경 자체를 바꾸는 방법을 고민하기 시작했다. 이 문제를 해결하는 방법론이 하네스 엔지니어링(Harness Engineering)이다. 하네스(Harness)는 원래 말에게 채우는 마구(馬具)를 뜻한다. 마구를 채운 말이 기수의 통제 아래 힘을 발휘하듯, 하네스는 '어떤 힘을 통제해서 유용하게 쓴다'는 의미로 확장되어 쓰인다. 이 개념에 기반한 하네스 엔지니어링은 AI 에이전트가 안정적으로 작동하도록, 접근 권한, 실행 구조(어떤 도구를 쓸 수 있고, 어떤 조건에서 실행이 허용되는지), 인간 개입 지점 등을 설계하는 것이다.


잘 설계된 하네스 없이, AI 에이전트에게 일을 맡기면 생기는 일

고객 응대, 영업 지원, 계약 검토까지… AI 에이전트를 실제 업무에 적용하려는 시도가 확산되고 있다. 그런데 여기서 간과하기 쉬운 부분이 있다. AI가 그 업무를 수행할 수 있는 것과, 조직이 안심하고 맡길 수 있는 것은 전혀 다른 문제다. 실제 업무 현장에서 AI가 통제 범위를 벗어나면 어떤 일이 벌어질까? 몇 가지 가상의 사례를 통해 살펴보자.

1) “보이니까 봤을 뿐” AI 에이전트가 기밀까지 열람한 경우

고객 맞춤형 제안서를 작성하는 ‘영업 지원 에이전트’를 떠올려보자. 이 에이전트의 본래 역할은 고객의 구매 기록과 상담 이력을 참고해 제안서 초안을 만드는 것이다. 그런데 에이전트가 CRM뿐 아니라 사내 전체 문서에 접근할 수 있는 상태였다. 제안서의 설득력을 높이기 위해 우수 영업 직원의 성공 사례를 찾는 과정에서, 에이전트는 영업 성과 리포트뿐 아니라 인사 평가 자료와 보상 관련 문서까지 검색 결과로 가져왔다.

에이전트가 규칙을 의도적으로 어긴 것은 아니다. 문제는 의도가 아니라 구조에 있다. 지침에 “인사 정보는 참고하지 말라”고 적어두는 것만으로는 이런 동작을 안정적으로 막기 어렵다. 애초에 영업 지원 에이전트가 접근할 수 있는 데이터 범위를 고객 정보와 영업 관련 문서로 제한하고, 인사·급여·평가 자료는 검색 대상에서 제외되도록 권한을 분리해야 한다. 이는 AI의 판단 문제가 아니다. 영업 업무를 맡은 에이전트가 인사 자료에까지 손을 뻗을 수 있는 구조 자체가 문제였다. 직원에게도 업무에 필요한 자료만 열람 권한을 주듯, AI 에이전트에게도 역할에 맞는 접근 범위를 처음부터 명확하게 설정해야 한다.

2) “목표 달성하라면서요” 목표에 과몰입한 AI 에이전트가 폭주한 경우

회사 소식을 이메일로 발송하는 ‘홍보 에이전트’를 떠올려보자. 이번 달 응답률을 20% 높이라는 목표를 받은 이 에이전트는 초기 발송량이 효과를 내지 못하자 이틀째에는 5,000명, 사흘째에는 2만 명으로 발송 규모를 계속 키웠다. 일주일 뒤, 회사의 발신 이메일 주소는 스팸으로 분류됐고 정상적인 안내조차 차단됐다.

에이전트는 부여받은 목표를 달성하기 위해 허용된 수단을 적극적으로 활용했을 뿐이다. 문제는 멈춰야 할 기준이 시스템 안에 없었다는 점이다. 일일 발송 한도, 비용 상한선, 스팸 신고율 기준, 자동 중단 조건 같은 제한 장치를 시스템 안에 설계해 두어야 한다. 에이전트가 스스로 적절한 시점에 멈추기를 기대하는 것이 아니라, 위험 신호가 감지되면 구조적으로 멈추도록 만들어야 한다.

3) “하는 김에 이것까지 했는데요?” AI 에이전트가 권한 밖의 일을 해버린 경우

법무팀에서 수백 페이지 분량의 계약서를 검토하는 ‘’법률 문서 에이전트’를 떠올려보자. 이 에이전트는 위험 조항을 빠르게 식별하고 수정안을 제안하는 역할을 맡고 있었다. 그런데 계약관리시스템과 이메일 발송 도구까지 함께 연결해둔 탓에, 어느 날 에이전트는 위험도가 낮다고 판단한 계약서를 ‘법무 검토 완료’ 상태로 변경하고, 수정본을 거래처 담당자에게 자동 발송했다.

에이전트의 분석이 정확하든 아니든, 계약 검토 결과를 최종 상태로 변경하거나 외부에 발송하는 권한은 에이전트에게 맡겨서는 안 되는 영역일 수 있다. 에이전트의 역할은 위험 조항 식별과 수정안 제안까지로 한정하고, 계약 상태 변경이나 외부 발송은 반드시 사람의 승인을 거치도록 설계해야 한다. 이는 AI의 분석 능력 문제가 아니라, 검토 권한과 실행 권한이 분리되지 않았을 때 생기는 문제다.

* 'AI 에이전트 도입 전, 하네스 엔지니어링 점검 포인트'는 다음 글에서 이어집니다.

<References>
· Building the foundations for agentic AI at scale, April 2, 2026, Mckinsey
· Gartner Identifies Six Steps to Manage AI Agent Sprawl, April 2026, Gartner
· Gartner Says Applying Uniform Governance Across AI Agents Will Lead to Enterprise AI Agent Failure, May 2026, Gartner
· AI에 의한 고객여정의 마지막 진화, 위임하는 종의 탄생, August 2025, Kearney
· The age of the agents: how agentic AI offers unprecedented opportunities to reimagine business processes, August 2025, Kearney
· Harness engineering: leveraging Codex in an agent-first world, February 2026, OpenAI
· Leading in the Age of AI Agents: Managing the Machines That Manage Themselves, November 2025, BCG
· How Agents Are Accelerating the Next Wave of AI Value Creation, December 2025, BCG
· "왜 지금 '하네스 엔지니어링'인가… AI 에이전트·조직 승패 가른다", April 2026, TheMilk