[프리즘] AI 에이전트 도입 전, 하네스 엔지니어링 점검 포인트 (2/2)
페이지 정보
작성자 작성일 2026-07-16 10:05 조회 11 댓글 0본문
* '하네스 엔지니어링' 콘텐츠는 IGM 트렌드 리포트 '프리즘'에 게시된 글로, 총 2편으로 나뉘어 연재됩니다. 이전 글 보기
본격 AI 에이전트 도입 전,
하네스 엔지니어링을 위한 리더의 체크포인트
AI 에이전트 도입은 새로운 업무 도구 하나를 추가하는 일이 아니다. AI 에이전트가 ‘제2의 직원’이 되어 조직의 기준 안에서 움직이고, 그 결과가 실제 성과로 이어지도록 AI를 위한 업무 환경을 함께 설계해야 한다. AI 에이전트를 제대로 활용하려면 도입 전 무엇을 점검해야 할까? 리더가 반드시 확인해야 할 네 가지를 살펴보자.
1) AI가 볼 수 있는 것과 할 수 있는 것을 구분했는가?
AI 에이전트를 도입할 때 먼저 정해야 할 것은 “무엇을 하게 할 것인가”만이 아니다. 어떤 정보는 볼 수 있고 어떤 정보는 볼 수 없는지, 어떤 행동은 직접 실행할 수 있고 어떤 행동은 제안까지만 할 수 있는지를 함께 정해야 한다. 고객 데이터 조회, 이메일 초안 작성, 환불 승인, 파일 삭제, 코드 배포 등은 조직에 미치는 영향과 위험 수준이 서로 다르다. 따라서 AI가 접근할 수 있는 정보와 수행할 수 있는 행동을 업무별로 구분하고, 조직 내에서 합의된 기준을 문서로 남겨두어야 한다. 이 기준이 없으면 문제가 발생했을 때 AI가 권한을 넘은 것인지, 애초에 권한 설정이 잘못된 것인지조차 판단하기 어려워진다.
2) AI가 정해진 범위를 벗어나 행동하지 못하도록 애초에 막아두었는가?
범위를 정하는 것만으로는 충분하지 않다. “인사 정보는 보지 마”, “고객 데이터를 외부로 보내지 마”, “운영 코드는 수정하지 마”처럼 프롬프트에 금지 규칙을 적어두더라도, 실제 시스템에서 그 행동이 가능하게 열려 있다면 예외 상황에서 문제가 발생할 수 있다. 중요한 통제 항목은 AI의 판단에만 맡기지 말고 시스템 수준에서 제한해야 한다. 예를 들어 영업 지원 에이전트라면 인사·급여 데이터에는 접근할 수 없도록 권한을 분리하고, 외부 이메일 발송이나 파일 삭제처럼 영향이 큰 행동은 승인 없이는 실행되지 않도록 막아야 한다. 하네스 엔지니어링의 핵심은 AI가 규칙을 잘 지키기를 기대하는 데서 그치지 않고, 정해진 범위를 벗어난 행동은 애초에 실행할 수 없도록 만드는 데 있다.
3) 되돌리기 어려운 중요한 작업은 사람이 반드시 확인하도록 해두었는가?
비용 결제, 데이터 삭제, 고객 대상 메시지 발송과 같이 한 번 실행하면 되돌리기 어렵거나 조직에 미치는 영향이 큰 업무는 AI의 판단이 아무리 정교하더라도 오작동이나 예외 상황이 발생할 가능성을 고려해야 한다. 예를 들어 AI가 고객 100명에게 환불 안내 메일을 보내야 한다고 판단했다면, 대상 선정과 문안 작성은 AI가 도울 수 있다. 하지만 실제 발송 여부를 결정하는 단계는 사람이 확인하는 것이 바람직하다. 반면 재고 현황 분석이나 일정 추천처럼 영향도가 낮은 업무는 자동으로 처리할 수 있다. 중요한 것은 모든 업무를 사람이 승인하는 것이 아니라, 위험 수준에 따라 인간의 개입 수준을 달리 설계하는 것이다.
4) AI로 인해 문제가 생겼을 때 바로 멈추고 확인할 수 있는가?
AI 에이전트는 여러 작업을 이어서 수행하는 과정에서 예상과 다른 방향으로 움직일 수 있다. 따라서 AI가 어떤 정보를 참고했고, 어떤 도구를 사용했으며, 어떤 행동을 실행했는지 기록으로 남겨야 한다. 그래야 문제가 생겼을 때 원인을 추적하고 책임 범위를 확인할 수 있다. 동시에 비용이 갑자기 늘어나거나, 같은 작업을 반복하거나, 허용되지 않은 권한을 사용하려는 징후가 보이면 시스템이 즉시 실행을 중단하거나, 관리자가 권한을 회수할 수 있어야 한다.
이제 경쟁의 관건은, 더 똑똑한 AI만이 아니라 잘 설계된 하네스
이제 기업의 경쟁력은 더 뛰어난 AI 모델을 확보하는 것만으로 결정되지 않는다. AI가 조직의 의도와 규칙 안에서 일하도록 실행 환경을 설계하고 운영할 수 있는 역량이 함께 갖춰질 때, 기업은 AI 에이전트의 잠재력을 안정적으로 성과로 연결할 수 있다. 여기서 한 걸음 더 나아가야 할 부분이 있다. 하네스는 개별 에이전트 수준의 문제가 아니라, 조직 전체가 AI를 어떻게 통제하고 책임질 것인가에 대한 거버넌스 문제다. AI 에이전트가 늘어날수록, 누가 권한을 부여하고, 누가 오류를 감지하며, 누가 최종 책임을 지는지를 조직 차원에서 명확히 정해두어야 한다.
결국 AI 에이전트 시대의 경쟁력은 더 똑똑한 AI를 도입하는 것뿐 아니라, AI를 신뢰할 수 있는 직원이자 동료로 만들기 위한 기반, 하네스를 구축하는 데 있다.
<References>
· Building the foundations for agentic AI at scale, April 2, 2026, Mckinsey
· Gartner Identifies Six Steps to Manage AI Agent Sprawl, April 2026, Gartner
· Gartner Says Applying Uniform Governance Across AI Agents Will Lead to Enterprise AI Agent Failure, May 2026, Gartner
· AI에 의한 고객여정의 마지막 진화, 위임하는 종의 탄생, August 2025, Kearney
· The age of the agents: how agentic AI offers unprecedented opportunities to reimagine business processes, August 2025, Kearney
· Harness engineering: leveraging Codex in an agent-first world, February 2026, OpenAI
· Leading in the Age of AI Agents: Managing the Machines That Manage Themselves, November 2025, BCG
· How Agents Are Accelerating the Next Wave of AI Value Creation, December 2025, BCG
· "왜 지금 '하네스 엔지니어링'인가… AI 에이전트·조직 승패 가른다", April 2026, TheMilk

