자동화 설계 노트맡길 범위
AI에게 일을 어디까지 맡겨도 될지 모르겠다면
AI에게 일을 맡기기 전에는 그 일이 정해진 선택지 중 하나를 고르는 일인지, 글을 쓰는 일인지부터 나눕니다. 고르는 일은 좁게 쪼개 맡기고, 확신이 낮을 때 사람에게 넘길 조건을 정합니다.
핵심 요약
- 고르는 일은 정답이 분명한 편이라 틀렸는지 확인하기 쉽고, 작게 쪼개 맡길 수 있습니다.
- 그래서 처음 맡길 일은 고르는 일에서 찾는 편이 안전합니다.
- 먼저 직원이 매일 반복하는 일 중 고르기에 해당하는 것을 세 가지만 적습니다.
이 글의 목차
문의 메일 처리를 AI에게 통째로 맡겨도 될까요?
아침에 메일함을 열면 환불, 배송, 교환 문의가 뒤섞여 있습니다. 하나씩 읽고 담당자에게 넘기는 데 오전이 다 갑니다. 이 시간을 줄이려고 AI에게 문의 메일을 알아서 처리하라고 시켜 볼까 생각합니다.
통째로 맡기면 분류만 하지 않고 답장까지 써서 하지도 않을 약속을 적어 보낼 수 있습니다. 반대로 안전을 위해 모든 메일을 사람이 다시 보면 맡긴 의미가 없어집니다.
어디까지 맡길지는 일의 종류를 나누면 정할 수 있습니다.
어떤 일부터 AI에게 맡겨야 안전할까요?
환불인지 배송인지, 승인인지 보류인지처럼 정해진 선택지 중 하나를 고르는 일이 있고, 회신문이나 보고서처럼 글을 쓰는 일이 있습니다.
고르는 일은 정답이 분명한 편이라 틀렸는지 확인하기 쉽고, 작게 쪼개 맡길 수 있습니다. 쓰는 일은 읽어 봐야 좋은지 알 수 있어서 확인에 사람 시간이 듭니다.
그래서 처음 맡길 일은 고르는 일에서 찾는 편이 안전합니다. 쓰는 일은 초안까지만 맡기고 사람이 확정하는 식으로 나눕니다.
도표 1
맡기기 전에 네 칸만 적어 봅니다
맡기려는 일마다 네 칸을 채우면 AI에게 어디까지 맡길지 정할 재료가 생깁니다.
네 칸은 아래 공개 사례의 구조와 일반적인 도입 순서에서 dataart가 추린 것입니다.
| 칸 | 적을 것 | 비어 있으면 |
|---|---|---|
| 고르기인지 쓰기인지 | 맡기려는 일이 고르기인지 쓰기인지 적습니다 | 분류만 시켰는데 답장까지 나옵니다 |
| 틀렸을 때 비용 | 틀리면 얼마나 손해인지, 되돌릴 수 있는지 적습니다 | 되돌릴 수 없는 일까지 자동으로 처리됩니다 |
| 사람에게 넘길 조건 | 확신이 낮을 때, 금액이 클 때, 처음 보는 유형일 때처럼 적습니다 | 모든 건을 사람이 다시 보게 됩니다 |
| 우리 데이터 시험 | 지난달 실제 건 수십 개를 골라 직원이 내린 판단을 정답으로 적어 두고, AI의 판단과 맞춰 봅니다 | AI가 자신 있다고 한 말을 그대로 믿게 됩니다 |
문의 메일 분류를 확인표에 옮겨 보면
예시(가상, 실제 고객 아님)
작은 온라인 쇼핑몰에서 하루 문의 메일을 환불, 배송, 교환, 기타로 나눠 담당자에게 넘긴다고 가정합니다. 분류는 고르는 일이어서 첫 칸이 쉽게 채워집니다.
다만 '주문한 지 일주일이 넘었는데 그냥 취소해 주세요' 같은 메일은 배송 문의이면서 환불 요청이기도 해서 AI가 헷갈리기 쉽습니다.
틀렸을 때 비용을 적어 봅니다. 배송 문의가 엉뚱한 담당에게 가면 하루 늦어지는 정도이지만, 환불 요청이 기타로 빠지면 고객이 기다리다 화를 냅니다. 그래서 환불로 의심되는 건은 확신이 낮으면 사람에게 넘기기로 정합니다.
실제로 맡기기 전에는 지난달 문의 메일 수십 통을 AI에게 나눠 보게 하고, 담당자가 나눈 결과와 맞춰 봅니다. 환불을 기타로 보낸 건이 있는지부터 봅니다. 답장은 지금처럼 담당자가 쓰고, 쓰는 일은 나중에 초안부터 맡기기로 미룹니다.
이해를 돕기 위해 만든 가상의 장면이며 결과나 성과를 뜻하지 않습니다.
'알아서 처리해 줘' 대신 좁은 질문으로 묻습니다
'이 메일을 처리해 줘' 대신 '이 메일은 환불, 배송, 교환, 기타 중 무엇인가'처럼 답이 정해진 질문 하나씩으로 묻는 방식입니다. 해외에서는 이 방식을 시험한 회사가 있습니다. 미국 스타트업 타입세이프 AI(TypeSafe AI)가 2026년 9월에 공개한 모델은 글을 쓰지 않습니다.
선택지 중 하나를 고르고, 그 답을 얼마나 자신하는지 숫자로 함께 알려 줍니다.
이 회사는 같은 업무를 AI에게 통째로 시킨 경우와 좁은 질문 여러 개로 쪼갠 경우를 비교했습니다. 평가 페이지 기준으로, 네 가지 업무 평균 정확도가 한 모델에서 64.8%에서 73.1%로 올랐습니다. 건당 비용은 약 0.34달러에서 약 0.18달러로 줄었다고 합니다.
이는 회사가 직접 한 평가입니다. 정답도 사람이 만든 것이 아니라 다른 AI 두 개의 응답을 평균낸 값이고, 업무와 모델에 따라 쪼갠 쪽이 더 낮게 나온 경우도 있었습니다. 그래도 일을 좁은 질문으로 나눈다는 방향은 어떤 도구에서든 시험해 볼 만합니다.
AI가 자신 없어 할 때는 사람에게 넘깁니다
이 회사의 문서는 확신도를 세 구간으로 나눠 쓰라고 권합니다. 높으면 사람 없이 자동으로 처리하고, 중간이면 주의해서 진행하며, 낮으면 실행하지 않고 사람에게 넘기거나 되묻습니다.
기준선은 보수적으로 시작해서 자기 데이터로 시험하며 조정하라는 안내도 있습니다. 우리 회사에서는 확신이 낮을 때뿐 아니라 금액이 클 때나 처음 보는 유형일 때도 넘기는 조건에 넣습니다.
AI가 자신 있다는 말, 믿어도 될까요?
여기서 가장 조심할 점이 있습니다. 예를 들어 AI가 85% 자신 있다고 한 판단이 실제로도 그만큼 맞는지 보여 주는 자료를 이 회사는 공개하지 않았습니다.
한 개발자가 2026년 9월 블로그에 올린 사용기가 참고가 됩니다. 사람이 검토를 포기했던 상품 매칭 9,081건을 맡기자 13분 만에 끝났습니다.
직접 50건을 확인하니 48건이 타당했습니다. 그런데 그는 50건만으로는 판정을 맡기기에 부족했다고 밝혔습니다.
그는 상품 바코드를 정답으로 삼아 1,450쌍을 따로 검증한 뒤에야 이 판정을 실제 운영에 반영했습니다. 그 시험에서는 확신 기준을 0.7에서 0.9로 올려도 정확도가 거의 바뀌지 않았고, 틀린 판단에도 확신이 높게 나왔다고 합니다.
한국어 업무 문장에서의 성능은 공개된 검증을 찾지 못했습니다.
한계와 하지 않는 편이 나은 경우
근거는 회사의 자체 평가와 개인 개발자의 사용기입니다. 회사가 아닌 곳의 검증은 한 개발자의 상품 매칭 시험 하나뿐이고, 사람이 만든 정답으로 한 제3자 검증은 찾지 못했습니다.
문의가 한 달에 몇 통 오지 않는다면 맡길 방법을 짜는 시간보다 담당자가 직접 나누는 시간이 더 짧습니다.
환불 승인이나 계약 판단처럼 틀리면 되돌리기 어려운 일은 AI가 고르더라도 마지막 결정은 사람이 합니다.
무엇부터 적을까요?
먼저 직원이 매일 반복하는 일 중 고르기에 해당하는 것을 세 가지만 적습니다. 그다음 가장 쉬워 보이는 하나에 대해 틀렸을 때 비용과 사람에게 넘길 조건을 적어 봅니다.
첫 업무를 고르는 점수표는 '자동화, 뭐부터 하죠? 첫 업무를 고르는 7가지 질문과 점수표' 글에 있습니다. 아직 AI 도입을 시작할지부터 고민이라면 '업무 자동화, 아직 하지 마세요' 글을 먼저 봅니다.
AI가 만든 결과물을 누가 어떻게 확인할지는 같은 시리즈의 'AI로 문서는 빨리 만드는데 확인할 일은 더 늘었다면' 글이 이어집니다.
자주 묻는 질문
따로 프로그램을 들이지 않고도 시험해 볼 수 있나요?
이미 쓰는 AI 대화 도구로도 시작할 수 있습니다. 지난달 문의 메일 몇십 통에서 고객 이름과 연락처를 지운 뒤 넣고, 정해진 선택지 중 하나만 고르게 합니다. 그 결과를 담당자가 나눈 결과와 맞춰 보면 어디서 틀리는지 보입니다.
AI의 확신 숫자를 그대로 믿어도 되나요?
그대로 믿지 않는 편이 안전합니다. 회사는 적중률을 보여 주는 자료를 내지 않았고, 한 개발자의 시험에서는 틀린 판단에도 확신이 높게 나왔습니다. 먼저 우리 데이터 수십 건으로 맞춰 보고, 숫자가 없는 도구는 표본 확인으로 틀리는 유형을 찾아야 합니다.
틀렸을 때 비용은 어떻게 가늠하나요?
그 일이 틀리면 누가 언제 알게 되는지, 되돌릴 수 있는지부터 적습니다. 하루 늦어지는 정도인지, 고객에게 약속이 나가는지를 가르면 넘기는 기준을 얼마나 높게 둘지 보입니다.
시험은 몇 건을 해 봐야 하나요?
정해진 건수는 한마디로 말할 수 없습니다. 앞의 사례에서도 50건은 모자랐다고 개발자가 밝혔습니다. 먼저 수십 건으로 틀리는 유형을 찾고, 그 유형만 따로 모아 다시 맞춰 보는 순서로 시작합니다.
글 쓰는 일은 아예 맡기면 안 되나요?
맡길 수 있지만 초안으로 두고 사람이 읽어 확정합니다. 결과물을 누가 어떻게 확인할지는 같은 시리즈의 확인 일 점검표 글에서 이어서 다룹니다.