AI가 잘못 일할 때와, 갑자기 일을 멈출 때

회사의 구매 업무를 맡은 AI를 생각해봅시다.

AI는 재고를 확인하고, 여러 공급업체의 가격을 비교하고, 납품 일정을 맞춥니다. 정해진 금액 안에서는 주문도 넣습니다. 처음에는 편리합니다. 사람이 자료를 모으고 연락을 주고받던 시간이 줄어듭니다.

그런데 어느 날 AI가 잘못된 견적서를 근거로 큰 주문을 넣으려 합니다. 담당자가 이상하다고 느껴 작업을 중단하려는데, 누가 어떤 권한으로 멈춰야 하는지 분명하지 않습니다. 이때 필요한 것은 AI를 멈추는 능력입니다.