본문으로 건너뛰기
Tech

최근 아티클

최근 아티클을 표시합니다.
    Research7 MIN

    분석 결과를 의사결정으로 바꾸는 PO Agent의 여섯 단계

    여섯 단계와 다섯 개 증거 게이트, 자율 주간회의와 스프린트로 이어지는 의사결정 흐름

    세 명의 주황색 Agent가 서로 다른 분석 카드를 질문 명료화, 범위 분리, 우선순위, 수용 기준, 효과 가설, 다음 주기 판정의 여섯 단계로 정리해 초록색 결정안과 주황색 보류안으로 나누는 장면

    앞선 글에서 소개한 AI Agent 팀의 자율 주간회의는 네 Agent의 상태 기록을 모아 의제를 만들고, 규칙으로 처리할 수 있는 액션아이템을 후속 티켓으로 보냅니다. 반면 새로운 우선순위나 수용 기준처럼 규칙만으로 닫기 어려운 안건은 사람 PO의 검토 대상으로 남습니다.

    PO Agent는 이 경계에서 출발했습니다. 부족했던 것은 분석이 아니라, 목적과 형식이 다른 분석 결과를 같은 기준으로 비교해 이번 주기의 결정안으로 바꾸는 과정이었습니다. 우리는 PO Agent가 근거가 충분한 항목에는 우선순위·완료 기준·효과 가설을 붙이고, 부족한 항목에는 필요한 다음 입력을 명시하도록 설계했습니다. 최종 수용·반려는 사람 PO가 맡습니다.

    이 과정은 질문 명료화부터 다음 주기 ROI 판정까지 여섯 단계로 나뉩니다. 개별 규칙과 출력 형식은 45개 로컬 테스트로 확인했습니다. 이 글에서는 분석 결과가 각 단계를 거쳐 결정안이나 보류안이 되고, 다시 자율 주간회의와 스프린트에 연결되는 흐름을 살펴봅니다.

    분석 결과는 바로 결정안이 되지 않습니다

    요약 Agent는 발견한 신호를 나열할 수 있습니다. 다음은 설명을 위해 만든 가상 예시입니다.

    온보딩 이탈이 보입니다. 응답 품질을 개선하고 재방문을 높여야 합니다.

    이 문장만으로는 어느 구간을 바꿀지, 이탈이 제품 문제인지 계측 문제인지, 무엇이 달라지면 완료인지 알 수 없습니다. 결정안에는 다음 정보가 더 필요합니다.

    요약의사결정
    중요한 문제를 나열한다지금 검토할 결정 하나를 고른다
    수치를 설명한다수치가 나온 근거 경로와 신뢰도를 붙인다
    개선을 제안한다우선순위와 수용 기준을 남긴다
    데이터가 부족해도 문장을 완성한다부족한 입력과 보류 상태를 남긴다

    목표는 분석 결과를 같은 기준으로 검토해 사람 PO가 판단할 수 있는 결정안으로 바꾸는 것이었습니다.

    PO Agent는 분석 결과를 여섯 단계로 바꿉니다

    PO Agent는 한 번에 결론을 만들지 않습니다. 여섯 개 스킬이 각자 하나의 질문에 답하고 정해진 출력을 다음 단계에 넘깁니다.

    단계핵심 질문출력
    1. 질문 명료화무엇을 언제까지 결정해야 하는가결정 질문과 기한
    2. 범위 분리한 번에 검토할 최소 범위는 무엇인가서로 분리된 후보
    3. 우선순위 결정확인 가능한 근거를 가진 후보는 무엇인가우선순위와 신뢰도
    4. 수용 기준 정의무엇을 충족해야 완료인가측정 가능한 완료 조건
    5. 효과 가설 수립어떤 변화가 언제 나타나야 하는가지표·관찰 기간·비교 방식
    6. 다음 주기 ROI 판정이전 가설이 실제 결과로 이어졌는가판정과 다음 우선순위 신뢰도

    수용 기준과 효과 가설은 우선순위 결정 이후 서로 다른 분기로 작성합니다. ROI 판정은 같은 주기가 아니라 제품 실행과 관찰을 거친 다음 주기에만 수행합니다. Agent가 자신의 선택을 곧바로 자기 결과로 증명하지 못하게 하기 위한 시간적 경계입니다. Agent는 여기까지 결정안을 구조화하고, 최종 의사결정의 책임은 사람 PO가 맡습니다.

    집계된 근거가 질문 명료화, 범위 분리, 우선순위 결정을 거쳐 수용 기준과 효과 가설로 갈라진 뒤 하나의 결정안으로 합쳐지고, 효과 가설은 시간적 경계를 넘어 다음 주기 ROI 판정과 다음 우선순위 신뢰도로 순환하는 이중 주기 흐름도

    예시 사례로 결정안과 보류안을 살펴보겠습니다

    다음은 실제 고객 데이터를 사용하지 않은 예시입니다. “온보딩 단계에서 사용자가 첫 가치를 더 빨리 확인하게 할 것인가?”라는 요청과 가상의 집계 지표가 들어왔다고 가정합니다.

    질문 명료화와 범위 분리를 거치면 화면 변경, 계측 보완, 콘텐츠 개선이 섞인 요청이 한 번에 검토할 수 있는 후보로 나뉩니다. 우선순위 단계는 확인 가능한 근거를 가진 후보만 비교하고, 계측 이상은 제품 기능 후보에서 제외합니다. 선택된 후보에는 수용 기준과 다음 주기에 검증할 효과 가설을 붙입니다.

    통과 상태 — 결정안

    • 후보: 첫 가치 제시 개선
    • 근거: 집계 리포트의 확인 가능한 지표
    • 신뢰도: 중간
    • 수용 기준: 첫 가치 제시 변경이 합의된 범위로 구현되고, 첫 가치 도달 이벤트의 측정 경로가 유효함
    • 효과 가설: 변경 후 사전에 정한 관찰 기간과 비교 방식에서 첫 가치 도달 지표가 방향성 개선을 보임
    • 상태: 사람 PO 검토 대기

    보류 상태 — 보류안

    • 상태: pending_refresh
    • 차단 사유: 집계 입력의 신선도 초과
    • 필요한 입력: 갱신된 집계 리포트
    • 재개 조건: 새 관찰 구간 확인 후 재검토

    보류안에는 멈춘 이유와 필요한 입력, 재개 조건이 함께 남습니다. 실제 운영에서는 여기에 담당자와 기한을 더해 다시 판단할 수 있는 작업으로 만들어야 합니다.

    집계된 근거와 다섯 게이트로 판단 범위를 제한했습니다

    PO Agent에는 원문 고객 대화나 개별 고객 프로필 대신 집계된 근거만 전달했습니다. BA는 문제 후보를 구조화하고, 분석 역할은 지표와 측정 가능성을 제공하며, PO Agent는 이를 우선순위·수용 기준·판정으로 바꿉니다. 역할을 분리하면 개인정보 이동을 줄이고 같은 입력에서 같은 판단을 재현하기 쉬워집니다.

    정보가 부족해도 자연스러운 문장을 만드는 언어 모델의 특성을 통제하기 위해 다섯 게이트를 두었습니다.

    게이트기준을 충족하지 못했을 때
    근거 경로결정안 생성 중단
    데이터 신선도갱신 대기
    표본 신뢰도신뢰도와 우선순위 상한 하향
    외부 게시 안전게시 차단
    ROI 시간 경계다음 주기로 이동

    게이트는 모두 같은 거절을 만들지 않습니다. 위험에 따라 중단·보류·하향·차단·다음 주기 이동으로 나눕니다. 검토한 칸반 포럼 게시 경로에는 공통 비식별 가드가 연결돼 있었지만, 주간 전략 포럼에서는 같은 연결을 찾지 못했습니다. 이는 코드에서 확인한 범위이며 모든 개인정보 탐지나 실제 실행을 보장하지는 않습니다.

    하나의 결정 후보가 근거 경로, 데이터 신선도, 표본 신뢰도, 외부 게시 안전, ROI 시간 경계의 다섯 검사 경로로 갈라지고, 각각 결정안 생성 차단, 갱신 대기, 우선순위 상한, 외부 게시 차단, 다음 주기 이동과 필요한 다음 입력으로 이어지는 라우팅 지도

    45개 테스트로 의사결정 규칙을 확인했습니다

    발행일 기준으로 PO 관련 로컬 테스트 두 묶음에서 총 45개 사례가 통과했습니다. 오래된 입력, 작은 표본, 확인할 수 없는 근거, 테스트에 포함된 식별 정보 패턴, 같은 주기 ROI 재사용에서 각 단계가 기대한 상태를 반환하는지 확인했습니다.

    이 결과가 보여 주는 범위는 개별 규칙과 출력 형식까지입니다. 실제 제품 지표의 변화와 전체 운영 흐름은 별도의 실행과 관찰이 필요합니다.

    PO Agent를 자율 주간회의 흐름에 연결하려면

    자율 주간회의는 진행 상황과 운영 신호를 모아 규칙에 맞는 액션아이템을 후속 티켓으로 만듭니다. PO Agent는 그중 사람의 판단이 필요한 안건을 결정안이나 보류안으로 구조화합니다. 목표 흐름은 주간회의 안건 → PO Agent → 사람 PO 검토 → 스프린트 → 완료 증거 → 다음 주간회의와 ROI 판정입니다.

    이 흐름에는 PO Agent를 시작하는 외부 호출, 표준 산출물, 사람 PO의 수용·반려 기록, 다음 주기 판정이 필요합니다. 현재 확인한 범위와 남은 연결 대상을 구분하면 다음과 같습니다.

    점검 단계발행일 기준 확인 상태단계 통과 기준
    설계확인역할·입력·출력·분기 규칙 문서
    구현확인여섯 단계의 실행 코드
    테스트확인로컬 테스트 45개 통과
    PO Agent 외부 호출다음 연결·검증 대상운영 호출자가 실행한 기록
    PO 산출물다음 연결·검증 대상결정안·보류안의 반복 생성 기록
    사람 PO 검토다음 연결·검증 대상수용·반려 기록
    다음 주기 판정다음 연결·검증 대상이전 가설을 닫은 기록

    발행일 기준 검토에서는 PO Agent의 설계·구현·테스트까지 확인했습니다. 이후 네 단계는 이미 운영 중인 자율 주간회의와 연결할 때 검증해야 할 대상입니다.

    PO Agent의 설계와 구현, 테스트 통과까지 이어진 파란색 증거 사슬이 PO Agent 외부 호출 앞에서 끊기고, 산출물 관찰, 결정 검토, 다음 주기 ROI 종료까지 추가 증거가 연결돼야 운영 중인 PO Agent를 판단할 수 있음을 보여 주는 끊어진 사슬 도식

    결정안을 스프린트 항목으로 연결하려면

    주간회의의 감지 규칙이 만드는 후속 티켓과 달리, PO Agent의 결정안은 사람 PO의 검토가 필요한 후보입니다. 스프린트 발행은 다음 네 단계로 이어집니다.

    1. 결정 검토: 사람 PO가 수용·반려와 우선순위를 확정합니다.
    2. 티켓 구성: 결정 이유, 담당자, 스프린트, 완료 조건, 검증 방법, 선행 조건을 채웁니다.
    3. 발행과 동기화: 시작 조건·중복·게시 안전성을 확인한 항목만 업무 보드에 발행합니다.
    4. 다음 주기 연결: 커밋·테스트 결과·산출물을 다음 주간회의와 ROI 판정에 넘깁니다.

    즉 스프린트 발행은 문장을 복사하는 일이 아니라, 결정안을 실행하고 완료 여부를 확인할 수 있는 작업 단위로 바꾸는 과정입니다.

    분석 결과가 다음 결정안으로 이어지게 하려면

    운영 연결이 완성됐는지는 네 가지 질문으로 확인할 수 있습니다.

    • 누가 파이프라인을 호출하고 결정안·보류안을 기록하는가
    • 누가 수용·반려하고 보류 건의 담당자와 기한을 정하는가
    • 어떤 기준으로 스프린트에 배치하고 완료를 증명하는가
    • 이전 주기의 효과 가설을 언제 다시 판정하는가

    첫 번째 이정표는 주간회의의 안건 하나가 PO Agent와 사람 PO의 검토를 거쳐 스프린트 티켓이 되고, 완료 증거가 다음 주간회의와 ROI 판정으로 돌아오는지 확인하는 것입니다.

    분석 결과는 그 자체로 결정안이 아닙니다. 질문과 범위를 좁히고 우선순위를 정한 뒤, 수용 기준과 효과 가설을 붙이고 다음 주기 결과까지 확인해야 의사결정의 흐름이 닫힙니다. PO Agent의 여섯 단계는 이 변환을 같은 기준으로 반복하기 위한 구조입니다.

    이 글은 발행일 기준 검증 결과를 바탕으로 작성했습니다. 설계·운영 설명은 검토 결과를 공개 가능한 수준으로 추상화했고, 인용형 문장과 예시 사례 속 사용자 요청·지표·수치는 실제 데이터를 사용하거나 변형한 것이 아니라 설명을 위해 새로 만든 예시입니다.

    에이전트파트

    다양한 데이터와 AI Agent 기술을 연결해 사용자의 의사결정을 돕습니다.

    다른 글