AI 에이전트 협업 자가 발전 시스템 설계

개요

AI 코딩 에이전트와의 협업에서 점점 더 크고 깊은 임팩트를 달성하기 위한 자가 발전 시스템을 설계한다. 조직 신뢰 이론과 자동화 신뢰 연구를 기반으로 목적 함수, 가치 함수, 비용 함수를 정의하고, 이터레이션과 이밸류에이션 메커니즘을 구축한다.

이 시스템의 핵심 전제는 두 가지다:

---

1. 함수 정의

1a. 목적 함수 (Objective Function) — 무엇을 최적화하는가

Maximize:  O(t) = I(t) / H(t)

subject to:
  (1) |Trust(t) - Capability(t)| ≤ ε    — 신뢰 보정 제약
  (2) SA(t) ≥ SA_min                    — 상황 인식 하한

왜 I/H 비율인가:

제약 조건의 근거:

1b. 가치 함수 (Value Function) — 현재 상태의 장기적 가치

V(S) = Σ γ^k · E[O(t+k) | S(t) = S]     (k = 0, 1, 2, ...)

γ = 할인율 (0 < γ < 1), 가까운 미래의 임팩트가 더 가치 있음

시스템 상태 S(t)의 구성 요소:

곱셈적 상호작용 — "병목 우선 투자" 원칙의 이론적 근거:

V ≈ f(A × C × P × K)

→ 어느 하나가 0에 가까우면 전체 가치가 무너짐
→ min(A, C, P, K)를 올리는 것이 ROI가 가장 높음
→ 이미 높은 요소를 더 올리는 것은 한계 효용이 낮음

1c. 비용 함수 (Cost Function) — 무엇을 지불하는가

Cost(t) = C_context + C_process + C_sa + C_repair + C_opportunity

위임 수준에 따른 비용 역학:

최적점은 총 비용 최소가 아니라, 순 가치 (V - Cost)의 기울기가 최대인 지점이다.

---

2. 이터레이션과 이밸류에이션

사이클 개요

  ┌──────────────────────────────────────────────────────┐
  │                                                      │
  ▼                                                      │
┌──────────┐    ┌──────────┐    ┌──────────┐    ┌───────┴──┐
│ OBSERVE  │───▶│ EVALUATE │───▶│ INTERVENE│───▶│ MEASURE  │
│          │    │          │    │          │    │          │
│ 세션에서  │    │ 병목 진단 │    │ 가장 낮은 │    │ 다음 세션 │
│ 데이터 수집│    │ 어디에   │    │ 요소에   │    │ 에서 변화 │
│          │    │ 투자할까? │    │ 집중 투자 │    │ 추적     │
└──────────┘    └──────────┘    └──────────┘    └──────────┘

각 사이클은 개인 기준 1-2주, 팀 기준 스프린트 단위가 적절하다.

Phase 1: OBSERVE — 세션별 데이터 수집

매 작업 세션에서 수집할 데이터:

태스크 레코드:

신뢰 이벤트:

각 이벤트에 영향받은 요인(ability / predictability / directability)을 태깅한다.

SA 자가 점검 (세션 종료 시):

SA 점수가 지속적으로 낮으면 → 위임 수준이 SA 용량을 초과하고 있다는 신호.

Phase 2: EVALUATE — 핵심 메트릭 산출과 병목 진단

3가지 핵심 메트릭:

impact_size 환산: S=1, M=2, L=4, XL=8. outcome_quality: 1.0=완벽, 0.7=수정 필요, 0.3=재작업, 0=실패.

병목 진단 매트릭스:

Phase 3: INTERVENE — 병목 요소에 집중 투자

원칙: 한 사이클에 한 요소만 개선한다. 여러 요소를 동시에 바꾸면 무엇이 효과있었는지 판단할 수 없다.

Phase 4: MEASURE — 변화 추적과 피드백

다음 1-2 세션에서 동일 메트릭을 재측정한다.

이 측정 결과 자체가 다음 사이클의 OBSERVE 데이터가 되어 순환이 계속된다.

---

3. 장기 성장 궤적

단계별 전환 모델

자가 발전은 선형적이 아니라 계단형이다. Lewicki & Bunker의 신뢰 발달 단계와 동일한 패턴으로, 특정 요소가 임계점을 넘어야 질적 전환이 일어난다.

신뢰의 3요인 × 3가지 엔지니어링 영역

선순환과 역순환

선순환 (Virtuous Cycle):

위임 범위 확대
  → 에이전트가 더 다양한 태스크 수행
  → 더 많은 피드백 데이터 생성
  → Context/Process 개선 재료 증가
  → 시스템 품질 향상
  → 신뢰 보정이 더 정확해짐
  → 위임 범위 추가 확대

역순환 (Vicious Cycle):

대형 실패 발생
  → 신뢰 급락 (높은 단계일수록 회복 비용 ↑↑ — Lewicki)
  → 위임 범위 축소
  → 피드백 데이터 감소
  → 시스템 정체

Process 가드레일(P)은 이 역순환의 발생 확률을 낮추는 보험 역할을 한다.

---

4. 기존 평가 방식과의 차이

이 접근은 "AI가 더 똑똑해지기를 기다리는 것"(A의 외생적 향상)에만 의존하지 않는다. C, P, K라는 세 가지 내생적 레버를 통해 같은 모델 능력에서도 달성 가능한 임팩트를 체계적으로 높일 수 있다. 이것이 프롬프트/컨텍스트/프로세스 엔지니어링이 단순한 팁이 아니라 투자 가능한 자산인 이유다.

---

참고 논문

• Lee, J.D., & See, K.A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human Factors, 46(1), 50-80.
• Parasuraman, R., Sheridan, T.B., & Wickens, C.D. (2000). A Model for Types and Levels of Human Interaction with Automation. IEEE Transactions on SMC, 30(3), 286-297.
• Klein, G., et al. (2004). Ten Challenges for Making Automation a Team Player. IEEE Intelligent Systems, 19(6), 91-95.
• Endsley, M.R. (1995). Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 37(1), 32-64.
• Hollnagel, E., & Woods, D.D. (2005). Joint Cognitive Systems. CRC Press.
• Lewicki, R.J., & Bunker, B.B. (1996). Developing and Maintaining Trust in Work Relationships. In Trust in Organizations. Sage.
• Edmondson, A. (1999). Psychological Safety and Learning Behavior in Work Teams. ASQ, 44(2), 350-383.
• Jacovi, A., et al. (2021). Formalizing Trust in Artificial Intelligence. FAccT '21.
• Mayer, R.C., Davis, J.H., & Schoorman, F.D. (1995). An Integrative Model of Organizational Trust. AMR, 20(3), 709-734.

---

업데이트 이력

• 2026-04-04: 초안 작성 — 함수 정의(목적/가치/비용), 이터레이션 4단계 설계, 장기 성장 궤적