← 포트폴리오 · 무신사

비상대응훈련 프로그램 — 루브릭 채점과 LLM 이중 평가

장애모의훈련을 이벤트가 아니라 측정 가능한 프로그램으로 만들고, 주도권을 각 개발조직으로 넘기는 로드맵을 운영합니다.

문제

모의훈련은 대개 두 가지 방식으로 실패합니다.

• 이벤트로 끝납니다. 한 번 하고 "잘 됐다"로 마무리되면 다음 훈련과 비교할 수 없습니다.
• 평가가 주관적입니다. 같은 훈련을 두고 평가자에 따라 결과가 달라지면, 점수가 아무것도 말해주지 않습니다.

그리고 근본적으로, 훈련을 Reliability 팀이 계속 주관하면 각 조직의 역량이 아니라 Reliability의 역량만 자랍니다.

제약

• 훈련 준비에 드는 공수가 크면 주기가 무너집니다.
• 점수가 인사 평가로 읽히면 조직들이 쉬운 시나리오만 고릅니다.
• 채점자를 여러 명 두면 공수가 늘고, 한 명만 두면 편차가 생깁니다.

설계

1. 루브릭 채점 — 100점 척도, 70점 미만 재실시

훈련 품질을 정량화하기 위해 채점 루브릭을 만들었습니다. 70점 미만이면 재실시라는 기준을 명시했는데, 이 선이 있어야 훈련이 "해봤다"에서 "통과해야 한다"로 바뀝니다.

2. LLM 이중 채점

채점자 편차 문제를 두 개의 모델로 각각 루브릭을 평가하게 해서 해소했습니다. 두 결과가 갈리는 항목이 곧 루브릭 자체가 모호한 항목이라, 채점 결과가 루브릭 개선 신호로도 쓰입니다.

사람 채점자를 없애려는 것이 아니라, 사람이 판단해야 할 항목을 좁히는 것이 목적이었습니다.

3. Phase 1~4 단계별 로드맵

시나리오 난이도와 조직의 자율성을 함께 올리는 구조로 설계했습니다. 처음부터 어려운 시나리오를 주면 훈련이 아니라 사고가 됩니다.

4. 이관 로드맵 — Reliability 주도에서 조직 자체 주도로

프로그램의 최종 목표는 Reliability가 빠지는 것입니다. 단계별로 시나리오 작성 → 진행 → 채점 순으로 주도권을 넘기는 계획을 문서화했습니다.

5. Chaos Engineering 상시화 (2027 Q1 목표)

계획된 훈련에서 상시 주입으로 넘어가는 단계를 로드맵에 포함했습니다. 훈련은 날짜를 알고 준비하지만, Chaos는 알 수 없습니다. 두 개는 검증하는 것이 다릅니다.

결과

• 훈련 결과가 점수로 남아 조직별 대응 역량을 비교할 수 있게 됐습니다
• 채점 편차가 줄고, 채점에 드는 사람 공수가 감소했습니다
• 부록 체계(B-00 ~ B-04)로 문서화 — 로드맵, 시나리오 작성 기준, 채점 루브릭 포함

회고

LLM을 쓴 이유는 자동화가 아니라 일관성이었습니다. 사람 채점자 두 명을 붙이면 공수가 두 배가 되지만 모델 두 개는 그렇지 않습니다. 그리고 모델 간 불일치가 루브릭의 모호함을 드러내는 진단 신호가 된다는 건 만들고 나서 알았습니다.

"재실시" 기준 하나가 프로그램의 성격을 바꿨습니다. 점수만 있고 기준선이 없으면 훈련은 여전히 이벤트입니다. 통과/미통과가 생기는 순간 준비의 질이 달라졌습니다.

관련 케이스 — 전사 장애관리 프레임워크 · 신뢰성 자동화 · AI 거버넌스 프레임워크

장애모의훈련 GameDay 루브릭 채점 LLM 이중 평가 Chaos Engineering Python