first commit

.github/runbooks/services/worker.rollback-runbook.md

@@ -0,0 +1,58 @@
+# Worker Service Rollback Runbook
+
+## Metadata
+
+1. Service: worker
+2. Environment: production
+3. Owner: platform team
+4. On-call Contact: platform-oncall
+5. Last Updated (UTC): 2026-04-14
+
+## Trigger Conditions
+
+1. Queue Backlog Threshold: 대기 작업 10,000건 초과 10분 지속
+2. Failure Threshold: 작업 실패율 > 3% for 10 minutes
+3. Processing Delay Threshold: 평균 처리 지연 > 2x baseline
+4. Data Integrity Alarm: 중복 처리 또는 누락 처리 감지
+5. Business Impact Trigger: 정산/알림 지연 사용자 영향 확대
+
+## Pre-rollback Checks
+
+1. 실패 작업 샘플링 및 영향 범위 확인
+2. 재처리 가능 여부 확인
+3. 직전 안정 버전 아티팩트 확인
+4. 공지 채널 준비
+
+## Rollback Procedure
+
+1. 신규 작업 소비 일시 중단
+2. 안정 버전으로 워커 교체
+3. 단계적 소비 재개(10% -> 50% -> 100%)
+4. 실패/처리율 지표 확인
+
+## Data Recovery Plan
+
+1. 복원 대상 데이터 범위: 누락/중복 처리된 이벤트
+2. 복원 방법: dead-letter queue 재처리 + idempotency 검증
+3. 데이터 무결성 검증 방법: 이벤트 카운트/체크섬 대조
+4. 복원 예상 시간: 30~60분
+
+## Validation After Rollback
+
+1. backlog 감소 추세 확인
+2. 실패율 1% 이하 복귀
+3. 중복 처리 경보 해제
+4. 핵심 배치 완료 시간 정상화
+
+## Communication Plan
+
+1. 내부: 대응 진행 상황 15분 주기 공유
+2. 외부: SLA 영향 시 사전 공지
+3. 종료 공지 조건: backlog 정상화 및 실패율 안정화
+
+## Post-rollback Follow-up
+
+1. 원인 분석 티켓: INC-WORKER-YYYYMMDD
+2. 재배포 조건: 부하 테스트 재통과
+3. 임시 완화책 제거 계획: 72시간 내
+4. Postmortem 일정: 24시간 내