[DR 통합] 체크포인트·워커 복원·VMware 역복제 정합성 개선

[dhslove]

최종 병합·이슈 관리 상태

병합 완료: Cloud #1022 → ablestack-europa (4c42a079caf8), qemu #56 → main (9184ecd8ef16). 기존 오류 수정과 강제 삭제/수동 정리 핵심 구현을 포함한다.

사용자 요청에 따라 연결 개별 완료 이슈는 종료하고, 아래 잔여 범위는 별도 열린 이슈로 관리한다. 본문 아래의 과거 ‘Draft/충돌/병합 대기/이슈 OPEN 유지’ 설명은 당시 작업 이력이며 현재 상태가 아니다.

• Cloud #1045: #962의 원격 잔여 자원 재정리·수동 완료 추적
• Cloud #1046 / #1047: #1006의 자동 GC 및 qcow2 복사 비용
• Cloud #1048: 추가 미실행 물리 장애·이동·혼합 경로 회귀
• Cloud #1043 / #1044: CI 권한·baseline 오류 후속
• 전체 우선순위: [DR][Epic] 대상 컴퓨트 사양 독립화·VM/볼륨 보호·Nutanix DR 경로 확장 (Cloud #940 / qemu #54 후속) ablestack-cloud#950

검증은 각 문서에 명시된 모듈/UI/실환경 범위로 한정한다. 이슈 종료가 미실행 전체 릴리즈 시험의 PASS를 의미하지 않는다.

구현·검증 및 병합 과정의 상세 이력

#1020 핵심 구현·배포·UI 검증 완료 — 2026-09-11

기존 #1021/#1018까지 보존한 양쪽 codex/fix-1020-reverse-progress에서 구현하고 통합 브랜치 codex/fix-1012-1013-dr-recovery에 fast-forward 반영했습니다. Cloud f492aa3317e27f331190f217b34721bdf1337030(구현377c17835e3), qemu fe490da675e5a0d128eb0dda49e96799a5ae84b9(구현687cff4). 강제 푸시·upstream 병합은 하지 않았습니다.

• 부모 Run/Plan/checkpoint sequence와 KVM_TO_VMWARE/effective mode를 실제 역복제 진행 자료에 전달하고 Cloud 저장·API·UI까지 보존합니다. 자식 artifact Run 이름은 유지합니다.
• 다른 Run/과거 checkpoint/정방향/무식별 역복제 진행 및 완료 주기 대체값이 현재 전송을 덮지 못하게 했습니다. 다중 디스크 실제 총량과 누적 readback bytes를 사용합니다.
• 전송100%를 원본 복구 완료로 해석하지 않습니다. VERIFY100%에는 전체 작업이 계속 RUNNING이며, 실제 protection-resuming 단계에서만 원본 복구 완료 및 보호 재개 대기 안내를 표시합니다.
• WSL ext4 DR 변경 모듈 473 tests/Checkstyle/package PASS, UI 26 tests/lint/production build PASS, qemu lifecycle 71 cases, release tombstone 및 checkpoint/full·delta/readback 회귀 PASS. 전체 Cloud 빌드 및 qemu RPM 생성 없음.
• 13/22/31/32 compute12대에 shell/Python 직접 배포, 31/32 관리 클래스/UI 적용. 설치 SHA256, 백업, WEB-INF/META-INF/config.json symlink 보존, HTTP200 및 서비스 상태 확인.
• 실제 32 UI planned Failover → Failback → 자동 보호 재개 PASS. Failover 21878e31-6fc0-4e7c-9012-5a21527b589a, Failback 945af7c9-cb5c-4a95-b79d-6b94ffb4676e. 19:42:52 KST UI/DB 모두 SUCCEEDED/completed/100%, 오류 없음. 수동 Resume/DB 수리 없이 후속 durable checkpoint315(요구186)를 확인했고 READY/ENABLED/RUNNING/HEALTHY로 복귀했습니다.
• UI1%→35%→74%→VERIFY100%에서 FULL_REVERSE_SEED/100GiB 분모 확인. 복사/검증 중 조기 원본 완료 안내 없음. 19:34:57 실제 원본 복구 이후에만 안내. 현재 작업 취소/기존 DR 계획 삭제 메뉴 활성 확인.
• 선택 출처184, reverse baseline185, 실제 107374182400B REVERSE_READBACK PASS. 원본 POWERED_ON/대상 POWERED_OFF, VMware 양단 QGA 제외 유지.
• RBD/qcow2 전용64MiB fixture full/incremental 데이터 비교 및 progress identity/mode/bytes PASS, fixture 정리 완료. 기존31 qcow2 및22 RBD 지속 복제 확인. qcow2 readback false/0 계약 보존.

코드 수준 설계 · 실행·검증 범위와 배포 근거

실제 qcow2 전체 UI failback 및 모든 물리 장애·migration·OS 조합을 이번에 새로 검증한 것으로 계산하지 않습니다. Cloud PR #1022의 기존 충돌은 별도 병합 작업으로 남깁니다. 이슈는 upstream 병합 완료와 구분하여 열어 둡니다.

Nutanix 제외 잔여 개발/보완 18건(Cloud17+qemu1), 핵심 구현·명시 범위 시험 완료/병합·잔여 검증 37건입니다. 다음 DR P2 #962 확장 + #1006(기존 최소 강제 삭제 재개발 없이 수동·잔여 자원 정리/보존 정책). 이후 #951→#952→#953, #1001→#986, #973→#966→#1019, #1028→#1027, #1033+#978+#1010+qemu#55, P3#955. Diplo #1029는 별도 P1입니다.

---

#1021 + #1018 핵심 구현·배포·UI 검증 완료 — 2026-09-11

기존 #954까지 보존한 양쪽 codex/fix-1021-1018-recovery-evidence에서 구현하고 통합 브랜치 codex/fix-1012-1013-dr-recovery로 fast-forward 반영했습니다. Cloud b822ca532da(구현 5cf94b79cd1), qemu f379fe2(구현 e5c6a0a).

• #1021: 실제 선택한 로컬 복구 지점의 plan/run/ref/sequence 및 manifest/checkpoint SHA256을 baseline에 기록하고 역복제 commit 후에도 보존합니다. 이전 Run 번호를 선택된 복구 지점으로 오인하지 않습니다.
• #1018: QEMU_BACKUP_COMPLETION과 실제 REVERSE_READBACK을 분리했습니다. qcow2 완료만으로 verifiedBytes를 만들지 않으며 false/0을 Cloud 저장·UI까지 보존합니다. 과거 증거 없음도 명시합니다.
• WSL ext4 DR 모듈 471 tests/package PASS, UI lint/production build PASS. qemu lifecycle 71 cases, tombstone 및 선택/기준점/쓰기 실패·readback 불일치/진행률 회귀 PASS. qemu RPM과 전체 Cloud 빌드는 수행하지 않았습니다.
• 13/22/31/32 compute12대에 변경 shell/Python 직접 배포, 설치 SHA256 확인. 31/32 관리 클래스와 UI 배포, 백업·WEB-INF·HTTP200 확인.
• 실제 32 UI planned failover → failback → 자동 보호 재개 PASS. Failover Run 2fd79125-1598-4498-86d7-7811fecaf701, Failback Run 93a89a1c-5be7-411a-a80a-d8fd6b39b49e 모두 UI/DB SUCCEEDED. 18:31:26 KST 최종 완료.
• 선택 출처 183/ref/SHA 보존, reverse baseline 184, 실제 100GiB(107374182400B) readback PASS. UI에서 증거 필드를 확인했습니다. 수동 Resume/DB 수리 없이 후속 durable checkpoint 304, READY/ENABLED/RUNNING. 원본 POWERED_ON/대상 POWERED_OFF. VMware 양단 QGA 제외 유지.
• RBD/qcow2 disposable64MiB fixture의 full/incremental 데이터 비교 PASS. qcow2 자체는 readback false/0이며 별도 시험 검증기의 비교를 mover 증거로 가장하지 않습니다. 기존 qcow2/RBD 복제 지속 확인.

상세 설계 · 검증 범위와 결과

qcow2 전체 UI failback 체인 및 모든 물리 장애/배치/OS 조합을 이번에 새로 완료했다고 주장하지 않습니다. 시험 중 오래된 역복제 진행률/조기 완료 안내를 재현하여 기존 #1020에 증거를 추가했습니다. 해당 UI 오류는 별도 후속이며 이번 기능 PASS와 구분합니다. upstream 병합은 아직 하지 않았고 Cloud PR #1022의 기존 충돌은 별도 통합 검증 대상으로 남깁니다.

Nutanix 제외 잔여 개발/보완 19건(Cloud18+qemu1), 핵심 구현·시험 완료/병합·잔여 검증 36건. 다음 DR P2 #1020 → #962 확장 + #1006, Diplo #1029 별도 P1입니다.

---

이번 qemu 변경은 설계·검증 문서만 해당합니다

실행 코드 변경은 paired Cloud PR ablecloud-team/ablestack-cloud#1022에 있습니다.

최신 반영: ablecloud-team/ablestack-cloud#1034 + ablecloud-team/ablestack-cloud#962 최소 잔여 (2026-09-11)

손상된 과거 completed evidence가 새 체크포인트 승인까지 막던 경로를 보완했다. Agent의 제한된 후보 보존, broker의 실패 전달/오래된 호스트 fallback 방지, Cloud CONFLICT boundary 및 target COMMITTED/동일 identity/digest 확인 후 ACK를 포함한다. 레거시 소스의 빈 active_side를 호환하며 Cloud SOURCE 권한과 TARGET/lifecycle 경계는 유지한다.

• Cloud 16b3e03b34, qemu fb6df9b. 안전 브랜치 codex/fix-1034-962-ui-recovery; 기존 PR HEAD에서 fast-forward만 수행했다.
• Cloud 변경 모듈 package: KVM 730(3 skipped), FTCTL 84, DR 457 tests, 실패/오류 0. qemu lifecycle 71, tombstone, checkpoint 13 tests PASS. qemu는 문서 변경만 있어 셸/패키지 재배포 없음.
• 관리 서버 4대·Agent 12대 선택 클래스 배포, 설치 해시/서비스/UI HTTP 200/WEB-INF 보존 확인.
• qcow2 손상 주입 후 UI Run 10d7d270-0c5b-4be1-8b2a-36cc7340eb23 SUCCEEDED, 새 FULL_SEED checkpoint 1924(디스크 2개 COMMITTED proof 검증), 후속 증분 1925 자동 완료. 최종 요청 뒤 서비스 재시작/상태 보정/DB repair/수동 ACK 없음.
• [DR][P2] 실패·잔여 계획의 강제 정리/삭제 및 원격 단절 시 등록 해제 지원 ablestack-cloud#962 기존 동일 삭제창에서 일반 삭제 거절 → 강제 등록 해제 성공(job 4080→4081), 실패 이력/runtime 보존 및 VM/볼륨 수 불변. 전체 orphan 관리 확장은 P2 잔여.
• RBD/VMware 정상 증분 및 UI 회귀 확인. 실제 손상→UI 복구 시험은 qcow2에서 수행했으며 물리 장애/전체 전환 행렬을 새로 모두 반복하지 않았다. VMware 양단 QGA 제외.
• 초기 실패 시험은 완료로 합산하지 않았다. Agent 배포 중지 경합은 ablecloud-team/ablestack-cloud#1010에 추가 기록했다.

상세: 설계, 검증 기록.

남은 우선순위: P1 ablecloud-team/ablestack-cloud#967 → ablecloud-team/ablestack-cloud#980 → ablecloud-team/ablestack-cloud#954, 별도 Diplo ablecloud-team/ablestack-cloud#1029. ablecloud-team/ablestack-cloud#962 확장 및 증거/보존/자원 경계/운영 지원은 P2, ablecloud-team/ablestack-cloud#955 P3. Nutanix 제외 관리 대기열은 잔여 24건 / 구현·핵심 시험 완료 및 병합·잔여 검증 31건. 기존 PR 충돌 해소와 최종 병합 검증은 별도이며 이번에 병합하지 않았다.

---

연동 PR: ablecloud-team/ablestack-cloud#1022

저장소별 변경

qemu 변경: 43파일, 28개 미병합 커밋. 비교 시 upstream main 전용 커밋은 0개입니다. checkpoint publication, scheduler, export ownership, 실패 테스트 정리, VMware full/CBT 읽기 및 역복제 쓰기를 포함합니다. 로컬 build/ 및 pycache/는 PR에 포함하지 않았습니다.

목적과 관리 범위

DR 계획의 설정·복제·테스트·재해 전환·페일백에서 발견한 오류 수정과 검증 기록을 누적 관리합니다. 원본 단절 중에도 대상의 유효 체크포인트로 복구할 수 있고, 실패 후 사용자가 정리·강제 등록 삭제를 수행할 수 있도록 개선합니다.

에픽: ablecloud-team/ablestack-cloud#950. 현재 검증 브랜치 codex/fix-1012-1013-dr-recovery를 그대로 PR head로 사용하며 이후 관련 후속 변경과 검증 결과를 이 PR에서 추적합니다. 이 PR은 초안이며 이슈를 자동 종료하지 않습니다.

진행 상황

• 기존 누적 수정과 설계·배포·검증 문서 포함
• #960/#961/#963/#964/#965: DR 활성화, 레거시 Cluster 차단, 부팅 호환성, 조건부 QGA 검증, 테스트 정리 후 복원, JSON 응답 보완
• #968/#969/#970 및 #975/#976/#977: export 소유권·세대 검증, 정상 유지보수 복원, 페일백 복원 보완
• #971/#981/#985/#988/#1003: 원본 독립 복구, NIC 비활성화, 테스트 후 의도 복원, VMware snapshot chain 읽기
• #1004 및 #962 일부: 실패 테스트 정리·재시도, 기존 삭제 확인창의 강제 옵션
• #979/#1008/#1011/#1012/#1013/#1015: 불변 체크포인트, 현재 자격 정보 재해결, 역복제 데이터 정합성, 작업 완료 확정
• 최신 upstream 통합 및 변경 파일 충돌·의미 충돌 검증
• 최종 PR HEAD 기준 필요한 모듈 회귀와 paired 변경 리뷰
• 미실행 물리 장애·혼합 경로 등 수용 기준의 잔여 검증 정리
• 리뷰 승인 및 병합 후 이슈별 종료 판단

위 체크는 구현 및 각 문서에 명시된 시험 범위의 완료이며 모든 경로 또는 이슈 전체 수용 조건 완료를 뜻하지 않습니다. 특히 #962의 원격 orphan 추적·정리 전체는 미완료입니다.

검증 근거

• Cloud DR 모듈 WSL ext4 Maven test/package: 451 tests, 실패/오류 0. 전체 Cloud 빌드는 실행하지 않았습니다.
• qemu 집중 회귀 24, lifecycle 71, release tombstone, shell syntax PASS.
• 13/22/31/32 각 3대, 총 12개 호스트에 최종 shell 4개 직접 배포하고 SHA256 확인. 이번 최종 qemu 변경은 RPM 빌드 없이 파일 배포했습니다.
• 32번 UI: 전체 재동기화483, 테스트485, 정리486, 재해 페일오버487, 페일백488 SUCCEEDED. 원본 vCenter 단절 상태에서 테스트/정리/재해 전환 성공.
• 페일백488: 100GiB 전체 역복제 쓰기/readback, 원본 부팅·XFS rw·파일 해시, source-only 변경 제거 확인. 후속 정방향 checkpoint184 자동 확정, READY / SOURCE / RUNNING / HEALTHY.
• 별도 64MiB 실제 fixture에서 RBD/qcow2 전체 역복제와 후속 delta 데이터 비교 PASS. 이 결과를 qcow2 전체 UI 전환 체인으로 확대하지 않습니다.
• VMware 원본과 대상 모두 QGA 검증 대상에서 제외합니다. 레거시 DR Cluster 활성화 금지와 원본 단절 재해 전환 계약을 유지합니다.

상세: docs/ftctl/issue-1012-1013-validation.md 및 각 이슈별 설계·검증 문서. 과거 배포 중 보정/재시작이 필요했던 시도와 최종 무보정 성공을 문서에서 구분했습니다. 현재 PR 생성은 최신 upstream 통합 후 재검증이나 새 CI 성공을 의미하지 않습니다.

후속 작업 대기열 — 2026-09-11 갱신

최신 전체 상태/우선순위는 Cloud 에픽 #950 본문을 따른다. 다음은 #1034 + #962 최소 복구 출구 → #967 → #980(P1 상향) → #954(P1 상향). 이미 구현된 #1023/#1030~#1032는 재개발하지 않는다. Diplo #1029와 PR 충돌 해소·최종 병합 검증은 별도 트랙이다. Nutanix #956~#959는 이번 대기열에서 제외한다.

#1007 / #972 통합 반영 (2026-09-11)

• 기존 PR HEAD를 조상으로 유지한 codex/fix-1007-972-scheduler-resume 브랜치 생성, force 없이 기존 PR 브랜치에 fast-forward 반영
• scheduler 시작 시 기존 PAUSE/STOP/RUN과 generation 보존, 최초 초기화 경합 보호
• pause/resume Run에 유효한 durable checkpoint 승계, 기존 provider baseline 검증 유지
• Cloud DR 모듈 451 tests/package, qemu 집중 23 tests, lifecycle 71, maintenance/tombstone/syntax PASS
• 13/22/31/32 compute 총 12대에 shell 2개 백업·직접 배포 및 해시 확인 (Cloud JAR/UI 변경 없음)
• RBD/VMware/qcow2 PAUSED 재시작 보존 및 worker 소실 후 UI Resume 증분 성공: 4623 / 189 / 1546
• 세 경로 RUNNING worker 재시작 후 별도 Resume 없이 다음 증분 확정: 4624 / 191 / 1547, READY/RUNNING/HEALTHY 및 UI 사용 가능

Cloud commit 1269c4066b, qemu commit 091a8da. 상세 설계·검증: docs/ftctl/issue-1007-972-design.md, docs/ftctl/issue-1007-972-validation.md.

원본 13 관리 서버 DB pool 고갈로 첫 qcow2 Pause가 실패한 별도 문제는 P1 #1023으로 등록했습니다. 관리 서비스 임시 복구 후 본 변경을 시험했으며, 그 수동 복구를 무개입 장애 복원 PASS로 계산하지 않습니다. 기존 상태 표시 #973도 후속 관리합니다.

이번 PASS는 프로세스 재시작/소실과 UI 제어·체크포인트 증분에 대한 결과입니다. 장시간 물리 host reboot, management/Agent 각각의 장애 주입, 새 게스트 변경 데이터 해시 비교 및 전체 재해 전환 UI 체인은 이번에 추가 실행하지 않았습니다. 기존 lifecycle 계약 회귀를 통과했으며 VMware 양단 QGA 제외를 유지합니다. 잔여 수용 조건과 최신 upstream 통합 검증 때문에 이슈 자동 종료 및 PR 병합은 수행하지 않습니다.

2026-09-11: #1030/#1031/#1032 메뉴 및 호스트 이동 복구 보완

Pause/Resume의 제어 Run이 실제 체크포인트 producer를 덮어쓰거나, 정상 단일 LIVE scheduler를 미정리 작업으로 판정해 메뉴를 차단하는 문제를 수정했습니다. 원본 VM 이동 후에는 현재 배치를 다시 확인하며, 이전 호스트의 원본 부재 상태보다 정상 작업자를 선택합니다. VM migration 제한은 추가하지 않았습니다.

• 잘못된 pending candidate의 무한 재시작을 막고 거절 증거를 보존합니다.
• 내부 target-suppressed STOP만 새 source/coordinator 역할에서 해제합니다. 사용자 Pause/Stop과 재해 전환 권한은 유지합니다.
• RECOVER_SYNC 체크포인트 승인, 비밀이 아닌 cycle 식별자 보존, imported checkpoint의 NBD 검증 과장 방지, 원본 부재 rc110의 안정적인 재시도를 반영했습니다.
• WSL 변경 모듈 Maven: DR 456, FTCTL service 82 tests PASS. qemu producer/resume/checkpoint, lifecycle 71, release tombstone, maintenance 및 relocation 회귀 PASS. 전체 빌드/RPM 빌드는 하지 않았습니다.
• 13/22/31/32 관리 서버와 compute 12대에 적용했습니다. qemu는 shell 파일 직접 배포, Cloud는 변경 클래스 및 필요한 기존 의존성을 선택 적용했습니다. WEB-INF와 무관한 JAR entry를 보존했습니다.
• UI: qcow2/RBD/VMware Pause/Resume 및 worker 소실 복원 검증. qcow2 VM 13.2→13.1 실제 UI live migration 이후 수동 DR 명령 없이 현재 디스크 655360 bytes 전송, producer 42e7c5fd의 checkpoint 1638 대상 영속화(11:38:17 KST), HEALTHY/RESUMED 확인. 앞선 13.1→13.2 복구는 배포 재시작 이후 worker 08bb25f0 / checkpoint 1897 완료를 별도로 기록했습니다.
• VMware 원본과 대상에 QGA를 사용하지 않았습니다. 모든 경로의 실제 live migration/재해 전체 시나리오를 이번 결과로 PASS 처리하지 않습니다.

기존 손상된 completed snapshot은 시험 중 수동으로 실제 증거를 복원해야 했습니다. 이를 UI-only 성공으로 계산하지 않으며 #1034(P1)에서 처리합니다. 기존 관리 패키지의 누락 의존성과 배포 사전 점검은 #1033(P2)입니다. 상세 설계와 실패/성공 기록: docs/ftctl/issue-1030-design.md, docs/ftctl/issue-1030-validation.md.

#962 확장 + #1006 수동 정리 핵심 구현 완료 (2026-09-11)

과거 불변 체크포인트를 사용자가 선택해 정리하고, 최신·참조·clone 사용 세트를 보존한다. 정책 저장은 자동 삭제를 시작하지 않는다. 강제 등록 해제 후에는 별도 독립 자원 기록을 UI에서 확인할 수 있다.

• 후속 브랜치: 양쪽 codex/fix-962-1006-checkpoint-cleanup; 기존 통합 head가 조상임을 확인하고 fast-forward 반영. 이전 개선 누락/강제 push 없음.
• Cloud head bd5eba6905f, qemu head c9997b2; Cloud DR 모듈 477 tests, UI 5 tests/production build, qemu 정리 14 tests/DR lifecycle 71 cases/release tombstone/기존 checkpoint 13 tests PASS.
• 12 worker에는 qemu 파일 6개 직접 배포, 31/32에는 변경 DR class/context와 UI 정적 파일 배포. 전체 Cloud/qemu 패키지 빌드 없음. WEB-INF 보존, HTTP200 및 파일 hash 확인.
• 실제 UI PASS: 31 qcow2 #1941 두 디스크 선택 정리, 32 VMware→RBD #170 선택 정리. DELETED/EXPIRED 수렴 및 실제 artifact 부재, mutable/최신 자료 보존 확인.
• 정리 후 최신 checkpoint로 Test Failover → Test Cleanup 성공, 별도 재개 조작 없이 RUNNING 복원 및 새 2017 / 329 READY 확인. VMware 양단 QGA 사용 안 함. VMware guest console 부팅 로그인은 이번 차수에서 반복하지 않았다.
• 31 disposable 오류 계획의 기존 삭제 메뉴/강제 옵션→등록 해제→독립 미정리 자원 UI 조회 PASS. 실제 VM/볼륨 없는 fixture이며 원격 실제 잔여 자원 전체 삭제 PASS를 뜻하지 않는다.
• FILE preview 건강 검사 timeout, 실제 API 중첩 응답 처리, Ceph 경로 뒤 큰 JSON nonblocking stdout 부분 출력 오류를 이번 이슈 안에서 수정하고 재시험했다. 삭제 후 오류였던 RBD 첫 시도는 PASS로 세지 않고 동일 요청 재시도 수렴을 확인했다.
• 잔여: #962 원격 자원 재정리/수동 처리 완료 추적, #1006 자동 GC 계약 및 qcow2 COW/복사 비용 개선. 전체 이슈는 닫지 않는다. 이번 차수는 핵심 수동 복구 흐름 완료이며 전체 릴리즈/전체 migration·단절·failback 조합 검증은 아니다.

Cloud 검증 기록 · qemu 검증 기록