> 연구 상태: 중단 실험의 예비 보고서다. 이 글의 Sharpe, return, MDD는 > 실제 시장 OOS 성과가 아니라 synthetic transition 학습 실행의 > final_metrics다. 승인된 9개 run의 모델 checkpoint는 0/9개 보존됐다. > 따라서 실제 시장 누적수익률 곡선과 최근 7/30/90/365일 성과는 재구성할 수 없다.

질문

AWS Spot 실험을 9개 완료 run 경계에서 중단했을 때 무엇이 보존됐으며, 보존된 합성 학습 진단만으로 입력 길이에 대해 어디까지 말할 수 있는가?

설정과 보존 경계

seed 716/context 256은 중단 승인 경계 뒤에 완료됐다. 전체 로그에는 해당 완료 기록이 있지만 headline 9개 분석에는 포함하지 않았다. seed 716/context 384는 중단 요청 시 진행 중이었고 context 512는 시작 전이었다.

보존 결과

Figure 1. 보존 manifest의 승인된 9개 run 기준이다. 로그와 metric은 남았지만 모델 checkpoint와 재구성 가능한 실제 OOS curve는 없다.

중단 시점에 Spot instance의 DeleteOnTermination root EBS가 삭제됐다. 설정된 S3 prefix에도 checkpoint object가 없었다. 로그에 과거 last_model_path가 출력돼 있어도 그 경로의 .pt 파일이 현재 존재한다는 뜻은 아니다.

합성 학습 진단

Figure 2. 보존 로그의 final_metrics를 context와 seed별로 그렸다. 실제 시장 OOS 또는 운용 수익률이 아니다.

승인 경계 안에서는 synthetic return이 양수인 run이 6/9, synthetic Sharpe가 양수인 run이 5/9였다. seed 714에서는 context 384의 synthetic Sharpe가 1.213으로 가장 높았지만, seed 715에서는 context 512가 0.594로 가장 높았다. context 256은 보존된 두 seed에서 모두 음수였다.

Figure 3. 승인된 9개 run만 표시한 synthetic Sharpe heatmap이다. seed 716의 나머지 context는 headline 분석에서 제외했다.

해석

입력 길이가 늘수록 합성 학습 진단이 단조롭게 좋아졌다는 증거는 없다. 같은 seed에서도 160 → 256 → 384 → 512 변화가 오르내렸고, 가장 높은 context도 seed에 따라 달랐다. Mamba preset의 actor parameter count는 모든 보존 run에서 3,423,691, full IQL parameter count는 20,543,170으로 같았다. 이번 matrix는 history length와 계산량을 바꿨지만 parameter capacity를 늘린 실험은 아니다.

그러나 이것은 합성 환경 안에서의 관찰이다. “context 384가 실제 트레이딩에서 좋다”거나 “Mamba가 기존 backbone보다 낫다”는 결론은 낼 수 없다. 체크포인트가 없어 동일한 실제 BTC 시장 frame에 정책을 다시 실행할 수 없고, 원래 계획한 validation/test split과 position-level ensemble 평가도 완료하지 못했다.

한계

• 12개 계획 중 승인 경계는 9개이며 context별 seed 수가 다르다.
• seed 716/context 256은 경계 뒤 완료됐지만 headline 숫자에서 제외했다.
• 모델 checkpoint가 0/9이므로 cumulative real-market return curve가 없다.
• 실제 최근 구간 성과, turnover, 거래비용, MDD, weak-window overlap을 계산할 수 없다.
• active ensemble 대비 position-level marginal 개선 증거가 없다.
• 따라서 이 결과로 registry 등록이나 운용 승격을 결정하면 안 된다.

다음 실험과 수용 기준

1. 동일 spec을 재실행하되 각 run 종료 직후 .pt, per-run JSON, projected dataset manifest를 S3에 원자적으로 업로드한다. 2. 12개 matrix와 3개 seed를 모두 완료한 뒤 validation 구간에서 context를 선택한다. 3. 선택 전 사용하지 않은 final test에서 cumulative return, Sharpe, MDD, turnover, transaction cost를 계산한다. 4. 기존 active ensemble에 Mamba position을 더한 position-level marginal 평가를 한다. 5. checkpoint, checksum, OOS curve, inference latency가 모두 남은 경우에만 운용 후보로 검토한다.

재현 자료

• 정규화된 9개 run CSV
• Context별 기술 요약
• 증거 checksum 검증표
• 공개용 보존 요약

생성 과정은 manifest의 9개 run을 로그의 JSON 결과와 대조했다. Sharpe, return, MDD가 소수 셋째 자리에서 일치하지 않거나 원본 checksum이 다르면 보고서 생성이 실패하도록 검증했다.