요약

JeTech의 world model은 offline RL algorithm이 아니다. 역할은 시장 경로 생성기다.

최근 224일 OHLC
  -> world model
  -> 향후 96일 OHLC path distribution

Offline RL algorithm은 그 다음 단계에서 등장한다.

synthetic OHLC path
  -> action/position labeler
  -> reward/env simulator
  -> transition dataset
  -> IQL, ReBRAC, CQL, TD3+BC, DT

따라서 연구 이름은 “world-model-assisted offline RL” 또는 “model-based offline RL with synthetic market rollouts”가 맞다. World model은 policy를 직접 학습하는 방법이 아니라, policy 학습용 환경과 데이터를 만드는 generative dynamics model이다.

Trading world model의 품질은 시각적으로 그럴듯한 차트를 만드는 일로 끝나지 않는다. 좋은 시장 합성기는 volatility clustering, heavy tail, drawdown, regime duration, gap, correlation, OHLC 제약, transaction-cost 이후 strategy ranking까지 통과해야 한다.

World Model의 역할

일반 RL에서 world model은 환경의 dynamics를 배운다.

p(next_state, reward | state, action)

JeTech의 현재 가격 world model은 action-conditioned dynamics가 아니다. 우리의 현재 관심은 시장 자체의 다음 경로 분포다.

p(future_ohlc_path | past_ohlc_window)

이 차이를 정확히 잡아야 한다.

Trading에서 우리가 내는 action은 대부분 시장 전체 가격을 바꾸지 않는다는 가정 위에 있다. 대형 order book impact를 다루는 HFT나 execution RL이라면 action-conditioned market simulator가 필요하다. JeTech의 중기 OHLC agent에서는 우선 “내 action이 시장 가격을 바꾸지 않는다”는 가정으로 path generator를 분리하는 편이 현실적이다.

Model-Based Offline RL과의 연결

MOPO, MOReL, COMBO는 offline dataset에서 dynamics model을 배운 뒤 synthetic rollout을 활용한다. 이 계열의 핵심 경고는 같다. Model rollout은 dataset support 밖으로 나가면 빠르게 오염된다.

MOPO는 model uncertainty를 reward penalty로 넣는다. MOReL은 불확실한 상태를 pessimistic MDP 안에서 나쁜 absorbing state처럼 다룬다. COMBO는 model rollout으로 만든 out-of-support state-action에 conservative value regularization을 건다.

JeTech world model에도 같은 원칙이 필요하다.

World model이 만든 path를 모두 같은 신뢰도로 쓰면 안 된다. Model이 약한 regime에서 만든 path는 policy를 망칠 수 있다. 특히 crash, volatility explosion, liquidity gap 같은 tail regime은 샘플 수가 적다. 생성기가 이 구간을 과소표현하면 agent는 tail risk를 배울 수 없다. 반대로 tail을 과장하면 policy는 항상 flat으로 도망간다.

좋은 시장 합성기의 조건

가격 생성기는 다음 통계를 맞춰야 한다.

마지막 항목이 중요하다. World model은 real market distribution을 모사해야 하지만, 우리의 목적은 policy 학습이다. 따라서 “보기 좋은 chart”보다 “policy ranking을 보존하는 chart”가 더 중요하다. Synthetic에서 trend following이 최고이고 real에서 mean reversion이 최고라면, world model은 학습용 환경으로 위험하다.

최근 금융 diffusion 연구도 이 문제를 건드린다. Generation of synthetic financial time series by diffusion models는 DDPM을 금융 시계열 생성에 적용하며 stylized facts 재현을 다룬다. Beyond Visual Realism은 차트가 그럴듯해 보여도 strategy-level evaluation이 맞지 않을 수 있음을 강조한다. CoFinDiff는 trend와 volatility 조건을 주는 controllable financial diffusion 방향을 제안한다.

JeTech world model은 이 흐름을 받아들여야 한다. OHLC path를 생성한 뒤 차트만 보는 검증은 부족하다. 생성 path로 만든 offline dataset이 real gate에서 살아남는지 봐야 한다.

현재 구조의 장점

현재 구조는 분리가 명확하다.

1. real OHLC로 world model 학습
2. synthetic OHLC path 생성
3. synthetic action labeler가 exposure 부여
4. env simulator가 reward와 transition 생성
5. offline RL algorithm이 policy 학습
6. real 5Y gate가 policy 검증

이 구조의 장점은 실험 분해다.

각 단계를 분리하면 “offline RL algorithm이 나쁜가”와 “market generator가 나쁜가”를 구분할 수 있다.

현재 구조의 위험

위험도 있다.

1. Action과 가격이 독립이다

현재 world model은 가격을 만들고, action labeler가 나중에 position을 붙인다. 이 방식은 구현이 쉽지만, action과 market regime의 결합을 약하게 만든다.

예를 들어 고변동 crash regime에서는 random action의 손실 분포가 커야 한다. Trend-following labeler는 늦게 들어가면서 손실을 볼 수 있고, mean-reversion labeler는 반등을 잡기도 하지만 칼날을 잡기도 한다. 가격 path만 먼저 만들고 action을 나중에 붙이면 이런 joint behavior가 부족할 수 있다.

개선 방향은 두 단계다.

2. Tail calibration이 어렵다

금융 path는 평균적인 날보다 tail day가 중요하다. 큰 손실은 드물게 오지만 policy 생존을 결정한다. World model이 tail을 조금만 얇게 만들면 agent는 leverage를 과하게 배울 수 있다.

Tail 검증은 최소한 아래를 포함해야 한다.

1d / 5d / 20d return quantile
realized volatility percentile
gap size distribution
max drawdown distribution
drawdown recovery time
volatility after loss event

3. Regime duration을 놓치기 쉽다

단기 예측 모델은 다음 candle을 그럴듯하게 맞춰도 장기 regime persistence를 놓칠 수 있다. JeTech의 입력과 출력이 224 -> 96일이라면, 96일 path 안에서 추세 지속, 박스권, 급락 후 변동성 잔류가 살아 있어야 한다.

따라서 loss는 one-step MSE만으로 부족하다. Multi-horizon return, realized volatility, drawdown shape, tail quantile에 대한 auxiliary loss 또는 post-hoc scoring이 필요하다.

4. Real gate와 다른 objective를 최적화할 수 있다

World model이 likelihood를 잘 맞춘다고 real gate 성능이 올라가지는 않는다. Likelihood는 자주 나오는 평범한 구간을 잘 맞추는 모델을 선호한다. Trading policy는 드문 regime에서 살아남아야 한다.

JeTech는 world model selection을 다음 기준으로 바꿔야 한다.

개선 설계

단기 개선은 복잡한 diffusion으로 바로 뛰는 것이 아니다. 먼저 품질 계측을 붙인다.

A. Path Quality Report

World model 학습 뒤 생성 샘플을 N개 만들고 real validation window와 비교한다.

world_model_quality.json
  return_distribution
  volatility_clustering
  drawdown_distribution
  tail_event_frequency
  ohlc_validity
  regime_duration
  strategy_ranking

각 metric은 pass/fail보다 distance로 저장한다. 예를 들어 KS distance, Wasserstein distance, quantile error, autocorrelation error를 남긴다. 그러면 model version 간 비교가 가능하다.

B. Regime-Conditioned Generation

현재 path generator가 unconditional에 가깝다면, 다음 단계에서는 regime condition을 넣는다.

Condition을 명시하면 “평균적인 market path”만 만들지 않고, 필요한 regime을 의도적으로 oversample할 수 있다. Offline RL dataset은 real distribution만 따라가면 부족하다. Rare but important state를 더 보여줘야 한다.

C. Joint Transition Generator

중기 목표는 price-only path generator에서 complete transition generator로 가는 것이다.

current:
  past OHLC -> future OHLC
  future OHLC + labeler -> action/reward transition

target:
  past trajectory + policy archetype
    -> OHLC, action, reward, next observation, done

DAWM 같은 최근 흐름은 diffusion world model이 state-reward trajectory를 만들고 inverse dynamics로 action을 보완하는 방향을 제안한다. JeTech가 바로 같은 구조를 쓸 필요는 없지만, 가격과 action을 완전히 분리한 구조가 최종형은 아니라는 점은 받아들여야 한다.

D. Synthetic-to-Real Gate

World model은 standalone metric만으로 승격하지 않는다. 아래 gate를 통과해야 한다.

이 gate를 통과한 world model만 offline RL training dataset 생성에 쓰는 편이 맞다.

연구 결론

JeTech world model 연구의 다음 문장은 분명해야 한다.

World model은 trading policy가 아니다.
World model은 trading policy를 학습시킬 market path distribution을 만든다.

좋은 world model은 더 높은 synthetic Sharpe를 만드는 모델이 아니다. Real gate에서 살아남는 policy를 더 자주 만들게 하는 모델이다. 따라서 world model 연구는 가격 예측 연구가 아니라, policy 학습용 시장 분포 설계 연구로 봐야 한다.