요약

JeTech Lab의 다음 연구 방향은 algorithm 하나를 더 붙이는 일이 아니다. 연구 축을 네 개로 나눠야 한다.

A. World model 가격 합성기
B. Offline RL algorithm
C. 시계열 패턴 캡처
D. Real market gate

이 네 축은 따로 움직이면 의미가 약하다. World model이 좋아져도 action dataset이 빈약하면 policy는 flat으로 무너진다. 새 offline RL algorithm을 붙여도 synthetic path가 비현실적이면 real gate에서 떨어진다. 시계열 encoder를 키워도 reward와 gate가 어긋나면 synthetic Sharpe만 올라간다.

JeTech의 연구 루프는 아래 형태로 고정한다.

real OHLC
  -> world model training
  -> synthetic market paths
  -> synthetic action/position dataset
  -> offline RL algorithm
  -> synthetic eval
  -> real 5Y gate
  -> failure taxonomy
  -> next dataset/model change

이 글은 다음 6개월의 연구 순서를 정리한다.

1. World Model 가격 합성기 연구

World model 연구의 목표는 “미래 가격을 맞히는 모델”이 아니다. Offline RL policy가 학습해도 되는 시장 분포를 만드는 일이다.

현재 정의

input:
  past 224 days OHLC

output:
  future 96 days OHLC path distribution

이 구조는 supervised/generative learning에 가깝다. RL algorithm이 아니다. 다만 이 모델이 만든 path가 offline RL dataset의 바탕이 되므로, 전체 연구는 world-model-assisted offline RL이다.

가장 먼저 할 일

World model 품질 리포트를 training artifact로 고정한다.

이 리포트가 없으면 world model 개선을 주장할 수 없다. Loss가 낮아졌다는 말은 trading dataset 품질을 보장하지 않는다.

두 번째 할 일

Regime-conditioned generation을 붙인다.

condition examples:
  volatility_bucket = low / normal / high / crisis
  trend_bucket = up / range / down
  drawdown_bucket = near_high / mild / deep
  asset_context = crypto_beta / equity_beta / risk_off

Offline RL dataset은 실제 분포를 그대로 복제하는 것만으로 부족하다. Rare regime을 의도적으로 더 보여줘야 한다. Agent가 crash를 거의 보지 못하면 leverage를 배운다. Crash만 보면 아무것도 하지 않는다. 균형 잡힌 oversampling이 필요하다.

세 번째 할 일

Price-only generator를 joint transition generator로 확장할지 판단한다.

현재:
  price path 생성 -> action labeler -> reward transition

후보:
  price, action, reward를 함께 생성
  또는 price path는 world model, action은 inverse dynamics/behavior prior로 보완

바로 큰 diffusion world model로 가기보다, 먼저 regime-aware action labeler를 강화한다. 그 다음 action-conditioned 또는 trajectory-level generator를 실험한다.

2. Offline RL Algorithm 연구

Algorithm 연구는 CORL을 기준으로 한다. CORL은 CQL, IQL, TD3+BC, Decision Transformer, ReBRAC 등 offline RL 구현을 single-file style로 제공한다. JeTech 구현은 CORL과 비교 가능한 수준이어야 한다.

우선순위

이 순서는 논문 점수 순위가 아니다. JeTech에서 실험 비용과 real gate 가능성을 기준으로 둔 운영 순서다.

Algorithm 비교 원칙

같은 dataset에서 비교한다.

same world_model_version
same generated_path_seed
same synthetic_action_labelers
same reward_config
same encoder_backbone
same train_steps
same real_gate_period

이 조건이 깨지면 “algorithm이 좋다”는 결론을 낼 수 없다. World model sample이 바뀌었거나 action labeler mix가 바뀌면 algorithm 비교가 아니라 dataset 비교가 된다.

Diffusion Policy 연구 조건

Diffusion은 다음 조건이 보일 때 시작한다.

1. 같은 state bucket에서 reward가 좋은 action mode가 둘 이상 있다. 2. Deterministic actor가 평균 exposure로 무너진다. 3. IQL/ReBRAC이 dataset support 안에서는 안정적이지만 action diversity를 못 살린다. 4. Candidate action sampling이 real gate에서 개선을 만든다.

이 조건 없이 diffusion을 붙이면 계산량만 늘어난다. Diffusion policy의 첫 역할은 live actor가 아니라 candidate generator 또는 behavior prior다.

3. 다양한 시계열 패턴 캡처 연구

Trading에서 encoder는 가격을 숫자로 압축하는 장치가 아니다. Regime과 path shape를 policy가 사용할 수 있는 표현으로 바꿔야 한다.

JeTech의 price-only 원칙은 유지한다.

input = OHLC window
no handcrafted alpha leakage
encoder learns representation

다만 OHLC-only가 단순 모델을 뜻하지는 않는다. Encoder는 다음 패턴을 잡아야 한다.

Encoder 후보

Encoder 연구는 algorithm 연구와 분리해서 해야 한다. 같은 offline RL algorithm에서 encoder만 바꿔야 encoder 효과를 볼 수 있다.

Representation 평가

Encoder가 좋아졌는지 policy 성능만으로 보면 늦다. 중간 representation probe가 필요하다.

probe tasks:
  next 20d realized volatility bucket
  next 20d drawdown bucket
  trend/range regime label
  tail event probability
  simple strategy winner class

이 probe는 live signal로 쓰기 위한 것이 아니다. Encoder가 시장 상태를 구분하는지 보는 진단 도구다.

4. Dataset 생성 정책 연구

Offline RL에서 dataset은 algorithm만큼 중요하다. Dataset에 없는 action은 policy가 안정적으로 배울 수 없다.

현재 action labeler는 세 축으로 나눠야 한다.

Oracle-like labeler는 조심해야 한다. 미래 수익률을 직접 보면 policy가 현실에서 얻을 수 없는 정보를 배운다. 사용할 수는 있지만, baseline dataset과 분리하고 leakage label을 metadata에 남겨야 한다.

Dataset card는 필수다.

dataset_id
world_model_version
generation_seed
symbol_set
date_source
regime_mix
labeler_mix
reward_config
cost_config
transition_count
quality_metrics
leakage_flags

이 card가 없으면 실험 결과를 나중에 재현할 수 없다.

5. Real Gate 연구

JeTech의 최종 평가는 synthetic score가 아니라 real market gate다. Gate는 단순히 Sharpe threshold만 보면 안 된다.

Real gate 실패는 taxonomy로 남긴다.

이 taxonomy가 있어야 자동 학습 루프가 “다시 돌리기”에서 벗어난다.

6개월 연구 순서

이 순서는 의도적으로 보수적이다. 먼저 측정하고, 그 다음 algorithm을 늘린다. 측정 없이 diffusion과 transformer를 붙이면 실패 원인을 잃는다.

연구 결론

JeTech Lab의 핵심 연구 질문은 하나다.

어떤 synthetic market distribution과 offline RL algorithm 조합이
real market gate를 가장 안정적으로 통과하는가?

World model, offline RL, 시계열 encoder, dataset policy는 이 질문의 하위 문제다. 연구를 잘하려면 각 축을 따로 개선하고, 마지막에는 같은 real gate로 다시 묶어야 한다.

다음 단계는 명확하다. World model 품질을 수치화하고, dataset card를 만들고, CORL 기준 baseline을 고정한다. 그 위에서 diffusion policy와 더 큰 sequence model을 실험한다.