pubDate: 2024-05-22
author: sakakibara
tick
トーレディングのデータに限らず取引のデータは通常, 表形式に成っていることが多い。
そのカラムは取引Noをキーとして種類、数量、価格、日時などが含まれる。
このような表形式のデータを金融ではバーと呼ぶ。
ここでbarとは一定の基準で区切られた表形式のデータであり、データ一点のことではない。データの集まり(表)のことである。
研究で使われるバーは大分して２つ。一つは標準バー方式、もう一つが情報ドリブン方式である。後者の法を使用している実務家は多いと聞く。
以下にこれからの議論の重要な点をまとめる。
情報は一定のエントロピー速度で市場に届くわけではない。
時系列的な間隔でデータをサンプリングすることは、個々の観測者の情報コンテンツが一定からほど遠いことを意味する。
より良いアプローチは、交換される情報量に従属する過程として観測データをサンプリングすることである。
当然だが、機械学習の多くの技術ではデータをそのままNNなどに突っ込めば良いということは無く、正規化や標準化を行ってから機械学習などにかけることが多い。
標準バー方式はどのようにデータをサンプリングするかを決めるバーのサンプリング方式のことである。
目的とするところは、データがiidのノイズが乗ったデータとなるように時系列データを適切にサンプリングし、解析(計量時系列分析なり機械学習なり)をしやすくすることである。
time-bar
生のデータは取引No毎に送られてくることが多い。
time-bar方式は1分毎に1回情報をサンプリングする方法である。
これはごく自然な方法であり、最も人気があり、実際に研究論文などでもこの方法が最も多く使われているだろう。
しかし、精度の良い解析のためにはこの方法は避けるべきだ。
というのも、取引が活発な時間帯とそうでない時間帯を同じように扱ってしまうからである。
例えば、日本の株式市場の場合、取引が活発な時間帯は朝のオープンと昼の昼休み明けであるが、ここでの取引とそれ以外の時間帯の取引では出来高が異なる。
つまり、取引の活発な時間帯は過小にサンプリングし、閑散な時間帯は過大にサンプリングしてしまう。
さらにそれがHFTによって非常に激しく成っている場合、この方法は適切ではない。
メリット:
デメリット:
系列相関(観測値が前後の観測値とどの程度関連しているか)
分散不均一性(時間とともに分散が一定ではなくなること)
非正規分布リターン(極端な下落、上昇などが予想以上に存在すること)
という功罪をもたらす。
などFlow Toxicity and liquidity in a high-frequency world にも関連している。
ticks-bar
100回の取引毎にデータを区切ったらどうだろうか？
あまりにも単純な考えだが、これがtick-barである。
じつはこの方法はtime-barよりも優れた統計的性質を持っている。
On The Distribution of Stock Price Difference が発表されたのは1967年のことだ。
考えて見れば当然といえば当然だ。
time-barは取引毎から見たら相当不均一なデータをサンプリングしていると言えるが、ticks-barはそれよりかは少しだけマシなのである。
volume-bar
ではticks-barが最適かというとそうではない。
分割注文があるとtickに恣意性が含まれてしまうのだ。
例えば、10株の売り注文が1つあると、これは1 1 1 10 10 10
dollar-bar
dollar-barは一定の金額毎にサンプリングする方法である。
これはvolume-barと似たような発想だが、volume-barよりも時間に対して一日あたりの平均バー数が一定になるというメリットがある。
情報ドリブン方式
情報ドリブン方式は標準バー方式とは異なり、新たなデータが来るたびに情報が含まれているかを検知し、より高頻度にサンプリングする方法である。つまり、動的にバーのサイズを変更する方法である。
tirck-imbalance-bar
tick系列を{ ( p t , v t ) } ( t = 1 , … , T ) \set{(p_t, v_t)}(t=1,\ldots, T) { ( p t , v t ) } ( t = 1 , … , T ) p t p_t p t t t t v t v_t v t t t t { b t } t = 1 , … , T \set{b_t}t=1,\ldots, T { b t } t = 1 , … , T
b t = { 1 if v t − 1 < v t b t − 1 if v t − 1 = v t − 1 if v t − 1 > v t b_t =
\begin{cases}
1 & \text{if} v_{t-1} < v_t \\
b_{t-1} & \text{if} v_{t-1} = v_t \\
-1 & \text{if} v_{t-1} > v_t \\
\end{cases} b t = ⎩ ⎨ ⎧ 1 b t − 1 − 1 if v t − 1 < v t if v t − 1 = v t if v t − 1 > v t ここでb t ∈ { − 1 , 1 } b_t \in \set{-1, 1} b t ∈ { − 1 , 1 } T T T
θ T = ∑ t = 1 T b t \theta_T = \sum_{t=1}^T b_t θ T = t = 1 ∑ T b t ここで注意すべきはTはバーのサイズであり、確率変数である。
当然θ T \theta_T θ T
現状を整理する。T T T { 1 , … , T 0 } , { 1 , … , T 1 } , … , { 1 , … , T n } \set{1,\ldots, T_0}, \set{1, \ldots, T_1}, \ldots, \set{1, \ldots, T_n} { 1 , … , T 0 } , { 1 , … , T 1 } , … , { 1 , … , T n } T T T
θ T \theta_T θ T T T T T T T θ T \theta_T θ T θ T \theta_T θ T
E [ θ T ] = E [ T ∑ t = 1 T b t T ] = E [ T ] ( num of ( b = 1 ) T − num of ( b = − 1 ) T ) = E [ T ] ( P ( b t = 1 ) − P ( b t = − 1 ) ) \begin{aligned}
\mathbb{E}[\theta_T] &= \mathbb{E}[{T\frac{\sum_{t=1}^Tb_t}{T}}] \\
&= \mathbb{E}[T](\frac{\text{num of}(b=1)}{T} - \frac{\text{num of}(b=-1)}{T}) \\
&= \mathbb{E}[T](P(b_t=1) - P(b_t=-1))
\end{aligned} E [ θ T ] = E [ T T ∑ t = 1 T b t ] = E [ T ] ( T num of ( b = 1 ) − T num of ( b = − 1 ) ) = E [ T ] ( P ( b t = 1 ) − P ( b t = − 1 )) ここで、計算に使用した系列{ b t } \set{b_t} { b t } E [ T ] \mathbb{E}[T] E [ T ] P ( b t = 1 ) − P ( b t = − 1 ) P(b_t=1)-P(b_t=-1) P ( b t = 1 ) − P ( b t = − 1 ) b t b_t b t
T ∗ = arg min T { ∣ θ T ∣ ≥ ∣ E [ T ] ( P ( b t = 1 ) − P ( b t = − 1 ) ) ∣ } T^* = \arg\min_T\set{|\theta_T|\geq|\mathbb{E}[T](P(b_t=1) - P(b_t=-1))|} T ∗ = arg T min { ∣ θ T ∣ ≥ ∣ E [ T ] ( P ( b t = 1 ) − P ( b t = − 1 )) ∣ } つまり、θ T \theta_T θ T
volume/dollar-imbalance-bar
volume/dollar-imbalance-barはtick-imbalance-barと同様に考えることができる。
imbalanceを以下のように定義する。
θ T = ∑ t = 1 T b t v t \theta_T = \sum_{t=1}^T b_tv_t θ T = t = 1 ∑ T b t v t ここで、v t v_t v t ∑ t ∈ { t ∣ b t = 1 } \sum_{t\in\{t|b_t=1\}} ∑ t ∈ { t ∣ b t = 1 } ∑ t ∣ b t = 1 \sum_{t|b_t=1} ∑ t ∣ b t = 1
その期待値は
E [ θ T ] = E [ T ∑ t = 1 T b t v t T ] = E [ T ∑ t ∣ b t = 1 v t − ∑ t ∣ b t = − 1 v t T ] = E [ T ( ∑ t ∣ b t = 1 v t T − ∑ t ∣ b t = − 1 v t T ) ] = E [ T ( P ( b t = 1 ) E [ v t ∣ b t = 1 ] − P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] ) ] = E [ T ] ( P ( b t = 1 ) E [ v t ∣ b t = 1 ] − P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] ) \begin{aligned}
\mathbb{E}[\theta_T] &= \mathbb{E}[T\frac{\sum_{t=1}^{T}b_tv_t}{T}] \\
&= \mathbb{E}[T\frac{\sum_{t|b_t=1}v_t - \sum_{t|b_t=-1}v_t}{T}] \\
&= \mathbb{E}[T(\frac{\sum_{t|b_t=1}v_t}{T} - \frac{\sum_{t|b_t=-1}v_t}{T})] \\
&= \mathbb{E}[T(P(b_t=1)E[v_t|b_t=1] - P(b_t=-1)E[v_t|b_t=-1])] \\
&= \mathbb{E}[T](P(b_t=1)E[v_t|b_t=1] - P(b_t=-1)E[v_t|b_t=-1]) \\
\end{aligned} E [ θ T ] = E [ T T ∑ t = 1 T b t v t ] = E [ T T ∑ t ∣ b t = 1 v t − ∑ t ∣ b t = − 1 v t ] = E [ T ( T ∑ t ∣ b t = 1 v t − T ∑ t ∣ b t = − 1 v t )] = E [ T ( P ( b t = 1 ) E [ v t ∣ b t = 1 ] − P ( b t = − 1 ) E [ v t ∣ b t = − 1 ])] = E [ T ] ( P ( b t = 1 ) E [ v t ∣ b t = 1 ] − P ( b t = − 1 ) E [ v t ∣ b t = − 1 ]) ここで、簡略化のためにv + = P ( b t = 1 ) E [ v t ∣ b t = 1 ] v^+=P(b_t=1)E[v_t|b_t=1] v + = P ( b t = 1 ) E [ v t ∣ b t = 1 ] v − = P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] v^-=P(b_t=-1)E[v_t|b_t=-1] v − = P ( b t = − 1 ) E [ v t ∣ b t = − 1 ]
E [ θ T ] = E [ T ] ( v + − v − ) \mathbb{E}[\theta_T] = \mathbb{E}[T](v^+ - v^-) E [ θ T ] = E [ T ] ( v + − v − ) のように簡略化して表すことができる。
そして、tick-barと同様に以下に考えられる。
T ∗ = arg min T { ∣ θ T ∣ ≥ ∣ E [ T ] ( v + − v − ) ∣ } T^* = \arg\min_T\set{|\theta_T|\geq|\mathbb{E}[T](v^+ - v^-)|} T ∗ = arg T min { ∣ θ T ∣ ≥ ∣ E [ T ] ( v + − v − ) ∣ } Tick Run bar
tick-imbalance-bar, volume/dollar-imbalance-barはtickの情報を使って注文の不均衡を捉える方法である。
ところで、大口トレーダーは注文版を一気に一掃したり、親注文を複数の子注文に分割して取引することがある。
このような注文は{ b t } t = 1 , … , T \set{b_t}_ {t=1,\ldots, T} { b t } t = 1 , … , T 買い , 売り のみの連続性を監視し、その累積が既定値を超えていたらサンプリングするという方法である。
θ T = max { ∑ t ∣ b t = 1 b t , − ∑ t ∣ b t = − 1 b t } \theta_T = \max\big\set{\sum_{t|b_t=1} b_t,\ -\sum_{t|b_t=-1}b_t} θ T = max { t ∣ b t = 1 ∑ b t , − t ∣ b t = − 1 ∑ b t } 次に、これまでと同じようにimbalanceの期待値を
E [ θ T ] = E [ T ] max { P ( b t = 1 ) , P ( b t = − 1 ) } \mathbb{E}[\theta_T] = \mathbb{E}[T]\max\set{P(b_t=1),\ P(b_t=-1)} E [ θ T ] = E [ T ] max { P ( b t = 1 ) , P ( b t = − 1 ) } とする。
これにより、barのサイズを決定することができる。
T ∗ = arg min T { ∣ θ T ∣ ≥ ∣ E [ T ] max { P ( b t = 1 ) , P ( b t = − 1 ) } ∣ } T^* = \arg\min_T\set{|\theta_T|\geq|\mathbb{E}[T]\max\set{P(b_t=1),\ P(b_t=-1)}
|} T ∗ = arg T min { ∣ θ T ∣ ≥ ∣ E [ T ] max { P ( b t = 1 ) , P ( b t = − 1 ) } ∣ } ここで、θ T \theta_T θ T
Volume/Dollar Run bar
volume-run-bar, dollar-run-barはtick-run-barと同様の考えを出来高や売買代金に対して適応したものである。
runは以下のように定義できる。
θ T = max { ∑ t ∣ b t = 1 b t v t , − ∑ t ∣ b t = − 1 b t v t } \theta_T = \max\big\set{\sum_{t|b_t=1} b_tv_t,\ -\sum_{t|b_t=-1}b_tv_t} θ T = max { t ∣ b t = 1 ∑ b t v t , − t ∣ b t = − 1 ∑ b t v t } そして、期待値は
E [ θ T ] = E [ T ] max { P ( b t = 1 ) E [ v t ∣ b t = 1 ] , P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] } \mathbb{E}[\theta_T] = \mathbb{E}[T]\max\set{P(b_t=1)\mathbb{E}[v_t|b_t=1],\ P(b_t=-1)\mathbb{E}[v_t|b_t=-1]} E [ θ T ] = E [ T ] max { P ( b t = 1 ) E [ v t ∣ b t = 1 ] , P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] } そして、runによるbarのサイズは
T ∗ = arg min T { ∣ θ T ∣ ≥ ∣ E [ T ] max { P ( b t = 1 ) E [ v t ∣ b t = 1 ] , P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] } ∣ } T^* = \arg\min_T\set{|\theta_T|\geq| \\
\mathbb{E}[T]\max\set{P(b_t=1)\mathbb{E}[v_t|b_t=1],\ P(b_t=-1)\mathbb{E}[v_t|b_t=-1]}
|} T ∗ = arg T min { ∣ θ T ∣ ≥ ∣ E [ T ] max { P ( b t = 1 ) E [ v t ∣ b t = 1 ] , P ( b t = − 1 ) E [ v t ∣ b t = − 1 ] } ∣ } となる。
ETFトリック
先物スプレッド(spread of futures)を売買する戦略を発展させるとしよう。ここで、いくつか厄介な点が発生する。
スプレッドは時間経過とともに変化する重みのベクトル(tuple)によって特徴づけられる。すると、価格が変化しなくても、スプレッド自体が収束する可能性がある。結果、その系列を取引するモデルはPnLがそのウェイトによって生じたものであると誤解することになる。
スプレッド自体が負の値をとることになる。たいていのモデルは負の入力を想定していない。
取引時間は全ての構成銘柄で正確に一致しているわけではない、スプレッドは常に公表された最後の水準で取引可能であるとは限らず(bitaskspreadのリスクあり)、遅延リスクもゼロではない。
この回避策として、ETFトリックがある。
ETFトリックとは1ドルをスプレッドに投資し、その価値を反映するような時系列{ K t } \set{K_t} { K t } { K t } \set{K_t} { K t } 0 0 0 b a r bar ba r b a r 1 , b a r 2 , … , b a r T bar_1, bar_2,\ldots, bar_T ba r 1 , ba r 2 , … , ba r T T T T
o i , t o_{i,t} o i , t t = 1 , … , T t=1,\ldots,T t = 1 , … , T i = 1 , … , I i=1,\ldots,I i = 1 , … , I p i , t p_{i,t} p i , t t = 1 , … , T t=1,\ldots,T t = 1 , … , T i = 1 , … , I i=1,\ldots,I i = 1 , … , I φ i , t \varphi_{i,t} φ i , t t = 1 , … , T t=1,\ldots,T t = 1 , … , T i i i v i , t v_{i,t} v i , t t = 1 , … , T t=1,\ldots,T t = 1 , … , T i = 1 , … , I i=1,\ldots,I i = 1 , … , I
なお、全ての商品i = 1 , … , I i=1,\ldots, I i = 1 , … , I t = 1 , … , T t=1,\ldots,T t = 1 , … , T [ t − 1 , t ] [t-1, t] [ t − 1 , t ] t , t − 1 t, t-1 t , t − 1
$1を投資した際の時系列{ K t } \set{K_t} { K t } B ⊂ { 1 , … , T } B\sub \set{1,\ldots, T} B ⊂ { 1 , … , T } ω t \omega_t ω t
K t = K t − 1 + ∑ i = 1 I h i , t − 1 φ i , t δ i , t h i , t = { ω i , t K t o i , t + 1 φ i , t ∑ i = 1 I ∣ ω i , t ∣ if t ∈ B h i , t − 1 otherwise δ i , t = { p i , t − o i , t if t − 1 ∈ B Δ p i , t otherwise \begin{aligned}
K_t &= K_{t-1} + \sum_{i=1}^I h_{i,t-1}\varphi_{i,t}\delta_{i,t} \\
h_{i,t} &=
\begin{cases}
\frac{\omega_{i,t}K_t}{o_{i,t+1}\varphi_{i,t}\sum_{i=1}^I|\omega_{i,t}|} & \text{if}\ t \in B \\
h_{i,t-1} & \text{otherwise}
\end{cases} \\
\delta_{i,t} &=
\begin{cases}
p_{i,t}-o_{i,t} & \text{if}\ t-1 \in B \\
\Delta p_{i,t} & \text{otherwise}
\end{cases} \\
\end{aligned} K t h i , t δ i , t = K t − 1 + i = 1 ∑ I h i , t − 1 φ i , t δ i , t = { o i , t + 1 φ i , t ∑ i = 1 I ∣ ω i , t ∣ ω i , t K t h i , t − 1 if t ∈ B otherwise = { p i , t − o i , t Δ p i , t if t − 1 ∈ B otherwise ここで、投資価値(AUM)の初期値をK 0 = 1 K_0=1 K 0 = 1
h i , t h_{i,t} h i , t t t t i i i ω i , t \omega_{i,t} ω i , t t t t i i i h i , t h_{i,t} h i , t ω i , t / ( ∑ i = 1 I ∣ ω i , t ∣ ) \omega_{i,t}/(\sum_{i=1}^I|\omega_{i,t}|) ω i , t / ( ∑ i = 1 I ∣ ω i , t ∣ ) δ i , t \delta_{i,t} δ i , t t t t i i i K t K_t K t t t t
さて、この式の意味がわからないかもしれないが、
K t = K t − 1 + ∑ i = 1 I t 期での合計損益 = K t − 1 + ∑ i = 1 I { t − 1 期での株数 } × { 各株からの利益率 } = K t − 1 + ∑ i = 1 I { t − 1 期での株数 } × { 為替レート } × { 株の価格変動 } \begin{aligned}
K_t &= K_{t-1} + \sum_{i=1}^I t\text{期での合計損益} \\
&= K_{t-1} + \sum_{i=1}^I \{t-1\text{期での株数}\}\times \{\text{各株からの利益率}\} \\
&= K_{t-1} + \sum_{i=1}^I \{t-1\text{期での株数}\} \\
&\times \{\text{為替レート}\} \times \{\text{株の価格変動}\}\\
\end{aligned} K t = K t − 1 + i = 1 ∑ I t 期での合計損益 = K t − 1 + i = 1 ∑ I { t − 1 期での株数 } × { 各株からの利益率 } = K t − 1 + i = 1 ∑ I { t − 1 期での株数 } × { 為替レート } × { 株の価格変動 } PCAによるウェイト
自分がどれだけのリスク(標準偏差)σ \sigma σ R = { R i } i = 1 , … , I R=\set{R_i}_ {i=1,\ldots,I} R = { R i } i = 1 , … , I { ω i } i = 1 , … , I \set{\omega_i}_ {i=1,\ldots,I} { ω i } i = 1 , … , I I I I V V V V V V R R R σ \sigma σ ω \omega ω
なお、この分散共分散行列V V V
Vを固有値分解し, Λ = W T V W \Lambda = W^{T}VW Λ = W T VW Λ \Lambda Λ
σ 2 = ω T V ω = ω T W T Λ W ω = β T Λ β = ∑ i = 1 I λ i β i 2 \begin{aligned}
\sigma^2 &= \omega^{T}V\omega = \omega^{T}W^{T}\Lambda W\omega \\
&=\beta^{T}\Lambda\beta = \sum_{i=1}^I\lambda_i\beta_i^2
\end{aligned} σ 2 = ω T Vω = ω T W T Λ Wω = β T Λ β = i = 1 ∑ I λ i β i 2 となる。
ここで、β = W ω \beta = W\omega β = Wω i i i
R i = λ i β i 2 ∑ i = 1 I λ i β i 2 = λ i β i 2 σ 2 R_i = \frac{\lambda_i\beta_i^2}{\sum_{i=1}^I\lambda_i\beta_i^2} = \frac{\lambda_i\beta_i^2}{\sigma^2} R i = ∑ i = 1 I λ i β i 2 λ i β i 2 = σ 2 λ i β i 2 のようにして表現される。
またR = { R i } R = \set{R_i} R = { R i }
R 1 = 1 R\bm{1} = 1 R 1 = 1 となることに注意する。
さて、
β i 2 = R i σ 2 λ i β i = R i σ 2 λ i \begin{aligned}
{\beta_i}^2 &= \frac{R_i\sigma^2}{\lambda_i} \\
\beta_i &= \sqrt{\frac{R_i\sigma^2}{\lambda_i}}
\end{aligned} β i 2 β i = λ i R i σ 2 = λ i R i σ 2 となる。
よって、β = { β i } \beta = \set{\beta_i} β = { β i } β = W ω \beta = W\omega β = Wω
ω = W − 1 β = W T β \begin{aligned}
\omega &= W^{-1}\beta \\
&= W^T\beta \\
\end{aligned} ω = W − 1 β = W T β となる。
ここで、ウェイトはリスク分散によらずリスクと比例の関係であることがわかる。
特徴量サンプリング
データをtime, ticksやvolume, dollarなどにサンプリングすることは前回に行った。
それらは全て良い統計的特徴をもたらす時系列データを取得するためであり、機械学習の学習時の入力として扱うためにはデータの量が多い。
サンプリングで最も簡単な方法は一定の間隔でサンプリングする方法である。
しかし、以下ではイベントベースのサンプリング方法について説明する。
使い方としては、イベントベースでサンプリングした点からbarの採取を行う。
CUSUMフィルタ
CUSUMフィルタは測定した値の平均値が目標値からどれだけ離れているかを検知するためのフィルタである。(異常検知に使える?)
これもimbalanceと同じような考えで、ある累積値を超えたらサンプリングするという方法である。
累積値を
S t = max { 0 , S t − 1 + y t − μ } μ = E t − 1 [ y t ] \begin{aligned}
S_t &= \max\set{0, S_{t-1} + y_t - \mu} \\
\mu &= \mathbb{E}_ {t-1}[y_t]
\end{aligned} S t μ = max { 0 , S t − 1 + y t − μ } = E t − 1 [ y t ] この累積値が適当な閾値h h h y t y_t y t
S t + = max { 0 , S t − 1 + + y t − μ } S t − = min { 0 , S t − 1 − + y t − μ } S 0 + = S 0 − = 0 μ = E t − 1 [ y t ] S t = max { S t + , S t − } \begin{aligned}
S_ t^+ &= \max\set{0, S^+_ {t-1} + y_t - \mu} \\
S_ t^- &= \min\set{0, S^-_ {t-1} + y_t - \mu} \\
S_0^+ &= S_0^- = 0 \\
\mu &= \mathbb{E}_ {t-1}[y_t] \\
S_t &= \max\set{S_t^+, S_t^-}
\end{aligned} S t + S t − S 0 + μ S t = max { 0 , S t − 1 + + y t − μ } = min { 0 , S t − 1 − + y t − μ } = S 0 − = 0 = E t − 1 [ y t ] = max { S t + , S t − } やってることはCUSUMと同じである。これを対象CUSUMと呼ぶ。
