非線形ロジスティック回帰モデルとしてのSVM

kernelを使った非線形SVMの判別式は

   tex-src  

f(x)=\sum_j y_j \alpha_j K(x_j, x) + b

Written by mimetex for xfy blog editor

である。

kernelを使った非線形SVMを非線形のロジスティック回帰モデルと見なすと、出力確率は

   tex-src  

\begin{eqnarray} P(y,x|\alpha)&=&\frac{1}{1+\exp(-y f(x))} \\ &=&\frac{1}{1+\exp(-y(\sum_j \alpha_j y_j K(x_j,x)+b)} \end{eqnarray}

Written by mimetex for xfy blog editor

と表される。

いま、必要な表式は

   tex-src  

\frac{\partial \log(P(y, x|\alpha))}{\partial \alpha_j} = y (1-P) \frac{\partial f}{\partial \alpha_j}

Written by mimetex for xfy blog editor

である。具体的に計算すると、

   tex-src  

\frac{\partial \log(P(y,x|\alpha))}{\partial \alpha_j } = y (1-P)  y_j K(x_j,x)

Written by mimetex for xfy blog editor

となる。

R、Qの具体的表式

L２正則化項付きlogistic regression modelのGICのバイアス項は

   tex-src  

bias=\tr R^{-1}Q

Written by mimetex for xfy blog editor

と表される。

それぞれR、Qの具体的表式

   tex-src  

\begin{eqnarray} R_{pqj}&=&-\frac{1}{n}\sum_i^n \left. \frac{\partial^2 L_i}{\partial w^' \partial w} \right |_{w^{*}} \\ &=& -\frac{1}{n}\sum_i^n \left. -p(y_i|x_i)^2\e(-y_iw^* x_i) {\bf x}_p {\bf x}_q \\ \end{eqnarray}

Written by mimetex for xfy blog editor

   tex-src  

\begin{eqnarray} Q_{pq}&=&\frac{1}{n}\sum_i^n \frac{\partial L_i}{\partial w} \frac{\partial \log p(y_i|x_i)}{\partial w} |_{w^*} \\ &=& \frac{1}{n}\sum_i^n \left(p(y_i|x_i)\exp(-y_i w^*x)y_i x_p-Cw_p\right) \\ &&\times p(y_i|x_i)\exp(-y_i w^*x)y_i x_p \\ \end{eqnarray}

Written by mimetex for xfy blog editor

L2正則化項付きlogistic regression

L2正則化項付きlogistic regressionの最適化問題は、次の目的関数を最小にする（ラグランジアンって言いたい。。）

   tex-src  

L=-\sum_i^n \log p(y_i|x_i) + \frac{1}{2} C |{\bf w}|^2

Written by mimetex for xfy blog editor

ここで、p(y_i|x_i)は

   tex-src  

p(y_i|x_i) = \frac{1}{1+\e(-y_i {\bf w}\cdot {x_i})} \quad, y_i=\pm 1

Written by mimetex for xfy blog editor

最適化問題は勾配法で解くわけですが、その際の使用するgradは

   tex-src  

{\bf g}=\partial_{w} L= \sum_i^n p(y_i|x_i) \e(-y_i w x_i) y_i x_i + C{\bf w}

Written by mimetex for xfy blog editor

と表される。

このL2正則化付きlogistic regression modelのGICは形式的には

   tex-src  

\begin{eqnarray} \mbox{GIC}&=&-2\sum_i^n \log p(y_i|x_i) + 2\mbox{Tr} R^{-1} Q \\ R&=&-\frac{1}{n}\sum_i^n \frac{\partial^2 L_i}{\partial w^' \partial w} |_{w^*} \\ Q&=&\frac{1}{n}\sum_i^n \frac{\partial L_i}{\partial w} \frac{\partial }{\partial w}\log(p(y_i|x_i)) |_{w^*} \\ &&\mbox{where} \quad L_i= \log(p(y_i|x_i) + {\bf w}^2 /2 \end{eqnarray}

Written by mimetex for xfy blog editor

で表される。R、Qは、Lから具体的な表式が得られる。

GICのバイアス補正項は、spin spin相関関数と同じような表式を示していて、ある種の相関関数であると思える。

分布の変化はどこに現れるか

影響関数の計算には分布の汎関数の変分を計算する必要がある

分布の変分 \delta G

   tex-src  

\delta G = (1-\epsilon)G + \epsilon \delta (x)

Written by mimetex for xfy blog editor

を考える必要があるが、これがどこに現れるか、分布が\delta Gに変わった時に、学習アルゴリズム上で、どこに変更が加わるのか。

それは、損失関数の計算の部分に現れる。分布を経験分布だと考え、学習アルゴリズムで、損失関数を計算する部分の重み＝準頻度の部分が変化させて、学習を実行、分布の汎関数である、モデル＝重みベクトルの計算を実行する。

   tex-src  

\begin{eqnarray} \delta \hat G(i) &=& (1-\epsilon) \{\frac{1}{n} \sum_{j=1}^n I(x_j) \} +\epsilon I(x_i) \\ &=& \frac{1}{n} \sum_{j\ne i}^{n} (1-\epsilon)I(x_j) + \frac{(1-\epsilon) + n \epsilon }{n} I(x_i) \end{eqnarray}

Written by mimetex for xfy blog editor

影響関数

影響関数は次で定義される。

   tex-src  

T^{(1)}(x;G)=\lim_{\epsilon \to0} \frac{T((1-\epsilon)G+\epsilon\delta_x )-T(G) }{\epsilon}

Written by mimetex for xfy blog editor

分布Gの汎関数Tの変分、微分してるだけ。

で、Gは経験分布\hat Gだと思うと、を小さい数として、実際に上を計算できる

   tex-src  

\hat G = \frac{1}{n}\sum_{i=1}^n I(x, x_i)

Written by mimetex for xfy blog editor

\epsilon

ばれた？

   tex-src  

\frac{1}{2}

Written by mimetex for xfy blog editor

大丈夫？まだいけるね。

いや、だめみたい。アップするとだめ。

はい、すいませんでした。なおして、自宅pcでサーブします。。。。

ロジスティック回帰に対するGICの計算

logistic regressionのGICの計算には、影響関数の他に、log likelihoodのパラメータ偏微分したものが必要。

まず,ロジスティック回帰のモデルの式は、

    tex-src  

p(y=1|x) = \frac{1}{1 + \e(-wx)}

Written by mimetex for xfy blog editor

log likelihoodは

    tex-src  

L=\sum_i \log(1+\e(-w x_i))

Written by mimetex for xfy blog editor

そのパラメータ偏微分は

    tex-src  

\frac{\partial \log(p(x))}{\partial w^k} = \frac{x^k}{ 1 + \e(-wx)}

Written by mimetex for xfy blog editor

こいつと、影響関数を使って、GICの計算をする。

test

   tex-src  

\frac{1}{2}

Written by mimetex for xfy blog editor

   tex-src  

1/2

Written by mimetex for xfy blog editor

   tex-src  

1

Written by mimetex for xfy blog editor

   tex-src  

6

Written by mimetex for xfy blog editor

   tex-src  

21

Written by mimetex for xfy blog editor

   tex-src  

22

Written by mimetex for xfy blog editor

Orthant- Wise Limited-memory Quasi-Newton for L1正則化項付きlog linear model

L1正則化項付きのlog linear modelの学習アルゴリズムとして、上記のOrthant-Wise Limited-memory Quasi-Newton algorithmがある。

L1正則化項付きなので、目的関数が微分可能ではなく、普通の無制約最適化問題の解法が使えない問題を解決したのが、MSのAndrew, Gaoによるこの解法アルゴリズムである。

http://research.microsoft.com/users/galena/

論文は、最適化問題の解法としてかなり、厳密に証明しているが、実は、微分不可能である点で、場合分けしてるにすぎないように思える。

まず、損失関数は、微分可能な凸（凹）関数として、正則化項はL１ノルムとすると、

両方とも、凸（凹）関数なので、目的関数は、凸（凹）で、大域最適解が存在する。

で、普通に、降下法を使う。この場合、limited memory BFGSで、降下方向を決める。

l BFGSの場合、各点の勾配を、補正して（目的関数を各点で２次関数近似して、その中心方向に進む）降下方向を決める。

降下方向が決まればのその方向で、直線探索して、次の点を決める。

これを順次行って、収束するまで、点を更新して、大域最適解を求める。

で、で、その補正された降下方向を決める際に、目的関数が微分不可能な点を含むので、普通の勾配を使うとだめ。

で、Andrew, Gaoは、微分不可能な点を考慮した、拡張された勾配として

    tex-src  

\diamond_i f({\bf x}) = \left\{ \begin{array} \partial_i^{-} f(x) & \mbox{if} \quad \partial_i^{-} > 0 \\ \partial_i^{+} f(x) & \mbox{if} \quad \partial_i^{+} < 0 \\ 0 & \mbox{otherwise}  \\ \end{array} \right.

Written by mimetex for xfy blog editor

を使った。これが、なんだか、わからんかったが、ただ単に、部分不可能な点（原点ね）で場合分けしたにすぎない。

原点では次の３種類しかない

1)

2)

3）

で、微分不可能でも、場合分けして、拡張された勾配方向、降下方向に進めばは、

大域最適解に収束する、理論上は。たぶん。

追記；

直線探索は、点が属している象限に限られることに注意。そこを越えたら、目的関数が、下がることが保証されない。

つまり、正から負、負から正へのアップデートは許さない。

d.hatena.ne.jp/cgi-binでmimetex.cgiが普通に使える件について

しらんかった。

普通に、

http://d.hatena.ne.jp/cgi-bin/mimetex.cgi

で、mimetex.cgiが使える。まったく知らんかった。

これ使っていいんかな。使えるんだったら、自宅サーバーで、mimetex.cgiをサーブしてるのを、変えることができるし、深夜は、マシン落としてるので、深夜のmimetex.xvcd for xfy blog editorで、書いた数式入りブログは見えないのを

改修できるね。

まあ、本家でもいいだけど、本家遅いからな。

だまって、使うか。。。どうしよう。

mimetex.xvcdのテスト

   tex-src  

\mbox{GIC}=\sum_i f(x_i) + bias

Written by mimetex for xfy blog editor

Critical lines in symmetry of mixture models and its application to component splitting

おこがましいのですが、同じ事を考えていました。

けど、こんなに、きちんと議論を進めることはできなかったのですが。。。

::Critical Lines in Symmetry of Mixture Models and its Application to Component Splitting:: http://www.cs.cmu.edu/~nips/NIPS2002/NIPS2002preproceedings/papers/revised/AA49-draft.pdf Critical Lines in Symmetry of Mixture Models ... Hierarchical Symmetry and Critical Lines ... [1] K. Fukumizu and S. Amari. ...

でここで、勉強。

まず、H componetの混合モデル

   tex-src 

f_{H}(x|\theta^{(H)}=\sum_{j=1}^{H} c_j p(x|\beta_j), \quad c_j = \frac{\alpha_j}{\sum_l \alpha_l}

Written by mimetex for xfy blog editor

に対して、次のsymmetry assuptionを満たすモデルを考える。

(S-1)

   tex-src 

f(x|\alpha^{H}, \beta^{H-2}, \beta^{H-1}, \beta^{H}) =f(x|\alpha^{H-2}, \alpha_{H-1}+\alpha_{H},\beta^{H-1})

Written by mimetex for xfy blog editor

(S-2)

   tex-src 

\frac{\partial f_H }{\partial \beta_j }(x|alpha^{H}, beta^{H-}) 

Written by mimetex for xfy blog editor

(S-1)は、普通の混合モデルの性質、(S-2)も微分するだけ。

でも、この２つから、目的関数、この場合、尤度の１つコンポーネントが小さいモデルの臨界点が、１つ大きいモデルでも、臨界点になってるのがわかる。それも、

\lambda \alpha_{H-1} + (1-\lambda) \alpha_{H}   の任意の直線上で成立している。

なので、この直線の中点での臨界点の振る舞いを調べてる。

で、ヘシアンをきちんと計算して、モデルの量で定義して、

ヘシアンが正定値なら、極値、不定形なら鞍点としている。

で、鞍点ならば、尤度をあげる方向が存在して、その方向に摂動を加えて、

１つコンポーネント大きいモデルの尤度をあげることができる。

で、順々にsplitする EM with component splitingを提案している。

あー、これ考えたんだけどなー。Ueda et allの論文読めば普通、考えるよね。

その点の、この著者らも、偉い、名前だけで、相当偉いが、

Ueda et allを相当偉い。

そして、それに気づいた、私も偉い。。。。。。

はー。。。。

このページは xfy Blog Editor を利用して作成されました。

続きを読む "Critical lines in symmetry of mixture models and its application to component splitting"

混合正規分布のパラメータ微分

混合正規分布の密度関数P(x)は

   tex-src  

\sum_{k=1}^m \alpha_k N_k(x)

Written by mimetex for xfy blog editor

   tex-src  

N_k(x) = \frac{1}{(2\pi)^{1/2 m} |\Sigma|^{1/2} } \e\left( - \frac{1}{2} (x-\mu_k)^{\top} \Sigma^{-1} (x-\mu_k)   \right)

Written by mimetex for xfy blog editor

ここで、\sum_{k=1}^{m} \alpha_k = 1

   tex-src  

\sum_{k=1}^m \alpha_k = 1

Written by mimetex for xfy blog editor

で表される。

で、最尤推定で使われる、各パラメタの偏微分は

   tex-src  

\frac{\partial \log P(x)} {\partial \mu_k } = \Sigma_k^{-1}(x-\mu_k) P(k|x)

Written by mimetex for xfy blog editor

ここで、

   tex-src  

P(k|x) = \frac{\alpha_k N_k(x)}{\sum_{k=1}^m \alpha_k N_k(x)}

Written by mimetex for xfy blog editor

で、ここまでは、まあ簡単。\Sigmaの微分はちょっと面倒で

   tex-src  

\frac{\partial \log P(x)}{\partial \Sigma} = P(k|x) \left{ + (x-\mu_k)\Sigma^{-1}  \frac{ \partia  \Sigma }{ \partia \Sigma } \Sigma^{-1} (x-\mu_k}) \right}

Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

おかしい、あわん

ディラックのデルタ関数の微分は

   tex-src  

d(\delta_{x}(z))=\delta_{x}^{'}(z)dz

Written by mimetex for xfy blog editor

で、

   tex-src  

\int f(z) \delta^{'}_{x}(z) dz=-f^{'}(x)

Written by mimetex for xfy blog editor

だよね。だとすると

   tex-src  

\int \int (y-z)^2 dG(y) d\delta_{x}(z)=\int dG(y)\int (y-z)^2\delta^{'}_{x}(z)dz\\ =\int 2(y-x) dG(y)

Written by mimetex for xfy blog editor

けど、ちがうんだな。どっかまちがってるだよな。。。

追記：

やっぱり、バカでした。分布関数は、単調増加関数で、最後は１になるから、

デルタ関数が分布関数になるわけないです。密度関数がデルタ関数でした。

ノーテーションにだまされました。ここでデルタって言ってるのは

階段関数、ヘビーサイドのやつだ。。。

数式ばかり追われて、だめだめでした。

T_mu(G)の計算で、それがわかるのに、適当にやってて気づかなかった。。。

われながら、あほだ。。。。

KL divergenceは変分自由エネルギー

なのね。

   tex-src  

KL(p||q) = \langle E\rangle{q} - S_{q}\\ E=\log(p)

Written by mimetex for xfy blog editor

qはfactorizedな分布、pは元の分布。逆温度パラメーターは１になっている。

量子スピン系と古典スピン系

スピン系には、量子スピン系と古典スピン系がある。いちおう物理系、それも物性理論をかじっていたのでその違いは、形式的には理解しているつもりだが、本質的なところでどこが違うのだろう。

いま、ちょっと、物理じゃないところで、スピン系を考えてみたくなっていて、そこで本質的に量子スピン系がでてくると、どういうことがおこるのだろうと妄想している

例えば古典スピン系、Ising modelのハミルトニアンは

   tex-src  

H = - \sum_{i,j}J_{ij} \sigm_i\sigm_j - \sum_i h_i \sigm_i

Written by mimetex for xfy blog editor

であらわされる。一応、強磁性で考えると、基底状態はオールアップかオールダウンの状態。

重ね合わせはなし。

で、量子スピン系、磁場なしのハイゼンベルグXXXモデルのハミルトニアンは

   tex-src  

H = \sum_{ij} \sigma^i_x\sigma^j_x +\sigma^i_y\sigma^j_y +\sigma^i_z\sigma^j_z  

Written by mimetex for xfy blog editor

であらわされる。

で、量子系なので、ハミルトニアンはもうスカラーじゃなくて、行列。強磁性の場合は

基底状態はフェロ。

で、古典統計力学と量子統計力学の本質的な違いはなんだろうと、いまごろまた、勉強しなおそうと思っているところである。

系が混合、純粋かの違いか？そうすると、LDAみたいなのは、ベイズっぽいやつは

量子系の気がしてくる。さてどう考えて遊ぼうか

このページは xfy Blog Editor を利用して作成されました。

test

   tex-src
 

\[\frac{1}{3}\]
\frac{1}{3}
\]

Written by imgtex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

test for imgtex

   tex-src
 

\[
\frac{1}{2}
\]
\frac{1}{2}
\]

Written by imgtex for xfy blog editor

   tex-src
 

\[
\sum_{k=1}^n k = \frac{1}{2}n(n+1)
\]
\sum_{k=1}^n k = \frac{1}{2}n(n+1)
\]
\sum_{k=1}^n k = \frac{1}{2}n(n+1)
\]

Written by imgtex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

test 2

math mode(div)

   tex-src
 

11

Written by mimetex for xfy blog editor

text mode (span)  22
このページは xfy Blog Editor を利用して作成されました。

test

   tex-src  

1

Written by mimetex for xfy blog editor

2 2
このページは xfy Blog Editor を利用して作成されました。

Schectman-VarchenkoによるKZ方程式の解の積分表示

     tex-src
   

| \Psi(z\1,\ldots z_n)\rangle = \int dt_1\cdots dt_m l_{\lambda}\omega

Written by mimetex for xfy blog editor

で

weight function

     tex-src
   

l_{\lambda}=\prod_{1\le a < b\le n}(z_a-z_b)^{\frac{\lambda_a\lambda_b}{n}}\prod_{a=1}^n\prod_{i=1}^m(z_a-t_i)^{-n\frac{\lambda_a \alpha_{\bar i}}{n}}\prod_{1\le i< j \le m}(t_i-t_j)^{\frac{\alpha_{\bar i}\alpha_{\bar j}}{\kappa}}

Written by mimetex for xfy blog editor

weight  vector

     tex-src
   

\omega=\sum_{(I_1,\ldots,I_n)} \bigotimes_{a=1}^{n}\omega(a,I_a)

Written by mimetex for xfy blog editor

     tex-src
   

\omega(a,(i_1,\ldots,i_k))=\frac{f_{\bar{i_1}}\cdots f_{\bar{i_k}}| \lambda_a\rangle }{(t_{i_1}-t_{i_2})(t_{i_2}-t_{i_3})\cdots(t_{i_{m-1}}-t_{i_m})(t_{i_m}-z_a)}

Written by mimetex for xfy blog editor

weight vectorは、Gaudan modelのoff shell Bethe vectorの明示的表示になっており、qKZ方程式の場合も、Lie環に付随するspin chain Hamiltonianに対するBethe vectorの明示的公式から構成されると予想されている。

さらに、weight vectorはtree表示を持っており、qの場合も同様にtree 表示を持つと思われる。

これらは、超幾何関数のたちのよい多変数一般化とそのq analogと考えられている。

このページは xfy Blog Editor を利用して作成されました。

1.6 外積代数と積分

     tex-src
   

\mbox{e}^{H(t)}e(z)\mbox{e}^{-H(t)}=\mbox{e}^{\xi(t,z)}e(z)=\sum_{n=0}^{\infty}h_nz^n\sum_{m=1}^{\infty}e_mz^m

Written by mimetex for xfy blog editor

     tex-src
   

\sum_{n=1}\sum_{m=1}h_ne_mz^{n+m}=\sum_{n=1}z^{n} (\sum_{j=1}^{n} e_j h_{n-j})

Written by mimetex for xfy blog editor

よって

     tex-src
   

\mbox{e}^{H(t)}e_n\mbox{e}^{-H(t)}=\sum_{j=1}^{n}e_jh_{n-j},\quad h_0=1

Written by mimetex for xfy blog editor

したがって、

     tex-src
   

\begin{eqnarray}& &\langle p|\mbox{e}^{H(t)}e_{n_1}\cdots e_{n_p} |0\rangle}\\ =\langle p|(h_{n1-p}\ e_p+\cdots+h_{n1-1}e_1)\cdots(h_{n1-p}\ e_p+\cdots+h_{n1-1}e_1)|0\rangle\\= \mbox{de}\mbox{t}\left(h_{ni-j}\right)_{1\le i,j\le p}\end{eqnarray}

Written by mimetex for xfy blog editor

最後のは、e_1,,,,e_nが反可換なので、符号かけ、e_p * * * e_1となって行列式の定義に一致するから。

係数がちがっているとのこと、トップタームは、上の式は、h_n1-p、下の式は、h_n1_1,すべての行列要素の順番を入れ替えることで、(-1)^p(p-1)/2の係数がつくからかな。

このページは xfy Blog Editor を利用して作成されました。

共形場理論入門 1.6 外積代数と積分

     tex-src
   

[H(t),e(z)] = \sum_n\sum_mt_n z^m[a_n,e_m]

Written by mimetex for xfy blog editor

     tex-src
   

[ a_n,e_n] = e_{m-n}

Written by mimetex for xfy blog editor

より、

     tex-src
   

\begin{eqnarray}&=&\sum_{n=1}^{\infty}\sum_{m=n+1}^{\infty} t_nz^me_{m-n}=\sum_{n=1}\sum_{m=1}t_n z^{n} z^me_{m}\\&=&\xi(t,z) e(z)\end{eqnarray}

Written by mimetex for xfy blog editor

よって

     tex-src
   

\begin{eqnarray}e^{H(t)}e(z)e^{-H(t)} &=& \sum_{n=1}^{\infty}\frac{1}{n!}(\mbox{ad}\ H(t))^n e(z)\\&=&\sum_{n=1}^{\infty}\frac{1}{n!}\xi(t,z)^ne(z)=e^{\xi(t,z)}e(z)\end{eqnarray}

Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

共形場理論入門

1.4 頂点作用素

     tex-src    

V_k(z)=V_k^{-}(z)V_k^{+}(z),

Written by mimetex for xfy blog editor

     tex-src    

V_k^{-}(z)=\e\left\( k\sum_{n=0}^{\infty} z^nt_n\right\),

Written by mimetex for xfy blog editor

     tex-src    

V_k^{+}(z)=\e\left(k\sum_{n=0}^{\infty} u_n(z)\frac{\partial}{\partial t_n}\right),

Written by mimetex for xfy blog editor

     tex-src    

u_o(z)= \log(z),\quad u_n(z)=-\frac{z^{-n}}{n} \quad (n\ge0).

Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

パターン認識は場の理論であり統計力学

tex-src

L=\frac{1}{2}\partial_i\phi\partial^i\phi -\phi({\bf x})h(\bf x)

 Written by mimetex for xfy blog editor

ここで、h(x)は外場、もしくは訓練データのラベル、\phiは出力値のスカラー場

tex-src

\phi({\bf x})={\bf w}\cdot{\bf x} + b

 Written by mimetex for xfy blog editor

とすると

tex-src

L = \frac{1}{2}||{\bf w}||^2 -\sum_i \phi({\bf x}_i) y_i

 Written by mimetex for xfy blog editor

となってなんか、パターン認識の目的関数、正則化項　＋　損失関数に似た形になる。

というか、同じなんだよ。損失関数＝エネルギーだし、正則化項はスムースネスを計っていることになる。

同じフォーみゅレーションとして、MEと自由エネルギーとの関係もある。

つまり、パターン認識は、場の理論であり統計力学であるのです。それも、現実の次元４次元とか、１０次元とか１１次元とか１２次元とか、それらのコンパクトフィケーションとか考えなくて、任意次元の場の理論を自由に考えていいのです。これは、好きな人にはたまりませんね。

理論物理のやり方、対称性とかから、ラグランジアンの形を推定して（モデルを推定）各物理量を計算して（計算機実験して）をモデルを確かめる。楽しそう。

このページは xfy Blog Editor を利用して作成されました。

エントロピー最大化法(ME)と自由エネルギー最小化

自由エネルギー

     tex-src    

f=\langle E\rangle - T S

Written by mimetex for xfy blog editor

ボルツマン分布

     tex-src    

p(E) = \frac{\exp(-\beta E)}{Z}

Written by mimetex for xfy blog editor

エントロピー

     tex-src    

S=\sum_i p(E_i) \log(p(E_i))

Written by mimetex for xfy blog editor

分配関数

     tex-src    

Z= \sum_{\{i\}} \exp( - \beta E_i)

Written by mimetex for xfy blog editor

自由エネルギーと分配関数の関係

     tex-src    

f = - k_{B}T\log Z

Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

test 4 5

     tex-src    

4.1

Written by mimetex for xfy blog editor

     tex-src    

5

Written by mimetex for xfy blog editor

     tex-src    

6

Written by mimetex for xfy blog editor

     tex-src    

7

Written by mimetex for xfy blog editor

     tex-src    

8

Written by mimetex for xfy blog editor

     tex-src    

9

Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

続きを読む "test 4 5"

3

tex-src

\frac{1}{2} \time3

 Written by mimetex for xfy blog editor

このページは xfy Blog Editor を利用して作成されました。

rational sl2 qKZ 方程式

tex-src

\Psi(z_1+p,z_2)=R_{21}(z_1-z_2)\Psi(z_1,z_2)

tex-src

\Psi(z_1, z_2+p) = R_{12}(z_2-z_1+p)\Psi(z_1,z_2)

where,

tex-src

R(u) = \frac{I +uP}{1+u} \ \in \ \mbox{End}(C^2\otimes C^2)

p shift Jackson integral is defined as follows:

tex-src

\int f(x) d_px=\sum_{k=-\infty}^{\infty} f(x+pk) p.

このページは xfy Blog Editor を利用して作成されました。

LSI note2

文書ベクトル d_i

tex-src

d_{i}=(x_{i1},\ldots,x_{in})

とする。ここで、各x_jは、文書d_iの単語 jの出現頻度を表す。

文書、単語行列　Aは

tex-src

A=\left(\begin{array} x_{11} & x_{12} & \cdots&x_{1n}\\x_{21} & x_{22}&\cdots &x_{2n}\\\vdots & \vdots&\cdots &\vdots\\x_{n1} & x_{n2} & \cdots&x_{nn}\\\end{array} \right)

となる。

これをSVDにかける

このページは xfy Blog Editor を利用して作成されました。

Latent Sematic Indexing(LSI) and Singular Value Decomposition(SVD)

Mをm * n 行列として

tex-src

M= U \Sigma V^{t}

Uは、m * m 対称行列、Vはn * n 行列

• Vは、入力空間の正規直行規定
• Uは、出力空間の正規直行規定
• 対角行列 sigmaは、特異値の行列でそれぞれの軸での増幅率

  by wikipedia

NLPでは、文書 ＊ 索引語 行列をSVDにかけて（Latent Sematic Indexing)で、意味の正規直行基底を得て、文書をその意味の基底を使って、線形表現する

このページは xfy Blog Editor を利用して作成されました。

Yang-Baxter方程式

Yang-Baxter equation(YBE)

tex-src

R^{(12)}(u-v)R^{(13)}(u)R(v)^{(23)} = R(v)^{(23)}R(u)^{(13)}R(u-v)^{(12)}

これが、かの有名なYang-Baxter方程式 あれ、toggleしない。バグか

再度、windowsから投稿

うーん、macbookからだとだめか。。。

このページは xfy Blog Editor を利用して作成されました。

SVMの最適化問題

SVMの最適化問題：双対問題定式化

tex-src

\begin{eqnarray}\mbox{min.}&&\frac{1}{2}\sum_{i,j}y_i\alpha_iy_j\alpha_jK(x_i,x_j)-\sum_{i}\alpha_i\\\mbox{s.t.}&&\sum_iy_i\alpha_i=0,\quad0\le\alpha_i\le C,\quad i=1,\ldots,N\end{eqnarray}

です。

このページは xfy Blog Editor を利用して作成されました。

MIRAの最適化問題と解法アルゴリズム

MIRAの最適化問題：主問題定式化

tex-src

\begin{eqnarray}\mbox{min.} &&\frac{1}{2}||{\bf w}||^2 \\\mbox{s.t.} &&{\bf w} \cdot(s({\bf y}_i,{\bf x}_i)-s({\bf y}^{'},{\bf x}_i)) \ge L({\bf y}_i,{\bf y}^'),\\&&\quad{\bf y}^'\in \mbox{GEN}({\bf x}_i)\end{eqnarray}

MIRA(Margin Infused Relax Algorithim）の主問題定式化です。

通常は、シングルベストのみを負例にして近似的に解きます。

以前、某所で行った勉強会でいろいろいばって話をしましたが、ほとんどうそでした。

幸い説明に使った絵は、厳密な解法アルゴリズムであるヒルドレス法にはなっていましたが、  MIRAは近似解法で厳密解に収束もしませんし、本当の意味での解法アルゴリズムではありません。パーセプトロンライクに変数の更新公式ですね。

MIRAとstructured outputs：気まぐれ日記

このページは xfy Blog Editor を利用して作成されました。

Bethe Ansatz方程式

任意のLie代数の表現のテンソル積上のBethe Ansatz方程式

tex-src

\begin{eqnarray}-\frac{P_{a}(v_k^{(a)} + \frac{1}{t_a}) }{P_{a}(v_k^{(a)} -\frac{1}{t_a})}&=&\prod_{b=1}^r \frac{Q_{b}(v_k^{(a)} + (\alpha_a|\alpha_b)) }{Q_{b}(v_k^{(a)} -(\alpha_a|\alpha_b))},\\Q_a(v)&=&\prod_{j=1}^{n_a}(v-v_j^{(a)}),\\P_a(v)&=&\prod_{i}^NP_a^{(i)}(v).\end{eqnarray}

だったか？

数式のチェックなので、専門家の方、厳しいつっこみはなしの方向でお願いします。ここで、P(u)はDrinfeld多項式ってやつ？こいうのうは、きれいに整備して、普通の数学になってんかな。

このページは xfy Blog Editor を利用して作成されました。