SVM: the Geometry of the Hyperplane

Pada tulisan ini gw akan membahas sekilas mengenai vector kemudian bagaimana geometri hyperplane pada SVM.

The Dot Product of Vector

Jika ada dua buah vector $x$ dan $y$ maka dot product dari kedua vector tersebut ialah:

$$x \cdot y=  \Vert x \Vert \Vert y \Vert cos(\theta) = x_1y_1+x_2y_2$$

Lalu apa maksud dari dot product itu sendiri?

Dot product merupakan perkalian antara dua vector yang menghasilkan suatu besaran skalar. Contoh penerapan dot product yang umum ialah dalam menyelesaikan masalah dinamika di fisika. Contohnya jika kita menarik sebuah benda dengan gaya $F=50N$ yang membentuk sudut $\theta=60^0$ sejauh $s=5m$ ke kanan berapa besar usaha yang kita keluarkan?

Cara yang paling mudah ialah dengan menguraikan vector gaya $F$ menjadi vector pada sumbu-x $F_x$ dan sumbu-y $F_y$.

Kemudian usaha dihitung dengan mengalikan $F_x$ dengan jarak perpindahan.

$$\text{Usaha}=F cos(\theta) s = 50 cos(60^0) 5 = 125J$$

Jika dua vector tersebut searah maka hasil dot product nya bernilai positif dan jika berlawanan arah maka negatif. Namun ketika vector tersebut saling tegak lurus, maka resultan yang dihasilkan ialah nol. Masing-masing tidak saling memberikan kontribusi.

Geometry of hyperplane

Sekarang kita akan mengenal geometri pada SVM. Misalnya kita mempunyai hyperplane sebagai berikut:

Lo pasti familiar dengan persamaan garis lurus $y=mx+b$. Hyperplane diatas tidak lain merupakan sebuah garis lurus yang juga memiliki persamaan $y=mx+b$, atau jika ditulis ulang akan menjadi $mx-y+b=0$. Namun persamaan ini akan menjadi lebih ribet kalo hyperplane tersebut berdimensi lebih dari 2. Untuk itu, kita gunakan notasi vector sebagai berikut:

$$\mathbf{w} \cdot \mathbf{x} + \mathbf{b} = 0$$

Dimana $\mathbf{w}$ atau weight merupakan sebuah vector normal yang tegak lurus dengan hyperplane dan $\mathbf{b}$ atau bias menunjukkan seberapa jauh weight dari titik origin $(0, 0)$. Sedangkan $\mathbf{x}$ merupakan data point yang berupa vector yang memiliki koordinat $(x, y)$ pada persamaan garis lurus. Jadi bedakan $x$ pada persamaan garis lurus dengan $\mathbf{x}$ jika menggunakan notasi vector. $\mathbf{w} \cdot \mathbf{x}$ merupakan dot product antara vector $\mathbf{w}$ dan $\mathbf{x}$.

Misalnya hyperplane tadi memiliki persamaan $y=x$ atau $x-y=0$ (Note: $\frac{1}{2}x-\frac{1}{2}y=0$ juga bisa, $\frac{35}{36}x-\frac{35}{36}y=0$ juga bisa, yang penting kemiringannya sama!). Jika kita gunanakan notasi vector maka $\mathbf{w}=(1, -1)$ atau $\mathbf{w}=(-1, 1)$ (keduanya sama-sama tegak lurus dengan hyperplane) dan $\mathbf{b}=0$ (hyperplane melewati titik $(0, 0)$).

$$\mathbf{w} \cdot \mathbf{x} + \mathbf{b} = (1, -1) \cdot (x, y) + 0 = x-y = 0$$

$$\text{atau}$$

$$\mathbf{w} \cdot \mathbf{x} + \mathbf{b} = (-1, 1) \cdot (x, y) + 0 = -x+y = x-y=0$$

Sebetulnya ada banyak kemungkinan weight, karena sepanjang vector tersebut tegak lurus dengan hyperplane. Contoh diatas gw berikan 2 saja. Lalu bagaimana jika hyperplane nya digeser sedikit seperti ini? Dimana hyperplane tidak melewati titik $(0, 0)$.

Sama saja! $\mathbf{w}$ tetap harus tegak lurus dengan hyperplane, berapapun koordinatnya. Yang membedakan ialah karena tidak melewati titik $(0, 0)$ maka nilai $\mathbf{b}$ menjadi tidak nol lagi. Pada hyperplane diatas persamaan garis lurusnya ialah $x-y+2=0$. Jika kita gunakan notasi vector maka $\mathbf{w}=(1, -1)$ dan $\mathbf{b}=2$ atau $\mathbf{w}=(-1, 1)$ dan $\mathbf{b}=-2$.

$$\mathbf{w} \cdot \mathbf{x} + \mathbf{b} = (1, -1) \cdot (x, y) + 2 = x-y+2 = 0$$

$$text{atau}$$

$$\mathbf{w} \cdot \mathbf{x} + \mathbf{b} = (-1, 1) \cdot (x, y) – 2 = -x+y-2 = x-y+2=0$$

One thought on “SVM: the Geometry of the Hyperplane

Leave a Reply

Your email address will not be published. Required fields are marked *