Wikipedia
μ΄ ν¬μ€νΈλ Wikipediaμ λ΄μ©μ μμ½/보좩ν κΈμ
λλ€.
μ ννκ·(Linear regression)μ μ’ μ λ³μ yμ ν κ° μ΄μμ λ 립 λ³μ (λλ μ€λͺ λ³μ) xμμ μ ν μκ΄ κ΄κ³λ₯Ό λͺ¨λΈλ§νλ νκ· λΆμ κΈ°λ²μ΄λ€. ν κ°μ μ€λͺ λ³μλ₯Ό κΈ°λ°ν κ²½μ°λ λ¨μ μ ν νκ·(Simple linear regression), λ μ΄μμ μ€λͺ λ³μμ κΈ°λ°ν κ²½μ°λ λ€μ€ μ ν νκ·(Multiple linear regression)λΌ νλ€.
μ ν νκ·λ μ ν μμΈ‘ ν¨μλ₯Ό μ¬μ©ν΄ νκ·μμ λͺ¨λΈλ§νλ©°, μλ €μ§μ§ μμ νλΌλ―Έν°λ λ°μ΄ν°λ‘λΆν° μΆμ νλ€. μ΄λ κ² λ§λ€μ΄μ§ νκ·μμ μ ν λͺ¨λΈμ΄λΌκ³ νλ€.
μλ €μ§μ§ μμ νλΌλ―Έν°μ λν΄ μ ν κ΄κ³λ₯Ό κ°λ λͺ¨λΈμ μΈμ°λ κ²μ΄ λΉμ ν κ΄κ³λ₯Ό κ°λ λͺ¨λΈμ μΈμ°λ κ²λ³΄λ€ μ©μ΄νκΈ°μ λ§μ΄ μ΄μ©λλ€.
μ ννκ·λ λ€μκ³Ό κ°μ΄ μ΄μ©λ μ μλ€.
- κ°μ μμΈ‘νλ κ²μ΄ λͺ©μ μΌ κ²½μ°, μ ν νκ·λ₯Ό ν΅ν΄ λ°μ΄ν°μ μ ν©ν μμΈ‘ λͺ¨νμ κ°λ°νλ€. κ°λ°ν μ ν νκ·μμ μ¬μ©ν΄ yκ° μλ xκ°μ λν΄ yλ₯Ό μμΈ‘νκΈ° μν΄ μ¬μ©.
- μ’ μ λ³μ yμ μ΄κ²κ³Ό κ΄λ ¨λ λ 립 λ³μ \(X_1,...,X_p\)κ° μ‘΄μ¬νλ κ²½μ°μ μ ν νκ· λΆμμ ν΅ν΄ \(X_j\)μ yμ κ΄κ³λ₯Ό μ λνν μ μλ€. \(X_j\)λ yμ 무κ΄ν μλ μκ³ μ 보λ₯Ό μ 곡νλ λ³μμΌ μλ μλ€.
λ³΄ν΅ μ΅μμ κ³±λ²(μ΅μμμΉλ²)μ μ¬μ©ν΄ μ ν νκ· λͺ¨λΈμ μΈμ΄λ€. λ μμ€ ν¨μ(loss function)μ μ΅μννλ λ°©λ²μΌλ‘λ μ ν νκ· λͺ¨λΈμ μΈμΈ μ μλ€. μ΅μμ κ³±λ²μ μ ν νκ· λͺ¨λΈ λΏ μλλΌ, λΉμ ν νκ· λͺ¨λΈμλ μ μ©ν μ μλ€.
μ ν νκ·λ μ£Όμ΄μ§ λ°μ΄ν° μ§ν© \(\left\{y_i, x_{i1},...,x_{ip}\right\}_{i=1}^n\)μ λν΄, μ’ μ λ³μ \(y_i\)μ pκ°μ μ€λͺ λ³μ \(x_i\) μ¬μ΄μ μ ν κ΄κ³λ₯Ό λͺ¨λΈλ§νλ€.
\[y_i = \beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i = \mathbf{x}^{\rm T}_i\boldsymbol\beta + \varepsilon_i, \qquad i = 1, \ldots, n,\]μ£Όμ΄μ§ μμμ \(\beta_i\)λ λ
립λ³μμ κ³μμ΄λ©°, pλ μ ν νκ·λ‘ μΆμ λλ λͺ¨μμ κ°μμ΄λ€. Tλ μ μΉλ₯Ό μλ―Ένλ€. \(x_i^T \beta\)λ \(x_i\)μ \(\beta\)μ λ΄μ μ λ»νλ€. \(\epsilon_i\)λ μ€μ°¨ν, μ€μ°¨ λ³μ(error)λ‘, κ΄μ°°λμ§ μμ νλ₯ λ³μμ΄λ©°, μ’
μ λ³μ(κ²°κ³Όλ¬Όμ΄λ ν¨κ³Ό)μ λ
립 λ³μ(μ
λ ₯κ°μ΄λ μμΈ) μ¬μ΄μ μ€μ°¨λ₯Ό μλ―Ένλ€.
μ΄κ²μ΄ μ ν νκ·λΌ λΆλ¦¬λ κ²μ μ’
μλ³μκ° λ
립λ³μμ λν μ ν ν¨μ(1μ°¨ ν¨μ)μ κ΄κ³μ μμ κ²μ΄λΌ κ°μ νκΈ° λλ¬Έμ΄λ€. κ·Έλ¬λ, λͺ¨λΈμ λν κ·Έλνκ° μ§μ μμ μμ§ μλλΌλ βμ νβ νκ·μΌ μ μλ€.
μ ν νκ·μμμ κ°μ
νμ€ μ ν νκ· λΆμ λͺ¨λΈμμλ μμΈ‘ λ³μ, μλ΅ λ³μ κ·Έλ¦¬κ³ κ·Έ μ¬μ΄μ κ΄κ³μ λν΄ λ€μν κ°μ μ νλ€. νμ₯λ μ ν νκ· λΆμμμλ μ΄λ° κ°μ μ μννκΈ°λ, μ κ±°νκΈ°λ νλ€. λ³΄ν΅ νμ₯ μ ν νκ·λ μΆμ κ³Όμ μ λ 볡μ‘νκ² νκ±°λ μκ°μ λ μλͺ¨νλ€. μ νν λͺ¨λΈμ μΈμ°κΈ° μν΄ λ λ§μ λ°μ΄ν°κ° μꡬλ μλ μμΌλ©° νμ€ μ ν νκ·μ λνμ μΈ κ°μ μ λ€μκ³Ό κ°λ€.
-
μ½ν μΈμμ±. λ 립 λ³μ xλ₯Ό λ³μκ° μλλΌ κ³ μ λ κ°μΌλ‘ μ·¨κΈνλ€. μ΄λ λ 립 λ³μμ μ€μ°¨κ° μμμ λ»νλ€. μ΄λ¬ν κ°μ μ λΉνμ€μ μ΄λ μ΄ κ°μ μ μ μΈνλ©΄ μ€λͺ λ³μμ μ€μ°¨λ₯Ό ν¬ν¨ν λͺ¨λΈμ μΈμμΌ νλ€.
-
μ νμ±. μ’ μ λ³μκ° λ 립 λ³μμ μ ν νκ· κ³μμ μ ν μ‘°ν©μΌλ‘ νν κ°λ₯ν¨μ μλ―Ένλ€. μ΄κ²μ νλΌλ―Έν°μ λν μ νμ±λ§μ κ°μ νλ€. μμΈ‘ λ³μλ μμλ‘ λ³νλ μ μκ³ , λμΌν μμΈ‘ λ³μκ° λν΄μ§ μλ μκ³ , νλλ₯Ό λ€λ₯΄κ² λ³νν μλ μλ€. μ΄ κ°μ μ λ€μ€ νκ· λΆμμ μ¬μ©λλ€. μλ΅ λ³μλ₯Ό μμΈ‘ λ³μμ λν μμμ λ€ν ν¨μλ‘ λͺ¨λΈλ§νλ€. μ΄λ μ ν νκ·λ₯Ό λ§€μ° κ°λ ₯νκ² λ§λ λ€. μ€μ λ‘ μ΄λ° λ€ν νκ·λ λλ‘ λ무 κ°λ ₯ν΄ λͺ¨λΈμ΄ λ°μ΄ν°μ κ³Όμ ν©νκ² λκΈ°λ νλ€. μ΄λ₯Ό λ°©μ§νκΈ° μν΄ μ κ·ν κΈ°λ²μ μ¬μ©ν μλ μλ€. ridge regression λλ Lasso νκ·κ° κ·Έ μμ΄λ€. λ² μ΄μ§μ μ ν νκ· λν μ¬μ©ν μ μλλ° μ΄λ κ·Όλ³Έμ μΌλ‘ κ³Όμ ν©μ λ°©μ§νλ ν¨κ³Όλ₯Ό κ°λλ€.
-
μμ λΆμ°. μ΄λ μλ‘ λ€λ₯Έ μλ΅ λ³μλ€μ μ€μ°¨κ° μ€λͺ λ³μμ 무κ΄νκ² νμ κ°μ λΆμ°μ κ°μ§μ λ»νλ€. μ΄λ° κ°μ μ νλΉνμ§ μλ€. μλ΅ λ³μλ€μ μ€μ°¨κ° κ°μ λΆμ°μ κ°μ§ μμΌλ©° μ€μ°¨μ λΆμ°μ μ€λͺ λ³μμ μν₯μ λ°λλ€.
-
μ€μ°¨μ λ 립μ±. λ 립 λ³μμ μ€μ°¨κ° μλ‘ λ¬΄κ΄ν¨μ κ°μ νλ€. μΌλΆ μ ν νκ· κΈ°λ²μ μκ΄λ μ€μ°¨λ₯Ό λ€λ£° μ μμΌλ μ κ·νκ° μ μ©λμ§ μμ μν©μμ λ λ§μ λ°μ΄ν°κ° νμνλ€. λ² μ΄μ§μ μ ν νκ·κ° μ΄λ° λ¬Έμ λ₯Ό λ€λ£¨λ μΌλ°μ κΈ°λ²μ΄λ€.
-
μμΈ‘ λ³μμμμ λ€μ€κ³΅μ μ±μ λΆμ¬. μ΅μμ κ³±λ² μΆμ κΈ°λ²μμ μ€κ³ νλ ¬ Xλ λ°λμ μ μ΄κ³μ pλ₯Ό κ°λλ€. κ·Έλ μ§ μμΌλ©΄ μμΈ‘ λ³μ μ¬μ΄μ λ€μ€κ³΅μ μ±μ΄ μκΈ΄λ€. μ΄λ 볡μμ μκ΄λ μμΈ‘ λ³μλ‘ μΈν΄ λ°μλλ€. νλΌλ―Έν°μ λΉν΄ λ°μ΄ν°κ° λ무 μ μ΄λ λ°μν μ μλ€.
μ ν νκ·μ ν΄μ
μμΈ‘ λ³μμ λν λͺ¨λ κ°μ΄ μ£Όμ΄μ‘μ λ μ립ν μ ν νκ· λͺ¨λΈμ μ¬μ©ν΄ μμΈ‘ λ³μ \(x_j\)κ° μλ΅ λ³μ yμ λ―ΈμΉλ μν₯μ νμΈν μ μλ€. \(\beta_j\)λ \(x_j\)κ° ν λ¨μ λ³νμ λ yμ κΈ°λ λ³νλμ λ»νλ€. νκ· κ²°κ³Όλ₯Ό ν΄μν λ μ£Όμν΄μΌ νλλ°, μΌλΆ λ 립 λ³μκ° μλ΅ λ³μμ λ³νμ μν₯μ μ£Όμ§ μμ μ μκΈ° λλ¬Έμ΄λ€ (무μλ―Έν λ 립 λ³μμΌ μλ μκ³ , y μ νΈμ ν΄λΉν μλ μκΈ° λλ¬Έμ΄λ€.) νκ³ ν¨κ³Όκ° ν° μν©μ΄ μμ μλ μλ€. μμ£Ό 볡μ‘νκ² μλ‘ μ°κ³λ μμ€ν μ λΆμν λ κ³ μ ν¨κ³Όλ λ§€μ° μ€μν μν μ νλ€. νμ§λ§ λ³΄ν΅ λ€μ€ μ ν νκ·μμ μλ΅ λ³μμ μμΈ‘ λ³μ μ¬μ΄μ κ΄κ³λ₯Ό λ°νλ κ²μ μ€ν¨νλ€. 곡ν΅μ λΆμμ μ΄λ° μκ΄κ΄κ³ ν΄μμ λμμ μ€λ€.
μ ν νκ· κΈ°λ²μ νμ₯
μ ν νκ·λ₯Ό νμ₯ν λ€μν κΈ°λ²λ€μ΄ κ°λ°λμμΌλ©°, κ°κ°μ μλ‘ λ€λ₯Έ κ°μ μ κ°κ³ μκ±°λ, κΈ°λ³Έ λͺ¨λΈμμ κ°μ μ μννκΈ°λ νλ€.
λ¨μ μ ν νκ·μ λ€μ€ μ ν νκ·
μ ν νκ·μ κ°μ₯ λ¨μν μμ λ ν κ°μ μ€μΉΌλΌ λ 립 λ³μ xμ ν κ°μ μ€μΉΌλΌ μμ‘΄ λ³μ yμ κ΄κ³μΌ κ²μ΄λ€. μ΄λ₯Ό λ¨μ μ ν νκ·λΌ λΆλ₯Έλ€. μ¬κΈ°μμ λ 립 λ³μλ₯Ό μ¬λ¬ κ°λ‘ νμ₯ν κ²μ΄ λ€μ€ μ ν νκ·μ΄λ€. μ€μΈκ³μ κ±°μ λλΆλΆμ λ¬Έμ λ μ¬λ¬ κ°μ λ 립 λ³μλ₯Ό ν¬ν¨νλ©°, μ ν νκ·λΌ ν¨μ λ³΄ν΅ λ€μ€ μ ν νκ·λ₯Ό μΌμ»«λλ€. νμ§λ§ μ΄λ¬ν κ²½μ°μλ μ¬μ ν μλ΅ λ³μ yλ ν κ°μ μ€μΉΌλΌ λ³μμ΄λ€. λ€λ³λ μ ν νκ·λ μλ΅ λ³μ yκ° λ²‘ν°μΈ κ²½μ°λ₯Ό μλ―Ένλ€. μ΄λ¬ν κ²½μ°λ₯Ό μΌλ° μ ν νκ·λΌ λΆλ₯Έλ€. λ€μ€ μ ν νκ·μ λ€λ³λ μ ν νκ·λ λ€λ₯Έ μλ―Έμ΄λ―λ‘, νΌλνμ§ μλλ‘ μ£Όμν΄μΌ νλ€.
μΌλ° νκ· λͺ¨λΈ
μΌλ° νκ· λͺ¨λΈμ μλ΅ λ³μ Yκ° μ€μΉΌλΌκ° μλλΌ λ²‘ν°μΈ κ²½μ°λ₯Ό λμμΌλ‘ νλ€. μ‘°κ±΄λΆ μ νμ± \(E(y\|x) = Bx\)μ μ¬μ ν μ μ§λλ€ (νλ ¬ B λ Ξ² λ₯Ό νλ ¬λ‘ ννν κ²). μΌλ° νκ· λͺ¨λΈμ λ€λ³λ νκ· λͺ¨λΈκ³Ό λμΌνλ€.
μ΄λΆμ° νκ· λͺ¨λΈ
μ΄λΆμ°μ±μ νμ©νκΈ° μν΄ λ€μν νκ· λͺ¨λΈμ΄ κ°λ°λμλ€. μλ΅ λ³μλ€μ μ€μ°¨μ λΆμ°μ΄ μλ‘ λ€λ₯Έ κ²μ νμ©νλ€. κ°μ€ μ΅μ μ κ³±λ²μ μλ΅ λ³μμ μ€μ°¨κ° μλ‘ λ€λ₯Έ λΆμ°μ κ°κ±°λ, μ°κ΄λ κ²½μ°μλ μ ν νκ· λͺ¨λΈμ μ립ν μ μκ² νμ©νλ€. μ΄λΆμ°μ± μΌμΉ νμ€ μλ¬ κΈ°λ²μ λ κ°μ λ κΈ°λ²μΌλ‘, μ€μ°¨κ° μλ‘ μ°κ΄λμ΄ μμ§λ μμ§λ§ μλ‘ λ€λ₯Έ λΆμ°μ κ°λ κ²½μ°μ μ ν νκ· λͺ¨λΈμ μ립ν μ μλ€.
κ³μΈ΅μ μ ν λͺ¨λΈ
κ³μΈ΅μ μ ν λͺ¨λΈμ λ°μ΄ν°κ° μ¬λ¬κ²ΉμΌλ‘ νκ·λλ κ²½μ°μ μ΄μ©ν μ μλ€. λ€μ λ§ν΄ Aκ° Bλ‘ νκ·λκ³ , Bκ° Cλ‘ νκ· λλ ꡬ쑰λ₯Ό λ§νλ€. μ΄λ¬ν ꡬ쑰λ μΌμ μνμμ νν λ³Ό μ μλλ°, κ°λ Ή νμμ νκΈμ μνκ³ , νκΈμ νλ μ μνλ©° νλ μ νκ΅μ μνλ κ²½μ°λ₯Ό λ€ μ μλ€. μ΄λ° κ²½μ° νμμ μλ΅ λ³μλ‘ μν μ±μ μ μ΄μ© νλ€λ©΄ νκΈ, νλ , νκ΅μ λν΄ κ°κ° λ€λ₯Έ 곡λ³μ μ»μ μ μλ€.
μ€μ°¨ λ³μ λͺ¨λΈ
μ€μ°¨ λ³μ λͺ¨λΈ(errors-in-variables) μ (λλ βμ€μ°¨ μΈ‘μ λͺ¨λΈβ) κΈ°μ‘΄μ μ ν νκ· λͺ¨λΈμμ λ 립 λ³μ Xκ° μ€μ°¨μ κ°μ΄ κ΄μΈ‘λ μ μλλ‘ νμ₯ν κ²μ΄λ€. μ΄ μ€μ°¨λ Ξ²μ νμ€ μΆμ λμ΄ νΈν₯λλλ° μμΈμ΄ λλ€. μΌλ°μ μΌλ‘λ μ΄ μν₯μ 0μ κ°κΉκ² νΈν₯λλ€.
μ ν νκ· λͺ¨λΈ μΆμ κΈ°λ²
μ ν νκ·μμ νλΌλ―Έν° μΆμ μ μν΄ λ€μν κΈ°λ²λ€μ΄ κ°λ°λμλ€. κ°κ°μ κΈ°λ²λ€μ μκ³ λ¦¬μ¦μ μ°μ° 볡μ‘λ, λ«ν ννμ ν΄λ² μ‘΄μ¬ μ¬λΆ, λ°μ΄ν°μ λΆν¬μ λν κ°μ , λ³μμ κ΄κ³μ λν μ΄λ‘ μ κ°μ λ±μ΄ λ€λ₯΄λ€.
Ordinary least squares
(OLS)λ κ°μ₯ λ¨μνκ³ λ§μ΄ μ°μ΄λ μΆμ λ°©λ²μ΄λ€. OLS κΈ°λ²μ μ€μ°¨μ μ κ³±μ ν©μ μ΅μννλ κΈ°λ²μΌλ‘, μΆμ νκ³ μ νλ νλΌλ―Έν° Ξ²μ λν ννμμ λ€μκ³Ό κ°μ΄ ꡬν μ μλ€.
\[\hat{\boldsymbol\beta} = (\mathbf{X}^{\rm T}\mathbf{X})^{-1} \mathbf{X}^{\rm T}\mathbf{y} = \big(\,{\textstyle\sum} \mathbf{x}_i \mathbf{x}^{\rm T}_i \,\big)^{-1} \big(\,{\textstyle\sum} \mathbf{x}_i y_i \,\big).\]μ€μ°¨κ° μ νν λΆμ°μ κ°μ§λ©°, μ€μ°¨κ° λ 립 λ³μμ μ°κ΄λμ΄ μμ§ μλ€λ©΄, μΆμ μ νΈν₯λμ΄μμ§ μκ³ , μΌκ΄μ± μλ€.
Generalized least squares (GLS)
Percentage least squares
μ€μ°¨μ νΌμΌνΈλ₯Ό μ€μ΄λ λ°©λ²μΌλ‘ μμΈ‘νκ±°λ μκ³μ΄ λ°μ΄ν°λ₯Ό λΆμνλ λΆμΌμμ μ μ©νκ² μ°μΈλ€. OLSλ₯Ό μ¬μ©νλ©΄ μνμ μμ ν° μμ°¨κ° μ°μΈν κ°μ κ°λ κ²½μ°μ, μ’ μ λ³μκ° μμ λΆμ°μ κ°μ§μ§ μκ³ λμ λ²μλ₯Ό κ°μ§ λ μ μ©νκ² μ°μΈλ€. μ€μ°¨μ νΌμΌν°μ§λ μλ κ°μ΄ νμ€ λΆν¬λ₯Ό λ°λ₯Ό λ, percentage least squares νκ· κΈ°λ²μ μ΅λ κ°λ₯λ μΆμ μ μ 곡νλ€. OLSλ κ°λ² μ€μ°¨ λͺ¨νκ³Ό κ΄λ ¨μλ λ°λ©΄μ μ΄ νκ· κΈ°λ²μ μΉλ² μ€μ°¨ λͺ¨νκ³Ό κ΄λ ¨μλ€.
Iteratively reweighted least squares (IRLS)
Instrumental variables
Optimal instruments
Total least squares (TLS)
μ΅λκ°λ₯λλ°©λ²
μ΅λ κ°λ₯λ μΆμ (MLE : Maximum likelihood estimation)
λ§€κ°λ³μ \({\theta }\) (μ¦, \({\theta =(\beta ,\sigma ^{2})} )\) μ argmaxλ λ€μκ³Ό κ°λ€
\[\underset{\theta}{\arg\max} \log(p(D|\theta)) = \sum_{i=1} \log(p(y_i | \mathbf{x_i}, \theta))\]λ§μ½ \(p(y_{i}|\mathbf {x_{i}} ,\theta )\) κ° μλμ κ°μ κ°μ°μμ λΆν¬ λ₯Ό κ°μ§λ€κ³ κ°μ νλ©΄,
\(p(y_{i}|\mathbf {x_{i}} ,\theta )={\mathcal {N}}(y|{\boldsymbol {\beta }}^{T}\mathbf {x} ,\sigma ^{2})\)
λ€μκ³Ό κ°μ λ‘κ·Έ κ°λ₯λ ν¨μλ₯Ό ꡬν μ μλ€
\(l(\theta )=\sum _{i=1}^{N}\log[({\frac {1}{2\pi \sigma ^{2}}})^{2}exp(-{\frac {1}{2\sigma ^{2}}}(y_{i}-{\boldsymbol {\beta }}^{T}\mathbf {x_{i}} )^{2})]\)
\(=-{\frac {N}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{N}{(y_{i}-{\boldsymbol {\beta }}^{T}\mathbf {x_{i}} )^{2}}\)
μ μμ μμλ₯Ό μ·¨ν μ λ‘κ·Έ κ°λ₯λ ν¨μ(NLLΒ : negative log likelihood)λ μλμ κ°λ€
\(NLL(\theta )={\frac {N}{2}}\log(2\pi \sigma ^{2})+{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{N}{(y_{i}-{\boldsymbol {\beta }}^{T}\mathbf {x_{i}} )^{2}}\)
NLLμ μ΅μκ°μ ꡬνκΈ° μν΄μλ μμμμ μλμ λΆλΆμ μ΅μν νλ©΄ λλ€
\(RSS(\beta )=\sum _{i=1}^{N}{(y_{i}-{\boldsymbol {\beta }}^{T}\mathbf {x_{i}} )^{2}}\)
μ μμ μμ°¨μ κ³±ν©(RSSΒ : Residual Sum of Squares) μ΄λ©°, μ΄λ₯Ό ν΅ν΄ μ΅μ μ \({\boldsymbol {\hat {\beta }}}\) μ ꡬν μ μλ€.
μ©μ΄ μ 리
λ
립λ³μ(independent variable) :
μ
λ ₯κ°μ΄λ μμΈμ λνλ΄λ©° μμΈ‘ λ³μ(predictor variable), 볡κ·μ(regressor), ν΅μ λ³μ(controlled variable), μ‘°μ λ³μ(manipulated variable), λ
ΈμΆ λ³μ(exposure variable), 리μ€ν¬ ν©ν°(risk factor), μ€λͺ
λ³μ(Explanatory variable)λ±μΌλ‘ λΆλ¦¬λ©°, κΈ°κ³ νμ΅κ³Ό ν¨ν΄ μΈμμμλ featureλΌκ³ νλ€. (μ£Όλ‘ xλ‘ μ°μΈλ€.)
μ’ μ λ³μ : κ²°κ³Όλ¬Όμ΄λ ν¨κ³Όλ₯Ό λνλΈλ€. μλ΅ λ³μλΌκ³ λ λΆλ¦¬λ©° μ£Όλ‘ yλ‘ μ°μΈλ€.
\(\beta\) : pμ°¨μ νλΌλ―Έν° 벑ν°μ΄λ€. μ΄κ²μ κ° μμλ νκ· κ³μλΌκ³ λ λΆλ¦°λ€. νλΌλ―Έν° 벑ν°μ μμλ μ’ μ λ³μμ λν νΈλ―ΈλΆμΌλ‘ ν΄μν μλ μλ€.