◼️ 모든 글 ◼️

📌 회귀 스플라인(Regression Spline) polynomial(다항식) and step function(계단 함수) 보다 유연하고 실제로는 이 두 방식의 확장한 버전으로 볼 수 있습니다. $X$의 범위를 $K$개의 구간으로 나누고(계단 방식) 각 구간안에서 데이터에 대한 다항식 함수(다항 방식)를 적합시킵니다. 그러나 여기서 한 가지. 이런 다항식은 구간의 경계 또는 결속점이라 하는 knots에서 매끄럽게 연결되도록 제약이 가해집니다. 쉽게 말하면 구간의 경계의 끝은 서로 연결되어야 한다는 점입니다. ◾ 분할 다항식(Piecewise Polynomials), 결속점(knots) 분항 다항식과 결속점(knots)가 사용됩니다. 예를 들어 두개의 범위만 봅시다. 하나의 결속점인 $c$와 각각의 범위..

📌 Polynomial regression 선형 모델의 확장 중 하나인 다항 회귀입니다. 매우 쉽습니다! 그냥 원래의 예측 변수를 거듭제곱하여 얻은 예측 변수를 추가하는 것입니다. 예를 들어 그냥 $X$가 아닌 $X, X^2, X^3$와 같은 세 변수를 식에 추가하여 예측 변수로 사용하는 것과 같아요. 이 접근은 선형성 가정이 이루어지지 않았을 때(예측 변수 X와 응답 변수 Y간의 선형성) 데이터에 대한 비선형적인 적합을 제공하는 간단한 접근입니다. 아래와 같이 일반적인 선형 모델을 확장하는 것입니다. $$ \text{for a quantative response} : y_i = \beta_0 + \beta_1x_i +...+\beta_px_i^p + \epsilon_i \\ \text{for a bin..

📌 Stacking 앙상블 모델 중 하나인 stacking 입니다. stacking이 재밌는 점은 여러 모델들을 학습하고 이를 또다시 새로운 모델로 학습한다는 점입니다. 기본 모델들이 각자의 예측을 수행 한뒤, 그 예측값들을 이용해 새로운 모델을 학습합니다. 이를 통해 기본 모델이 갖는 각자의 강점을 살려 높은 성능을 보일 수 있습니다. 스태킹에서는 크게 세 가지 구성 요소가 있는데 1️⃣ 기본 모델 기본적인 모델로 서로 다른 알고리즘을 사용하거나, 다양한 하이퍼 파라미터로 설정된 모델들(로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트 등등) 2️⃣ First Level 예측 각 기본 모델이 주어진 데이터에 대해 각자 예측을 수행합니다. 이 예측한 값들이 First Level에서 쌓(stack!)입니다..

📌 Ensemble : Voting model 오늘은 앙상블 모델 중 voting model에 대해 알아볼까 합니다. 전에 포스팅했던 Bagging의 경우도 투표를 하지만, Voting model의 경우 여러 모델을 학습하여 각 모델의 결과를 이용하여 투표하는 것이고, Bagging의 경우 하나의 모델에서 여러 데이터셋의 split을 이용한 방법입니다. ◼️ 분류에서(Hard Voting, Soft Voting) 우선 $m$개의 분류모델 $\hat{f}_1, ..., \hat{f}_m$이 있을 때 예측값을 $\hat{Y}_j(\textbf{x}) = \hat{f}_j$라고 합시다. 투표 방법에는 Hard Voting, Soft Voting이 있습니다. 1️⃣ Hard Voting Hard Voting에서..

📌 ROC(Receiver Operating Characteristic) curve analysis ROC는 우리가 이진 분류 모델의 성능을 파악할 때 사용합니다. 모델의 성능을 시각적으로 확인할 수 있는 통계적 그래픽 요소입니다. 보통 우리가 분류를 할 때 사용하는 결정 임계값은 0.5입니다. 이는 모델이 예측한 확률로 특정 데이터 포인트의 클래스를 결정하는 기준 값입니다. ROC는 0.5뿐 아닌 다양한 결정 임계값에서 어떻게 작동하는지 성능을 나타냅니다. ROC 곡선은 다음 두 가지의 주요 지표를 그림으로 나타냅니다. $$ \text{Sensitivity} = \dfrac{TP}{TP+FN} \\ \text{1-Specificity} = \dfrac{FP}{FP+TN} $$ 구조를 보시면 아시겠지만 ..

📌 Cohen's kappa k Cohen's kappa (κ)는 머신러닝 및 통계에서 사용되는 통계적 측정 지표 중 하나로, 두 명 이상의 평가자 간의 일치도(범주형 자료에서)를 측정하는 데 사용되는 통계량 입니다. 특히, 이 지표는 분류 작업에서 모델의 성능을 측정하는 데 적용되며, 평가자 간의 일치 정도를 고려하여 모델의 성능을 조정합니다. Cohen's kappa는 혼란 행렬(Confusion Matrix)에 기반하며, 주로 이진 또는 다중 클래스 분류 문제에서 사용됩니다. 혼란 행렬은 아실거라 생각하고 혹시 모르신다면 혼동행렬 설명 링크를 확인해주세요. Cohen's kappa는 다음과 같은 공식으로 정의됩니다: $$ \kappa = \dfrac{P_O-P_E}{1-P_E} $$ 여기서 $P_O..

📌 Confusion matrix 데이터 과학 및 머신 러닝 분야에서 모델의 성능을 평가하고 해석하는 데 있어서, 혼동 행렬(Confusion Matrix)은 핵심적인 개념 중 하나입니다. 혼동 행렬은 모델이 예측한 결과와 실제 관측값 간의 관계를 시각적으로 정리하는 강력한 도구로, 모델의 성능을 이해하고 향상시키는 데 도움이 됩니다. 혼동 행렬은 분류 모델의 평가를 위한 핵심 도구로, 모델이 얼마나 정확하게 예측하는지, 어떤 유형의 오류가 발생하는지를 살펴볼 수 있는 표입니다. Positive 클래스와 Negatice 클래스 간의 참 양성(True Positive), 참 음성(True Negative), 거짓 양성(False Positive), 그리고 거짓 음성(False Negative)을 나타내는 ..

📌 KNN KNN의 full name은 K Nearest Neighbors입니다. K의 가까운 이웃이라는 뜻으로 특정 포인트의 가까운 점들의 label 값에 따라 해당 포인트의 label을 분류하게 됩니다. 아래 그림처럼 별을 특정 데이터 포인트라고 하였을 때, k에 따라 다른 label로 분류가 바뀔 수 있습니다. 왼쪽 그림의 경우 k=4로 갈색 label이 더 많고, 오른쪽 그림의 경우 k=6으로 파란 label이 더많게 됩니다. 이론적으로는 베이즈 분류기를 사용하여 질적 응답에 대해 예측하는 것입니다. (베이즈 분류 : 링크) 앞서 베이즈 분류를 보고 오셨다면.. 실제 우리는 $P(Y=j|\textbf{X})$인 사전 분포를 모르기 때문에 특정 분포에 대한 가정이 없다면 베이즈 분류기를 구성하는 것..

베이즈 분류에 대한 전 포스팅도 확인해주세요. 베이즈 분류 1 베이즈 분류 그리고 최소 손실 베이즈 분류 📌 통계적 의사 결정 for Classification(베이즈 분류) 분류에 대해서는 일반적으로 zero-one loss function을 사용하는 것이 흔한 method다. $$ L(a,b) = I(a \neq b) $$ $Y=1,...,K$이고 $K$는 가능한 범주들 이라고 하 datanovice.tistory.com 베이즈 분류 2 베이즈 분류와 ECM, TPM, Bayes error rate 우선 간단히 베이즈 분류에 대해 설명한 전 포스팅을 확인해주세요. https://datanovice.tistory.com/entry/베이즈 분류 베이즈 분류 그리고 최소 손실 베이즈 분류 통계적 의사 결정..

📌 로지스틱 회귀 로지스틱 회귀에 대한 간단한 식의 설명. 계수 구하는 방법과 같은 과정은 후에 다뤄보도록 하자. 일반적인 선형회귀에 대하 아실것이라 가정하고 로지스틱 회귀를 한번 봅시다. 기본적으로 독립 변수들의 선형 결합으로 표현하는 방정식을 통해 종속 변수를 표현하는 것을 유사 합니다. 가장 큰 차이는 종속 변수의 차이입니다. 선형 회귀의 경우 연속 변수이지만 로지스틱 회귀의 경우 종속 변수가 범주형 변수일 경우 사용하게 됩니다. 그러니 이름에 회귀!가 있지만? 일종의 분류 기법으로 사용하는 것입니다. 정말 간단한 모델로 우리가 어떠한 분류 문제를 다룰 때 제일 먼저 사용해보아야할 모델이기도 합니다. 간단한 모델로 충분한 성능이 나온다면 굳이 어렵고 복잡한 모델을 사용할 필요가 적겠죠?? 회귀의 결..