전체 글

📌 Cohen's kappa k Cohen's kappa (κ)는 머신러닝 및 통계에서 사용되는 통계적 측정 지표 중 하나로, 두 명 이상의 평가자 간의 일치도(범주형 자료에서)를 측정하는 데 사용되는 통계량 입니다. 특히, 이 지표는 분류 작업에서 모델의 성능을 측정하는 데 적용되며, 평가자 간의 일치 정도를 고려하여 모델의 성능을 조정합니다. Cohen's kappa는 혼란 행렬(Confusion Matrix)에 기반하며, 주로 이진 또는 다중 클래스 분류 문제에서 사용됩니다. 혼란 행렬은 아실거라 생각하고 혹시 모르신다면 혼동행렬 설명 링크를 확인해주세요. Cohen's kappa는 다음과 같은 공식으로 정의됩니다: $$ \kappa = \dfrac{P_O-P_E}{1-P_E} $$ 여기서 $P_O..

📌 Confusion matrix 데이터 과학 및 머신 러닝 분야에서 모델의 성능을 평가하고 해석하는 데 있어서, 혼동 행렬(Confusion Matrix)은 핵심적인 개념 중 하나입니다. 혼동 행렬은 모델이 예측한 결과와 실제 관측값 간의 관계를 시각적으로 정리하는 강력한 도구로, 모델의 성능을 이해하고 향상시키는 데 도움이 됩니다. 혼동 행렬은 분류 모델의 평가를 위한 핵심 도구로, 모델이 얼마나 정확하게 예측하는지, 어떤 유형의 오류가 발생하는지를 살펴볼 수 있는 표입니다. Positive 클래스와 Negatice 클래스 간의 참 양성(True Positive), 참 음성(True Negative), 거짓 양성(False Positive), 그리고 거짓 음성(False Negative)을 나타내는 ..

📌 KNN KNN의 full name은 K Nearest Neighbors입니다. K의 가까운 이웃이라는 뜻으로 특정 포인트의 가까운 점들의 label 값에 따라 해당 포인트의 label을 분류하게 됩니다. 아래 그림처럼 별을 특정 데이터 포인트라고 하였을 때, k에 따라 다른 label로 분류가 바뀔 수 있습니다. 왼쪽 그림의 경우 k=4로 갈색 label이 더 많고, 오른쪽 그림의 경우 k=6으로 파란 label이 더많게 됩니다. 이론적으로는 베이즈 분류기를 사용하여 질적 응답에 대해 예측하는 것입니다. (베이즈 분류 : 링크) 앞서 베이즈 분류를 보고 오셨다면.. 실제 우리는 $P(Y=j|\textbf{X})$인 사전 분포를 모르기 때문에 특정 분포에 대한 가정이 없다면 베이즈 분류기를 구성하는 것..

베이즈 분류에 대한 전 포스팅도 확인해주세요. 베이즈 분류 1 베이즈 분류 그리고 최소 손실 베이즈 분류 📌 통계적 의사 결정 for Classification(베이즈 분류) 분류에 대해서는 일반적으로 zero-one loss function을 사용하는 것이 흔한 method다. $$ L(a,b) = I(a \neq b) $$ $Y=1,...,K$이고 $K$는 가능한 범주들 이라고 하 datanovice.tistory.com 베이즈 분류 2 베이즈 분류와 ECM, TPM, Bayes error rate 우선 간단히 베이즈 분류에 대해 설명한 전 포스팅을 확인해주세요. https://datanovice.tistory.com/entry/베이즈 분류 베이즈 분류 그리고 최소 손실 베이즈 분류 통계적 의사 결정..

📌 로지스틱 회귀 로지스틱 회귀에 대한 간단한 식의 설명. 계수 구하는 방법과 같은 과정은 후에 다뤄보도록 하자. 일반적인 선형회귀에 대하 아실것이라 가정하고 로지스틱 회귀를 한번 봅시다. 기본적으로 독립 변수들의 선형 결합으로 표현하는 방정식을 통해 종속 변수를 표현하는 것을 유사 합니다. 가장 큰 차이는 종속 변수의 차이입니다. 선형 회귀의 경우 연속 변수이지만 로지스틱 회귀의 경우 종속 변수가 범주형 변수일 경우 사용하게 됩니다. 그러니 이름에 회귀!가 있지만? 일종의 분류 기법으로 사용하는 것입니다. 정말 간단한 모델로 우리가 어떠한 분류 문제를 다룰 때 제일 먼저 사용해보아야할 모델이기도 합니다. 간단한 모델로 충분한 성능이 나온다면 굳이 어렵고 복잡한 모델을 사용할 필요가 적겠죠?? 회귀의 결..

📌 Naive Bayes Classifier 나이브 베이즈는 텍스트 분석 분야에서 아직도 사용되고 있는 것 같습니다.(제가 잘 몰라서 틀릴 수도 있습니다.) 스팸 판단 등에서 사용되는 것 같더군요. 나온지 오래된 모델임에도 충분히 경쟁력이 있는 것 같습니다. 나이브 베이즈 분류기는 간단한 기술입니다. 단일 알고리즘을 통한 훈련이 아닌 일반적 원칙에 근거하여 여러 알고리즘들을 이용하여 훈련합니다. 나이브 베이즈 분류기의 큰 특징이라함은? 모든 feature들이 조건부로 독립이라는 가정입니다. 예를 들어봅시다. 특정 동물을 호랑이라고 분류합니다. 줄무늬, 울음소리, 고양이과등과 같은 특성들을 서로 독립적으로 동물이 호랑이일 확률에 기여한다고 가정합니다. 그럼 중요한 문제는 과연 feature들이 조건부 독립..

📌 LDA, QDA LDA와 QDA는 다변량 정규 분포를 위한 베이즈 분류기이다.(베이즈 이론에 대해 알고 보시는게 이해가 쉽습니다.) 다변량 정규 분포는 두 개 이상의 확률변수 가령 $X, Y$가 상호의존적으로 정규 분포를 따를 때의 확률 분포입니다. 다변량 정규 분포의 확률 밀도 함수를 보면 원래 정규분포와 비슷한 형태를 보입니다. 그럼 이둘은 무슨 차이가 있을 까요? 큰 차이는 결정 경계. 즉, 분류를 하기 위한 경계를 어떻게 모델링하느냐에 있습니다. LDA, QDA의 이름부터 Linear, Quadratic인 것을 보시면 아마 금방 유추가 가능할겁니다. QDA의 경우 각 클래스마다 고유한 공분산 행렬을 사용합니다. 예를 들어 클래스가 3개 있다면 $\Sigma_1 \neq \Sigma_2 \neq..

우선 간단히 베이즈 분류에 대해 설명한 전 포스팅을 확인해주세요. https://datanovice.tistory.com/entry/베이즈 분류 베이즈 분류 그리고 최소 손실 베이즈 분류 통계적 의사 결정 for Classification(베이즈 분류) 분류에 대해서는 일반적으로 zero-one loss function을 사용하는 것이 흔한 method다. $$ L(a,b) = I(a \neq b) $$ $Y=1,...,K$이고 $K$는 가능한 범주들 이라고 하자. datanovice.tistory.com 📌 ECM(Expected cost of misclassification)과 베이즈 분류 ECM을 설명하기 전에 몇가지 가정과 명명을 확인하겠습니다. $f_i$를 밀도 함수라고 하고 클래스 $i$가 1..

📌 통계적 의사 결정 for Classification(베이즈 분류) 분류에 대해서는 일반적으로 zero-one loss function을 사용하는 것이 흔한 method다. $$ L(a,b) = I(a \neq b) $$ $Y=1,...,K$이고 $K$는 가능한 범주들 이라고 하자. 즉, $Y$는 $K$개의 가능한 범주 중 하나. 이 때 실제 값 $Y$와 예측 값 $f(\textbf{X})$의 기댓값은 아래와 같다. 주어진 입력 $\textbf{X}$에 대한 y의 조건부 확률을 곱해준다. $$ E[L(Y, f(\textbf{X}))] = E_{\textbf{X}} \left[\sum_{y=1}^K L(y, f(\textbf{X})) p(y|\textbf{X}) \right] $$ 실제 클래스 $Y=i$..

📌 초기하 분포(hypergeometric distribution) 초기하 분포란 비복원추출에서 모집단 N 중에 n번 추출했을 때, 원하는 것이 k번 나올 확률에 대한 분포입니다. 이렇게 보면 굉장히 어려워보이는데 별거 없습니다. 이항분포에서 복원추출이 아닌 비복원추출을 하는 것이라고 간단히 이해하고 있으면 됩니다. 자세히 한번 봅시다! 예를 들어 상자 안에 공 7개가 있고, 빨간 공 4개와 파란공 3개가 있다고 해봅시다. 우리는 총 4개의 공을 뽑아서 빨간 공 3개를 뽑으려고 합니다. 모집단인 N = 7이고, n = 4번 추출하며, 원하는 빨간 공이 k = 3번 나올 확률에 대한 분포를 보는 것입니다. 이 때 초기하확률변수 X = 3이 되는겁니다. ➕ 초기하 분포의 확률 질량 함수 모집단 N 총 시행 ..