[혼공머신] 04. 정리

▷ 키워드 핵심 포인트

로지스틱 회귀 : 선형 방정식을 사용한 분류 알고리즘

                          선형 회귀와 달리 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스 확률 출력 가능

다중 분류 : 타깃 클래스가 2개 이상인 분류 문제

                   로지스틱 회귀는 다중 분류를 위해 소프트 맥스 함수를 사용하여 클래스 예측

시그모이드 함수 : 선형 방정식의 출력을 0과 1 사이의 값으로 압축하며 이진 분류를 위해 사용

소프트맥스 함수 : 다중 분류에서 여러 선형 방정식의 출력 결과를 정규화하여 합이 1이 되도록 만듦

 

확률적 경사 하강법 : 훈련 세트에서 샘플 하나씩 꺼내 손실 함수의 경사를 따라 최적의 모델을 찾는 알고리즘

샘플을 하나씩 사용하지 않고 여러 개를 사용 : 미니배치 경사 하강법

한 번에 전체 샘플을 사용 : 배치 경사 하강법

손실 함수 : 확률적 경사 하강법이 최적화할 대상

                   이진 분류 - 로지스틱 회귀 손실 함수

                   다중 분류 - 크로스엔트로피 손실 함수

                   회귀 문제 - 평균 제곱 오차 손실 함수

에포크 : 전체 샘플을 모두 사용하는 한 번 반복

 

 

 

▷ 핵심 패키지, 함수

< scikit-learn > 

* LogisticRegression : 선형 분류 알고리즘인 로지스틱 회귀를 위한 클래스

solver : 사용할 알고리즘 선택  (기본값 'lbfgs')

penalty : L2 규제(릿지 방식)와 L1 규제(라쏘 방식) 선택 (기본값 L2 규제를 의미하는 'l2')

C : 규제의 강도 제어 (기본값 1.0)  값이 작을수록 규제가 강해짐

 

* predict_proba() : 예측 확률 반환

이진 분류 - 샘플마다 음성 클래스와 양성 클래스에 대한 확률 반환

다중 분류 - 샘플마다 모든 클래스에 대한 확률 반환

 

* decision_function() : 모델이 학습한 선형 방정식의 출력을 반환

이진 분류 -  양성 클래스의 확률 반환.

                   이 값이 0보다 크면 양성 클래스, 작거나 같으면 음성 클래스로 예측

다중 분류 - 각 클래스마다 선형 방정식 계산

                  가장 큰 값의 클래스가 예측 클래스가 됨

 

* SGDClassifier : 확률적 경사 하강법을 사용한 분류 모델을 만든다

loss : 최적화할 손실 함수  (기본값 서포트벡터 머신 - 'hinge')  

           로지스틱 회귀 - 'log'

penalty : 규제의 종류 지정 (기본값 L2 규제를 의미하는 'l2')

alpha : 규제 강도 지정 (기본값 0.0001)

max_iter : 에포크 횟수 (기본값 1000)

tol : 반복을 멈출 조건 (기본값 0.001)

n_iter_no_change : 지정한 에포크 동안 손실이 tol만큼 줄어들지 않으면 알고리즘 중단 (기본값 5)

 

* SGDRegressor : 확률적 경사 하강법을 사용한 회귀 모델 만듦

loss : 손실 함수 (기본값 제곱 오차 'squared_loss')

앞의 SGDClassifier에서 설명한 매개변수 모두 동일하게 사용

 

 

 

▷ 확인문제

1. 2개보다 많은 클래스가 있는 분류 문제를 무엇이라 부르나요?

다중 분류

 

2. 로지스틱 회귀가 이진 분류에서 확률을 출력하기 위해 사용하는 함수는 무엇인가요?

시그모이드 함수

 

3. decision_function() 메서드의 출력이 0일 때 시그모이드 함수의 값은 얼마인가요?

0.5

 

4. 표준화 같은 데이터 전처리를 수행하지 않아도 되는 방식으로 구현된 클래스는 무엇인가요?

SGDClassifier

 

5. 경사 하강법 알고리즘의 하나로 훈련 세트에서 몇 개의 샘플을 뽑아서 훈련하는 방식은 무엇인가요?

확률적 경사 하강법

 

 

 

 

---

참고도서 : 혼자공부하는 머신러닝 + 딥러닝, 박해선, 한빛미디어, 2020년