[혼공머신] 05. 정리

▷ 키워드 핵심 포인트

결정트리 : 예/아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘

                  비교적 예측 과정을 이해하기 쉽고 성능도 뛰어남

불순도 : 결정 트리가 최적의 질문을 찾기 위한 기준

               사이킷런은 지니 불순도와 엔트로피 불순도 제공

정보이득 : 부모 노드와 자식 노드의 불순도 차이

                 결정 트리 알고리즘은 정보 이득이 최대화되도록 학습

가지치기 : 결정 트리의 성장을 제한하는 방법

                 (결정 트리는 제한 없이 성장하면 훈련 세트에 과대적합되기 쉬움)

특성 중요도 : 결정 트리에 사용된 특성이 불순도를 감소하는데 기여한 정도

 

검증 세트 : 하이퍼파라미터 튜닝을 위해 모델을 평가할 때,

                   테스트 세트를 사용하지 않기 위해 훈련 세트에서 다시 떼어 낸 데이터 세트

교차 검증 : 훈련 세트를 여러 폴드로 나눈 다음 한 폴드가 검증 세트의 역할을 하고 나머지 폴드에서는 모델을 훈련함

                   교차 검증은 이런 식으로 모든 폴드에 대해 검증 점수를 얻어 평균하는 방법

그리드 서치 : 하이퍼파라미터 탐색을 자동화해 주는 도구

                       탐색할 매개변수를 낭려하면 교차 검증을 수행하여 가장 좋은 검증 점수의 매개변수 조합을 선택

                       마지막으로 이 매개변수 조합으로 최종 모델 훈련

랜덤 서치 : 연속된 매개변수 값을 탐색할 때 유용

                   탐색할 값을 샘플링할 수 있는 확률 분포 객체를 전달

                   지정한 횟수만큼 샘플링하여 교차 검증을 수행하기 때문에 시스템 자원이 허락하는 만큼 탐색량 조절

 

 

앙상블 학습 : 더 좋은 예측 결과를 만들기 위해 여러 개의 모델을 훈련하는 머신러닝 알고리즘

랜덤 포레스트 : 대표적인 결정트리 기반의 앙상블 학습 방법

                          부트스트랩 샘플을 사용하고 랜덤하게 일부 특성을 선택하는 트리는 만드는 것이 특징

엑스트라 트리 : 랜덤 포레스트와 비슷하게 결정 트리를 사용하여 앙상블 모델을 만들지만 부트스트랩 사용 x

                           대신 랜덤하게 노드를 분할해 과대적합 감소시킴

그레이디언트 부스팅 : 결정 트리를 연속적으로 추가하여 손실 함수를 최소화하는 앙상블 방법

                                     훈련 속도가 조금 느리지만 더 좋은 성능 기대

히스토그램 기반 그레이언트 부스팅 : 그레이디언트 부스팅의 속도를 개선한 것

 

---

 

▷ 핵심 패키지, 함수

< Pandas > 

* info() : 데이터프레임의 요약된 정보 출력

               인덱스와 컬럼 타입을 출력하고, 널이 아닌 값의 개수, 메모리 사용량 제공

verbose : 기본값 True를 False로 바꾸면 각 열에 대한 정보를 출력하지 않음

 

* describe() : 데이터프레임 열의 통계 값 제공

                       수치형 - 최소, 최대, 평균, 표준편차, 사분위값

                       객체 타입 열 - 가장 자주 등장하는 값, 횟수

percentiles : 백분위수 지정

 

< scikit-learn > 

* DecisionTreeClassifier : 결정 트리 분류 클래스

criterion : 불순도 지정

                 기본값 지니불순도 'gini' / 엔트로피불순도 'entropy'

splitter : 노드를 분할하는 전략

               기본값 'best' 정보 이득 최대  / 'random' 임의 노드 분할

max_depth : 트리가 성장할 최대 깊이 지정

                      기본값 None 리프 노드가 순수하거나 min_samples_split보다 샘플 개수가 적을 때까지 성장

min_samples_split : 노드를 나누기 위한 최소 샘플 개수 (기본값 2)

max_features : 최적의 분할을 위해 탐색할 특성의 개수 지정 (기본값 None 모든 특성 사용)

 

* plot_tree : 결정 트리 모델을 시각화

                     첫번째 매개변수로 결정 트리 모델 객체 전달

max_depth : 나타낼 트리의 깊이 (기본값 None 모든 노드 출력)

feature_names : 특성의 이름 지정

filled : True로 지정하면 타깃값에ㅐ 따라 노드 안에 색을 채움

 

* cross_validate()  : 교차 검증을 수행하는 함수

                                   첫 번째 매개변수에 교차 검증을 수행할 모델 객체 전달

                                   두 번째와 세 번째 매개변수에 특성과 타깃 데이터 전달

scoring : 검증에 사용할 평가 지표 지정

                기본적으로 분류 모델 - 정확도 'accuracy'   /  회귀 모델 - 결정계수 'r2'

cv : 교차 검증 폴드 수나 스플리터 객체 지정  (기본값 5)

       회귀 - KFold   /   분류 - StratifiedKFold  

n_jobs : 교차 검증을 수행할 때 사용할 CPU 코어 수 지정

               기본값 1 (하나의 코어 사용)   /   -1 시스템에 있는 모든 코어 사용

return_train_score : True로 지정하면 훈련 세트의 점수도 반환 (기본값 False)

 

* GridSearchCV()  : 교차 검증으로 하이퍼파라미터 탐색 수행

                                  최상의 모델을 찾은 후 훈련 세트 전체를 사용해 최종 모델을 훈련

                                  첫 번째 매개변수로 그리드 서치를 수행할 모델 객체 전달

                                  두 번째 매개변수에는 탐색할 모델의 매개변수와 값을 전달

scroing, cv, n_jobs, return_train_score 매개변수는 cross_validate() 함수와 동일

 

* RandomizedSearchCV()  : 교차 검증으로 랜덤한 하이퍼파라미터 수행

                                                최상의 모델을 찾은 후 훈련 세트 전체를 사용해 최종 모델 훈련

                                                첫 번째 매개변수로 그리드 서치를 수행할 모델 객체 전달

                                                두 번째 매개변수에는 탐색할 모델의 매개변수와 확률 분포 객체 전달

scroing, cv, n_jobs, return_train_score 매개변수는 cross_validate() 함수와 동일

 

* RandomForestClassifier  : 랜덤 포레스트 분류 클래스

n_estimators : 앙상블을 구성할 트리의 개수 지정 (기본값 100)

criterion : 불순도 지정

                 기본값 지니불순도 'gini' / 엔트로피불순도 'entropy'

max_depth : 트리가 성장할 최대 깊이 지정

                      기본값 None 리프 노드가 순수하거나 min_samples_split보다 샘플 개수가 적을 때까지 성장

min_samples_split : 노드를 나누기 위한 최소 샘플 개수 (기본값 2)

max_features : 최적의 분할을 위해 탐색할 특성의 개수 지정 (기본값 auto  특성 개수의 제곱근)

boostrap : 부트스트랩 샘플 사용할지 지정 (기본값 True)

oob_scroce : OOB 샘플을 사용하여 훈련한 모델을 평가할지 지정 (기본값 False)

n_jobs : 병렬 실행에 사용할 CPU 코어 수 지정

               기본값 1 (하나의 코어 사용)   /   -1 시스템에 있는 모든 코어 사용

 

* ExtraTreesClassifier : 엑스트라 트리 분류 클래스 

n_estimators, criterion, max_depth, min_samples_split, max_features, oob_score, n_jobs - 랜덤 포레스트와 동일

boostrap : 부트스트랩 샘플 사용할지 지정 (기본값 False)

 

* GrandientBoosintClassifier : 그레이디언트 부스팅 분류 클래스

loss : 손실 함수 지정, (기본값 로지스틱 손실 함수  'deviance')

learning_rate : 트리가 앙상블에 기여하는 정도 조절 (기본값 0.1)

n_estimators : 부스팅 단계를 수행하는 트리의 개수 (기본값 100)

subsample : 사용할 훈련 세트의 샘플 비율 지정 (기본값 1.0)

max_depth : 개별 회귀 트리의 최대 깊이 (기본값 3)

 

* HistGrandientBoosintClassifier : 히스토그램 기반 그레이디언트 부스팅 분류 클래스

learning_rate : 학습룰 또는 감쇠율 (기본값 0.1 / 1.0이면 감쇠 전혀 없음)

max_iter : 부스팅 단계를 수행하는 트리의 개수 (기본값 100)

max_bins : 입력 데이터를 나눌 구간의 개수 (기본값 255 이보다 크게 지정할 수 없음)

 

 

---

▷ 확인문제

1. 결정 트리의 불순도에 대해 올바르게 설명

지니 불순도는 클래스의 비율을 제곱하여 모두 더한 다음 1에서 뺀다

엔트로피 불순도는 클래스 비율과 클래스 비율에 밑이 2인 로그를 적용한 값을 곱해서 모두 더한 후 음수로 바꾸어 계산

 

2. 결정 트리에서 계산한 특성 중요도가 저장되어 있는 속성

feature_importances_

 

3. 훈련 세트를 여러 개의 폴드로 나누고 폴드 1개는 평가 용도로, 나머지 폴드는 훈련 용도로 사용

    그 다음 모든 폴드를 평가 용도로 사용하게끔 폴드 개수만큼 이 과정을 반복

    이러한 평가 방법을 무엇?

교차 검증

 

4. 다음 중 교차 검증을 수행하지 않는 함수나 클래스는?

cross_validate()

GridSearchCV

RandomizedSearchCV

train_test_split()

 

5. 여러 개의 모델을 훈련시키고 각 모델의 예측을 취합하여 최종 결과를 만드는 학습 방식

앙상블 학습

 

6. 다음 중 비정형 데이터에 속하는 것은 무엇?

엑셀 데이터

csv 데이터

데이터베이스 데이터

이미지 데이터

 

3. 알고리즘 중 기본적으로 부트스트랩 샘플을 사용하는 알고리즘?

랜덤 포레스트

엑스트라 트리

그레이디언트 부스팅

히스토그램 기반 그레이디언트 부스팅

 

 

 

 

 

 

 

 

 

 

 

---

참고도서 : 혼자공부하는 머신러닝 + 딥러닝, 박해선, 한빛미디어, 2020년