[혼공머신] 03. 정리

▷ 키워드 핵심 포인트

회귀 : 임의의 수치를 예측하는 문제

        타깃값도 임의의 수치가 됨

k-최근접 이웃 회귀 : k-최근접 이웃 알고리즘을 사용해 회귀 문제 풂

                           가장 가까운 이웃 샘플을 찾고 이 샘플들의 타깃값을 평균하여 예측으로 삼는다

결정계수(R제곱) : 대표적인 회귀 문제의 성능 측정 도구

                       1에 가까울수록 좋고, 0에 가깝다면 성능이 나쁜 모델

과대적합 : 모델의 훈련 세트 성능이 테스트 성능보다 훨씬 높을 때

              모델이 훈련 세트에 너무 집착해서 데이터에 내재된 거시적인 패턴을 감지하지 못한다

과소적합 : 훈련 세트와 테스트 세트 성능이 모두 동일하게 낮거나 테스트 세트 성능이 오히려 높을 때

              더 복잡한 모델을 사용해 훈련 세트에 잘 맞는 모델 만들기

 

 

선형 회귀 : 특성과 타깃 사이의 관계를 가장 잘 나타내는 선형 방정식 찾음

                특성이 하나면 직선 방정식

선형 회귀가 찾은 특성과 타깃 사이의 관계는 선형 방정식의 계수 또는 가중치에 저장

가중치는 방정식의 기울기와 절편 모두 의미하는 경우가 많음

 

모델 피라미터 : 선형 회귀가 찾은 가중치처럼 머신러닝 모델이 특성에서 학습한 파라미터

다항 회귀 : 다항식을 사용하여 특성과 타깃 사이의 관계 나타냄

                비선형일 수 있지만 여전히 선형 회귀로 표현할 수 있음

 

다중 회귀 : 여러 개의 특성을 사용하는 회귀 모델

               특성이 많으면 선형 모델은 강력한 성능 발휘

특성 공학 : 주어진 특성을 조합하여 새로운 특성을 만드는 일련의 작업 과정

릿지 : 규제가 있는 선형 회귀 모델 중 하나, 선형 모델의 계수를 작게 만들어 과대적합 완화

라쏘 : 또 다른 규제가 있는 선형 회귀 모델, 릿지와 달리 계수 값을 아예 0으로 만들 수도 있음

하이퍼파라미터 : 머신러닝 알고리즘이 학습하지 않는 파라미터                       이런 파라미터는 사람이 사전에 지정해야 함                       예) 릿지, 라쏘의 규제 강도 alpha 파라미터

 

▷ 핵심 패키지, 함수

< scikit-learn > 

* KNeighborsRegressor : k-최근접 이웃 회귀 모델을 만드는 사이킷런 클래스

n_neighbors : 이웃의 개수 지정, 기본값 5

다른 매개변수는 KNeighborsClassifier 클래스와 거의 동일

* mean_absolute_error( ) : 회귀 모델의 평균 절댓값 오차를 계산

첫 번째 매개변수 = 타깃, 두 번째 매개변수 = 예측값

* mean_squared_error( ) : 평균 제곱 오차 계산

                                  타깃과 예측을 뺀 값을 제곱한 다음 전체 샘플에 대해 평균한 값을 반환

 

* LinearRegression : 선형 회귀 클래스

fit_intercept 매개변수를 False로 지정하면 절편을 학습하지 않음, 기본값 True

학습된 coef_ 속성은 특성에 대한 계수를 포함한 배열

즉, 이 배열의 크기는 특성의 개수와 같음

intercept_ 속성에는 절편 저장

 

* PolynomialFeatures : 주어진 특성을 조합하여 새로운 특성을 만든다

degree 최고 차수 지정, 기본값 2

interaction_only가 True 이면 거듭제곱 항은 제외, 특성 간의 곱셈 항만 추가, 기본값 False

include_bias가 False이면 절편을 위한 특성을 추가하지 않음, 기본값 True

 

* Ridge : 릿지 회귀 모델 훈련

alpha 매개변수로 규제의 강도 조절, 값이 클수록 규제 세짐, 기본값 1

solver 최적의 모델 찾기 위한 방법 지정

* Lasso : 라쏘 회귀 모델 훈련

max_iter 알고리즘의 수행 반복 횟수 지정, 기본값 1000

 

< numpy > 

* reshape( ) : 배열의 크기를 바꾸는 메서드

                   바꾸기 전후의 배열 원소 개수는 동일해야 함

 .reshape(-1,1) : 첫 번째 크기를 나머지 원소 개수로 채우고, 두 번재 크기를 1

 

< pandas > 

* read.csv( ) : csv 파일을 로컬 컴퓨터나 인터넷에서 읽어 판다스 데이터프레임으로 변환하는 함수

sep : csv 파일의 구분자 지정, 기본값 콤마(,)

header : 데이터프레임의 열 이름으로 사용할 csv 파일의 행 번호 지정, 기본적으로 첫 번쨰 행을 열 이름으로 사용

skiprows : 파일에서 읽기 전에 건너뛸 행의 개수 지정

nrows : 파일에서 읽을 행의 개수 지정

 

 

 

▷ 확인문제

1. k-최근접 이웃 회귀에서는 새로운 샘플에 대한 예측을 어떻게 만드나요?

> 이웃 샘플의 타깃값의 평균

 

2. 선형 회귀 모델이 찾은 방정식의 계수를 무엇이라고 부르나요?

> 모델 파라미터

 

3. 사이킷런에서 다항 회귀 모델을 훈련할 수 있는 클래스는 무엇인가요?

> LinearRegression

 

4. a, b, c 특성으로 이루어진 훈련 세트를 PolynomialFeatures(degree=3)으로 변환했다.

다음 중 이 변환된 데이터에 포함되지 않는 특성은 무엇인가요?

 (1) 1

 (2) a

 (3) a*b

 (4) a*b^3

 

5. 특성을 표준화하는 사이킷런 변환기 클래스는 무엇인가요?

> StandardScaler

 

6. 다음 중 과대적합과 과소적합을 올바르게 표현하지 못한 것은 무엇인가요?

 (1) 과대적합인 모델은 훈련 세트의 점수가 높습니다.

 (2) 과대적합인 모델은 테스트 세트의 점수도 높습니다.

 (3) 과소적합인 모델은 훈련 세트의 점수가 낮습니다.

 (4) 과소적합인 모델은 테스트 세트의 점수도 낮습니다.

 

 

 

 

---

참고도서 : 혼자공부하는 머신러닝 + 딥러닝, 박해선, 한빛미디어, 2020년