[구글 플레이스토어 리뷰 크롤링] 크롤링 도구 Uipath와 google-play-scraper 성능 비교

하나캐피탈

구글 플레이스토어 리뷰는 모달 윈도우를 통해 제공된다
브라우저 위에 레이어가 깔려 있고 스크롤 할 때마다 새로운 리뷰를 보여주는 무한 스크롤 형태이다

따라서 URL이 변화없이 그대로 페이징되며, 다음 페이지로 넘어갈 수 있는 버튼도 없다
-> 이 부분이 데이터 크롤링 복잡도를 수직 상승시켰다

 

 

---

Uipath로 리뷰 데이터 크롤링

RPA 도구 중 하나인 Uipath를 이용하여 구글 플레이스토어 리뷰 데이터를 크롤링했다

 

●  Uipath 크롤링 프로세스

Flow chart ➡️ 테이블 추출 ➡️ 엑셀 저장 

1️⃣ Main Sequence에 Flow chart 추가(Flow chart를 바탕으로 작업)

2️⃣ 테이블 추출

  2-1. 추가된 Flow chart에 Sequence 추가 후 시작노드로 지정

  2-2. 테이블 추출

  2-3. 작성된 마지막 리뷰까지 스크롤 후에 UIPATH로 추출하고자 하는 데이터 선택

  2-4. Extract Table Data의 다음으로 추출 변수(ExtractDataTable) 범위를 Flowchart로 변경

3️⃣ 엑셀 저장

  3-1. 다른 Sequence 추가 후 시작노드로 지정한 Sequence와 연결
  3-2. Sequence에 Excel Process Scope 액티비티 추가

  3-3. Excel Process Scope에 Write Range Workbook 액티비티 추가

       - Write Range Workbook 첫번째 칸 - 저장하려는 엑셀 파일 경로 지정

       - Write Range Workbook 두번째 칸 - "저장하려는 엑셀 파일의 시트 이름 지정"

       - Write Range Workbook 세번째 칸 - 테이블 추출된 변수 지정

  3-4. Write Range Workbook 속성의 Add Headers(머리글 추가) 체크

 

 

uipath 테이블 추출 화면

 

●  데이터 정보

user_id : 닉네임 
review_date : 리뷰 날짜
review : 리뷰 내용
usefulness : 사용자 n명이 이 리뷰가 유용하다고 평가함
hana : 리뷰에 대한 답변자
answer : 답변 내용
answer_date : 답변 날짜

{user_id, review_date, review} : 작성된 리뷰

{hana, answer, answer_date} : 작성된 리뷰에 대한 개발자의 답변
usefulness : 작성된 리뷰에 대한 유용성 평가
-> 작성된 리뷰마다 달려 있는 것이 아니기 때문에 전체 리뷰 개수와 다름

 

 

✔️ 하나캐피탈 총 리뷰 590개 중 416개 추출

 

✔️모달 윈도우로 보이는 리뷰 모두를 추출했으나, 앱 자체에서 안내하고 있는 리뷰 수 590개와 동일하지 않다

     ->  174개가 모달 윈도우 창 자체에서 누락됨

 

2013년	2014년	2015년	2016년	2017년	2018년	2019년	2020년	2021년	2022년	2023년
36	3	5	16	15	11	11	18	90	210	1
75개					340개					1개
416개

✔️ 분석에 사용하고자 하는 2022년 ~ 2018년 기간 사이 리뷰 340개

✔️ 연도별로 개수가 일정하지 않음

 

 

연도별 리뷰 많은 순

2022년(210) → 2021년(90) → 2013년(36) -→ 2020년(18) → 2016년(16)

→ 2017년(15) → 2018년, 2019년(11) → 2015년(5) → 2014년(3) → 2023년(1)

 

 

 

✔️ user_id가 'Google 사용자'로 식별이 어려운 리뷰 104개

 

연도별 user_id  'Google 사용자' 분포

2013년	2014년	2015년	2016년	2017년	2018년	2019년	2020년	2021년	2022년	2023년
36	3	5	16	15	11	11	7	0	0	0
104개

연도별 Google 사용자 많은 순

2013년(36) → 2016년(16) → 2017년(15) → 2018년, 2019년(11) → 2020년(7) → 2015년(5) → 2014년(3)

✔️추출된 데이터 중 2013년 ~ 2019년의 전체 리뷰 개수와 Google 사용자 분포 수가 동일하다

      ->  해당 기간의 전체 데이터의 user_id는 전부 'Google 사용자'이다

 

✔️ 2020년 추출된 데이터는 18개인데, 그 중 7개 데이터의  user_id가 'Google 사용자'이다

✔️ 2021년 ~ 2023년에는 user_id가 'Google 사용자'인 것이 없어, 모두 식별 가능하다

 

 

 

---

google-play-scraper로 리뷰 데이터 크롤링

pip install google-play-scraper

from google_play_scraper import Sort, reviews_all
import pandas as pd

result_hanacap = reviews_all(
    'com.hanacapital.mct.phone',
    sleep_milliseconds=0, 
    lang='ko',
    country='kr',
    sort=Sort.MOST_RELEVANT, 
)

 

 

 

●  데이터 정보

reviewId : 개인별 식별 리뷰 아이디

userName : 닉네임 

userImage : 프로필 사진 url

content : 리뷰 내용 

score : 별점 (1~5)

thumbsUpCount : 사용자 n명이 이 리뷰가 유용하다고 평가함

reviewCreatedVersion : 작성된 리뷰 버전

at : 리뷰 작성 날짜

replyContent : 답변 내용

repliedAt : 답변 날짜

 

 

2013년	2014년	2015년	2016년	2017년	2018년	2019년	2020년	2021년	2022년	2023년
36	3	5	16	15	11	11	18	90	210	1
75개					340개					1개
416개

✔️ 하나캐피탈 총 리뷰 590개 중 416개 추출

✔️ Uipath = google-play-scraper 값 동일하게 나옴

 

 

---

★ 구글 플레이스토어 리뷰 수와 크롤링 리뷰 수가 다른 이유

google-play-scraper가 리뷰 전체를 긁어오지 못 하는 것으로 판단하여 uipath를 사용하였으나

구글 플레이스토어 리뷰 모달 윈도우 창 자체에 누락이 있는 것으로 생각됨

 

 

구글 리뷰의 전체 개수와 보이는 개수가 다른 이유에 대한 몇 가지 가설 설정

1. 리뷰 표시가 지연되어 전체 개수에는 카운팅이 되었으나 리뷰가 보이지 않는 경우

  - 새 리뷰는 즉시 공개되지 않고 약 24시간 동안 보류됨

  - 플랫폼에 표시되는 데 시간이 오래 걸림 (프로필 병합 후 빈번 발생)

2. 리뷰가 삭제되었으나 전체 개수에 변화를 주지 않는 경우

 - 스팸, 부적절한 콘텐츠 .. 정책 위반

 - 작성자가 직접 삭제

3. 평점만 남긴 사람들이 전체 리뷰 개수로 나타나고, 리뷰 창에는 글로 남긴 내용들만 나오는 경우

리뷰 누락 또는 지연 이해하기 - Google 비즈니스 프로필 고객센터

앱 평점 및 리뷰 확인하고 분석하기 - Play Console 고객센터

-> 구글 플레이스토어 고객센터에 문의해둠

 

 

(+추가) 결론

평점을 매긴 것과 리뷰 수는 다름

-> 리뷰 창에서 보이는 것은 전체 리뷰가 아닌 일정 기간 동안의 리뷰

-> 평점만 남긴 후기의 경우 전체 리뷰 수에는 카운팅 되지만, 리뷰 창에서 보이진 않음

 

글로 남긴 리뷰 데이터들 google-play-scraper로 전부 긁어올 수 있음(detail 확인)

 

만약, 구글 플레이스토어 리뷰가 총 100개인데

그 중에 40개가 어떠한 글 없이 평점(별점)만 남겼을 경우에는 60개의 데이터만 크롤링하게 됨

 

 

---

Uipath와 google-play-scraper 성능 비교

KB캐피탈

'KB캐피탈 통합인증' 앱의 경우 총 리뷰 개수가 36개라고 되어 있는데
실제로 리뷰 모두 보기를 통해 직접 개수를 세어본 결과 7개의 리뷰만 뜨는 것을 확인

google-play-scraper을 이용해서 추출한 데이터 개수 역시 7개

 

 

---

 

롯데캐피탈

'롯데캐피탈' 앱의 경우 총 리뷰 개수가 269개로 되어 있으나 google-play-scraper을 이용해서 추출한 데이터는 70개

 

 

Uipath를 통해 리뷰 창에 뜨는 모든 데이터를 세어본 결과 70행이 나옴

 

 

 

✔️ 하나, kb, 롯데캐피탈 모두 Uipath = google-play-scraper 값 동일하게 나옴

 

 

---

 

 

현대캐피탈

'현대캐피탈' 앱의 경우 총 리뷰 개수가 9.6천개가 있으나 리뷰 창에는 몇 개가 뜨는지 직접 세어보지 못 함

Uipath의 데이터 추출 기능으로는 최대 1000행까지만 추출할 수 있어서 활용이 어렵다

 

google-play-scraper을 이용해서 추출한 데이터는 3324개가 나옴

 

 

 

=> 구글 플레이스토어 리뷰를 크롤링할 때에는 google-play-scraper를 사용하는 것이 좋다

(Uipath는 너무 많은 데이터는 한 번에 추출이 어렵고

Selenium은 동적으로 크롤링이 가능하나, 시간이 오래걸린다는 단점이 있음)