저는 코딩할 때 웬만하면 tqdm 패키지로 진척도를 확인합니다. 그래야 마음이 편하거든요.😁 dataframe을 다루다 보면 전처리를 할 때 시간이 오래 걸리는 경우가 있습니다. 저는 apply 메소드를 자주 쓰는 편인데 그때마다 진척도가 보이지 않아 한없이 기다려야 했죠. 그러다 언젠가 해결방법을 찾았습니다. 사용법도 너무 쉬워서 앞으로는 자주 쓰게 될 것 같아요.
바로 tqdm을 이용해 apply의 progress bar가 보이게 설정할 수 있었습니다!
우선 필요한 패키지를 import 합니다.
import pandas as pd
from tqdm import tqdm
tqdm.pandas() # tqdm의 pandas전용 메소드를 호출합니다.
저는 제가 가지고 있는 뉴스 데이터를 활용해보겠습니다.
간단하게 뉴스 본문을 띄어쓰기로 구분해 몇개의 덩어리가 생기는지 count column을 만들어보겠습니다. 그냥 apply()를 사용하면 다음과 같습니다.
진척도를 보기 위해선 apply()대신 progress_apply()를 사용합니다.
progress_apply()를 사용하면 tqdm을 사용했을 때 처럼 진척도가 실시간으로 보입니다!
pandas apply를 쓸때 진척도가 안 보여 답답하셨던 분들께 유용했으면 좋겠습니다 :)
'Data Science' 카테고리의 다른 글
| Attibution Method에 대하여 (4) | 2022.12.28 |
|---|---|
| python natsort로 파일을 "이름 순으로" 정렬해보자 (1) | 2022.04.25 |
| python split-folders로 이미지 데이터 분리하기 (train/val/test) (0) | 2022.03.24 |
| TPOT을 이용한 머신러닝 자동화 (AutoML with python), 파라미터 튜닝까지 (0) | 2021.12.15 |
| python numpy - argsort() 정렬 전 인덱스 활용하기 (0) | 2021.01.08 |
