python으로 많은 양의 이미지를 처리하기 위해 위 코드로 병렬 연산을 하려고 했는데, 다음과 같은 에러가 떴습니다.
Parallel(n_jobs=8)(delayed(get_disparity)(idx) for idx in z)_pickle.PicklingError: Could not pickle the task to send it to the workers.
joblib은 기본적으로 백엔드 모듈을 'locky'로 사용하고 있습니다. 이를 'threads'로 바꾸어줍시다.
Parallel(n_jobs=8, prefer='threads')(delayed(get_disparity)(idx) for idx in z)해결 완료!
자세한 내용은 제가 포스팅했던 이 게시물에 있습니다.
python joblib으로 병렬 프로그래밍을 해보자
효율적인 프로그래밍을 위해 병렬 프로그래밍을 하곤 합니다. 특히 대용량의 데이터을 처리할 때 필수적이죠. joblib은 파이썬 프로그래밍에서 병렬처리를 가능하게 만들어줍니다. 파이썬에는
lovedh.tistory.com
