python joblib 에러: _pickle.PicklingError: Could not pickle the task to send it to the workers 해결하기

python으로 많은 양의 이미지를 처리하기 위해 위 코드로 병렬 연산을 하려고 했는데, 다음과 같은 에러가 떴습니다. Parallel(n_jobs=8)(delayed(get_disparity)(idx) for idx in z) _pickle.PicklingError: Could not pickle the task to send it to the workers. joblib은 기본적으로 백엔드 모듈을 'locky'로 사용하고 있습니다. 이를 'threads'로 바꾸어줍시다. Parallel(n_jobs=8, prefer='threads')(delayed(get_disparity)(idx) for idx in z) 해결 완료! 자세한 내용은 제가 포스팅했던 이 게시물에 있습니다. python joblib으..

다이어트 시작 - 새해 목표

회사에서 신년 목표로 각자 체지방률 목표를 설정해서 3개월 동안 다이어트하자는 일종의 내기를 했습니다. 각자 10만원씩 걸고 목표를 달성한 사람들끼리 나눠갖는 것이죠. 돈내기는 웬만하면 해서는 안되지만, 챌린저스에 돈을 걸바엔 서로 좋은 일을 하자 이겁니다. 저는 지난 1년 동안 살이 어마어마하게 쪄서 체지방률이 30퍼센트에 육박했습니다. 회사에 헬스 잘하시는 분의 "그건 좀 심하다"라는 말에 내기에 참가하게 되었어요. 결론적으로는 내년 4월 1일까지 체지방을 20퍼센트까지 감소시켜야 합니다. 쉽지 않은 일이지만, 꾸준히 헬스 다니고 샐러드 먹어야겠습니다. 혹시나 성공한다면 그 후기를 공개해야겠습니다. 요즘 너무 추워져서 아침에 헬스장 가기가 너무 귀찮았는데 ㅠㅠ 엄청난 행동력으로 반드시 해내고야 말겠습..

ChatGPT: gpt 모델과 대화해보자

최근에 인공지능 분야에서 핫했던 이슈중 하나가 gpt-4가 곧 공개된다는 것이었죠. gpt-4는 심지어 튜링테스트를 통과하기도 했죠. 튜링테스트는 인간과 얼마나 자유롭게 대화할 수 있는지 검사하는 테스트 입니다. http://www.aitimes.com/news/articleView.html?idxno=148568 내년에 진일보한 대형 언어모델 'GPT-4' 나온다...포브스 전망 - AI타임스 올해 인공지능(AI) 분야의 가장 큰 변화가 \'생성 AI의 비약적인 발전\'이라면 내년에는 한층 진일보한 대형 언어모델 \'GPT-4\'가 등장해 더욱 빠른 변화를 불러 올 것이라는전망이 나왔다.하지만 www.aitimes.com 저는 큰 관심은 없었으나 얼마전에 gpt-3.5와 채팅할 수 있는 사이트를 알게되..

[10분만에 논문 리뷰] Bounding Box를 이용한 Weakly Supervised Polyp Segmentation

2022년 Journal of Imaging에 실린 "Weakly Supervised Polyp Segmentation in Colonoscopy Images Using Deep Neural Networks" 논문입니다. 이전에 리뷰했던 image-level label 데이터를 가지고 한건 아니고, Bounding Box 정도의 weak annotation을 이용해서 그 안에서 segmentation을 진행했습니다. 1. Introduction Introduction에서는 암으로 발전 가능한 대장 용종을 전문의가 찾아내지 못함으로 인한 위험과 사망률 등을 통계 수치로 제시하고 있습니다. 이에 따라 대장내시경 검사의 효율을 높이기 위해서 고화질, NBI (Narrow-band Imaging), 확대 내시경..

2022년 회고

올해 초에 취직에 성공하고, 정말 순식간이었던 한 해였습니다. 스타트업에 취직하고, 자취를 시작하면서 대학생 때는 못 느꼈던 어른의 삶을 보냈습니다. 제가 바라던 업무를 하면서 성장을 많이했고, 앞으로도 잘 성장할 수 있을까란 고민도 많았습니다. 그런 의미에서 이 유튜브 영상이 제게 훨씬 와닿았고요. OpenAI라는 멋진 기업에 들어가고도 고민은 누구나 있다는 걸 알았습니다. 영상에 나온 김태훈 님은 여러모로 정말 존경스러운 것 같습니다. https://youtu.be/mzQDuGeTZhg 또 한편으로는 이 영상을 보며 위로를 받았죠. 제가 자주보는 우왁굳이라는 스트리머가 메타버스 가요제를 열었는데, 그중에 가장 인기가 많았던 곡 중 하나입니다. 저 말고도 직장을 다니는 분들이라면 좋아하실 거 같아요. ..

2022년 투자를 마치며 - 투자 회고와 나만의 투자원칙

투자 회고 제 블로그가 2020년 즈음 개설되었을 때, 가장 인기 있었던 글은 핀트(FINT) 투자 시작했습니다. 그리고 그만뒀습니다. (ETF 투자/후기)였습니다. 당시 투자 붐이 일고 핀트를 사용하려는 사람들이 많았었나 봅니다. 위 글에서 언급했다시피, 지금은 제가 미국 주식 직접투자로 포트폴리오를 운용하고 있습니다. 그동안 경제 이슈를 모니터링하고, 기업 실적을 분석하고, 지수 추종 ETF와 돈 잘 버는 기업의 주식을 꾸준히 모았습니다. 중간에는 잠시 수익률에 미쳐 TQQQ, UPRO를 분할 매수했습니다. 미국이 우상향 한다는 굳건한 믿음이 있었거든요! 지금은 좀 힘들지만... 2021년 말부터 주식시장의 하락세가 시작되었고, 남들이 절망할 때 저는 오히려 값싼 주식을 매수할 기회라고 생각해 꾸준히..

[10분만에 논문 리뷰] Max pooling을 더한 Vision Transformer를 이용한 WSSS

ECCV 2022 (European Conferences on Computer Vision 2022)에서 발표된 Vision Transformer를 이용한 WSSS입니다. 지난번에 다루었던 MCTformer를 넘어서는 성능을 보여 읽어보았습니다. 1. Introduction introduction에서 WSSS 연구의 평가 방법에 대해 설명해주는 것이 좋았습니다. 기본적으로 WSSS 기법을 평가할 때에는, WSSS로 생성한 pseudo-mask를 DeepLab 같은 supervised segmentation network에 학습시킵니다. 이 과정을 "verification task"라고 합니다. pseudo-mask가 얼마나 잘 만들어졌는지 확인하기 위한 작업입니다. 이 논문에서도 역시 CNN + CAM ..

컴퓨터 비전 분야 논문 & 연구 검색하기

비전 분야 업무를 하다 보니 자연스럽게 논문을 많이 읽게 되어서, 최신 CV 논문을 어떻게 찾는지 정리해보겠습니다. 크게 세 가지 사이트에서 찾아보는데, 굳이 컴퓨터 비전 분야가 아니더라도 2,3번은 충분히 활용할 수 있습니다. 1. CVF open access https://openaccess.thecvf.com/menu CVF Open Access It is the policy of the Computer Vision Foundation to maintain PDF copies of conference papers as submitted during the camera-ready paper collection. These papers are considered the final published ve..

[10분만에 논문 리뷰] CVPR2022: Multi-class Token Transformer를 이용한 Weakly Supervised Semantic Segmentation

CVPR2022에서 발표된 WSSS 논문입니다. 특별한 점은 Transformer의 Attention map을 이용해 기존의 CAM 기법과 유사하면서도 높은 성능을 내는 모델을 개발한 점입니다. 특히나 Multi-class token을 이용해 한 이미지에서 여러 class를 분할할 수 있다고 합니다. 1. Introduction 이전에도 언급했듯이, WSSS의 가장 중요한 단계는 더 정확한 pseudo segmentation ground-truth를 생성해내는 것입니다. 이를 해내기 위해 CAM 기반의 기법이 유행을 했고 다양한 확장 기법과 학습 기법이 연구되었지만, 완벽한 segmentation을 하기에는 한계가 있었습니다. 그러나 NLP 분야에서 핫하던 Transformer를 이용한 ViT(Visio..

Ubuntu rm: descend into write-protected directory 'X', 파일 권한 코드를 알아보자

우분투(리눅스)에서 rm 명령어를 통해 뭔가 삭제할 때, 다음 메시지가 뜰 때가 있습니다. 개인 컴퓨터보다는 주로 서버에서 공동작업을 할때 자주 마주 하실 겁니다. rm: descend into write-protected file/directory '파일명 or 폴더명'? 돌려 말하자면 "쓰기 금지된 파일(or 폴더)인데 괜찮냐?"라는 의미입니다. 이는 누군가가 해당 파일에 쓰기(write) 권한을 주지 않았기 때문입니다. 디렉터리의 권한을 확인해봅시다. 리눅스의 권한 코드는 drwxrwxrwx 총 10자리입니다. 이는 다음과 같이 끊어서 읽어야 합니다. d / rwx / rwx / rwx d: 해당 object가 디렉터리(폴더)인지 나타내 줍니다. 첫 번째 rwx: 해당 파일의 소유자의 권한 (위 그..