파이썬/2021-11-/마드리드/ tf-gpu 설정 (아나콘다 경로 주의 !!)

PC 사양이 중요하다. 다음 명령어로 시작 전 체크해야 한다.

 

 

우선 가장 명심할 것은 아나콘다 설치 시 All Users 이다.

아래에서도 강조하지만 Tensor-GPU (cuDNN) 을 하지 않을 시에는 상관없다. 하지만 CUDA 를 할 계획이라면 아래와 같이 설정하기를 강력 권고한다.

 

 

 

 

 

쿠다버전 11.5 를 설치한다.

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local 

 

 

 

 

 

 

 

 

https://developer.nvidia.com/rdp/cudnn-archive

cuDNN Archive

 

 

 

환경변수 설정에 가서 아래와 같이 설정이 자동으로 되어 있는지를 체크한다.

 

 

 

cudnn  아카이브 압축해제 폴더에서  bin, include, lib  폴더만 CUDA 폴더 (환경변수에 등록된 폴더)로 카피해서 붙여넣는다. -> 이것이 작업되지 않으면 설치가 되었어도 tensorflow-gpu 를 인식하지 못하는 오류가 발생한다. (2022-06-29 멜버른. GAN 수업 직전 발생)

 

 

 

https://www.tensorflow.org/install/pip?hl=ko 

 

 

☛ 잠깐스톱 : 여기에서부터 텐서설치방법을 주의해야 한다.

일반 주피터나 로컬에 설치하는 것은 다음과 같이 해도 된다. 많은 블로그나 텐서 홈페이지에는 이 방식으로 적혀 있다.

하지만 장고(Django Restful Framework) 에 설정할 때는 절대 이렇게 하면 안된다. 이렇게 한 후 다시 장고에서 요구하는 추가 설정을 하면 충돌이 일어나서 기존 설정도 깨지게 된다. 실패했음에도 아래 경우를 캡쳐해서 두는 것은 이 방식이 틀렸다는 것이 아니라 아래 부분처럼 파이참 + 장고에서 실행하는 과정에서 에러가 발생하는 점을 상기 시키기 위해서다.

 

중요 !! 파이참에서 다음 경로에서 이 PC 에 설치 가능한 tensor-gpu 최대 버전을 체크해야 한다.

만약 이 버전을 체크하지 않고

pip install --user tensorflow-gpu==2.4.0 으로 시도한다면 CPU 로 작동하게 될 것이다.

즉 버전은 아래 이미지처럼 자신의 디바이스가 지원하는 최대 버전으로 설정해야 한다.아래 이미지를 보면 2.4 를 지원하지 않는다. 많은 블로그들이 2.4.1 을 설치하라고 하는데 이게 되지 않는 이유는 자신의 디바이스에 맞지 않았기 때문이다. 그래서 반드시 아래처럼 자신의 파이참과 디바이스 버전을 체크할 것을 강력하게 권고한다.

 

pip install --user tensorflow-gpu==2.5.0 로 실행한다.

아래 이미지는 2.2.0 이지만 pip install --user tensorflow-gpu==2.5.0 로 실행한다.

이유는 윗부분에 적색글씨로 설명하였으니 생략한다.

 

중간과정은 캡쳐를 생략한다. 하지만 보통 관련 글을 구글링하면 다음과 같은 스텝으로 안내한다.

 

 

 

설정 성공 여부를 위해 주피터에서 다음 코드로 테스트 한다.

 

https://github.com/parkjungkwan/melbourne-jupyter/blob/main/tf_gpu_test.ipynb

GitHub - parkjungkwan/melbourne-jupyter

 

 

 

 GPU is  NOT AVAILABLE 가 출력되면 다음 단계로 넘어가면 안된다.  (2022-06-29 멜버른. GAN 수업)

 

# 아래와 같은 에러메시지가 상당히 긴 줄에서 보이는 경우가 있다. 케바케이다..

 

파이참 콘솔에서 보이는 에러메시지는 상당히 길고 크리티컬한 에러를 남기고 있다. 

 

 

 

conda env list 를 해보면 해당 PC 에서 만들어진 모든 가상환경이 출력된다.

다음에서 보면 madr-dj-cuda 가 로컬에서 실행하다 에러가 난 환경이다.

그래서 추가로  mdr-dj-ai 라는 가상환경을 새로 만들었다.

이때는

☛ 잠깐스톱 :  부분으로 다시 가서 새로 가상환경을 작성하여  시도할 것을 제안한다. 단 설치 시 아래 회색글씨 내용이 원인일 가능성이 대부분일 것이다.

그래서 가상환경을 다시 만들되 아래 회색부분을 읽고 그에 대응하여 새로 생성하기를 권한다.

이 조치를 취한 후 다시 하면 문제가 해결될 것이다.

당연한 이야기지만 가상환경 네임은 전혀 상관이 없다.

그냥 새로 만들었을 뿐이다. 이것이 가상 개발환경을 만드는 가장 큰 장점이다. 

 

여기서 다른 학습자가 동일하게 작업을 했음에도 에러가 발생하는 경우를 체크하였다.

그래서 원인을 찾던 중 가상환경 위치가 나와 다름을 보고 원인 중 하나라고 생각하게 된다.

 

다만, 가상환경 경로를 위 처럼 하지 않고 아래처럼 나오도록 하는 것을 권한다.

차이점은 위에는 콘다 설정파일에 가상환경을 작성하였고, 아래는 로컬 가상환경 폴더에 생성한 것이다.

다시 한번 강조하지만, cuDNN 설정이 아니라면 위 경로나 아래 경로나 상관없다. 다만 에러가 나는 리스크를 제거하는 것이고, 위 상태로 해도 cuDNN  이 잘 작동한다면, 그대로 사용하면 될 것이다. 이 부분은 개인적인 경험에서 성공사례 중 하나를 기록한 것임을 상기시킨다.

 

가상환경 경로는 최초 디폴트값인 base 와 같은 경로가 되도록 하는 것이 핵심이다.

 

# 가상환경 경로 관련해서 에러가 발생하는 경우가 있어서 추가한다. 이미지 출처

 

 

 장고에 설정하는 것은 다음과 같이 한다.

 

파이참을 통해 장고를 실행할 때 시작 포인트가 (base) PS ... 이 아니라 PS .... 으로 시작되는 경우가 있다.

이때는 로컬 터미널에서 conda init powershell 이라고 명령어를 실행 후 다시 파이참을 열면 아래와 같이 기본 (base) 로 열리게 된다.

 

 

 

 

아래 표시된 코드가 나오면 GPU 프로그래밍을 한 것으로 설정이 완성된다.

 

 마지막 과정에서도 결과는 나왔지만 위 표시한 것처럼 NVIDA GeForce 부분이 보이지 않으면, GPU 가 돌린것이 아니라

CPU 가 돌린것이다. 그 경우는 설치가 실패한 것이다. 지금은 GPU 세팅이기 때문이다.

현재 가상환경을 그냥 두고(지우는 과정에서 설정 꼬임이 발생할 가능성이 있음) 새로 만들어서 다시금 위에서부터 시작하기를 바란다. 

 

이후 성공하면 파이참으로 가서 다음 이미지처럼 삭제하면 아주 클리어하게 정리할 수 있다.