GPU를 사용해서 PrivateGPT를 좀 더 빠르게 만드는 방법

CPU로 연산시 query에 대한 답변을 받는데 거의 2분 가까이 시간이 소요되기 때문에 너무 느리다는 느낌이 있습니다. 그래서 GPU를 사용해서 PrivateGPT를 실행하는 방법에 대해 알아봅니다. GGML V3 모델 파일을 다운받아서 models 폴더 안에 복사합니다. 링크: https://huggingface.co/TheBloke/Manticore-13B-GGML/resolve/main/Manticore-13B.ggmlv3.q8_0.bin 아래 커맨드로 CUDA toolkit 11.8 과 cuDNN 8.9.1 버전을 설치합니다. conda install cuda -c nvidia/label/cuda-11.8.0 conda install cudnn -c nvidia/label/cudnn-8.9.1 ..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms

나만의 사설 ChatGPT 구축 해주는 PrivateGPT 설치 방법

요즘 ChatGPT로 인해 LLMs 에 대한 관심이 아주 뜨겁습니다. 저도 업무중에 빠르게 검색할 정보가 있으면 ChatGPT를 자주 활용하는 편인데요. 회사 입장에서는 민감한 정보가 외부로 유출되는 것이 꺼려지는데 PrivateGPT를 사용하면 특정 domain의 text 정보를 사용해서 사설 chatGPT를 구축할 수 있습니다. 설치 방법이 아주 간단하고 git repository에 이미 설명이 자세히 되어있지만 혹시나 영어때문에 어려워 하시는 분이 있을까봐 블로그에 따로 설명을 남깁니다. ※. 아나콘다에서 가상환경 생성 후 설치하는것을 추천합니다. 우선 GitHub에서 소스코드를 내려받습니다. https://github.com/imartinez/privateGPT GitHub - imartinez/..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms