GPU를 사용해서 PrivateGPT를 좀 더 빠르게 만드는 방법

CPU로 연산시 query에 대한 답변을 받는데 거의 2분 가까이 시간이 소요되기 때문에 너무 느리다는 느낌이 있습니다. 그래서 GPU를 사용해서 PrivateGPT를 실행하는 방법에 대해 알아봅니다. GGML V3 모델 파일을 다운받아서 models 폴더 안에 복사합니다. 링크: https://huggingface.co/TheBloke/Manticore-13B-GGML/resolve/main/Manticore-13B.ggmlv3.q8_0.bin 아래 커맨드로 CUDA toolkit 11.8 과 cuDNN 8.9.1 버전을 설치합니다. conda install cuda -c nvidia/label/cuda-11.8.0 conda install cudnn -c nvidia/label/cudnn-8.9.1 ..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms

나만의 사설 ChatGPT 구축 해주는 PrivateGPT 설치 방법

요즘 ChatGPT로 인해 LLMs 에 대한 관심이 아주 뜨겁습니다. 저도 업무중에 빠르게 검색할 정보가 있으면 ChatGPT를 자주 활용하는 편인데요. 회사 입장에서는 민감한 정보가 외부로 유출되는 것이 꺼려지는데 PrivateGPT를 사용하면 특정 domain의 text 정보를 사용해서 사설 chatGPT를 구축할 수 있습니다. 설치 방법이 아주 간단하고 git repository에 이미 설명이 자세히 되어있지만 혹시나 영어때문에 어려워 하시는 분이 있을까봐 블로그에 따로 설명을 남깁니다. ※. 아나콘다에서 가상환경 생성 후 설치하는것을 추천합니다. 우선 GitHub에서 소스코드를 내려받습니다. https://github.com/imartinez/privateGPT GitHub - imartinez/..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms

[Windows] 긴 파일 경로명 때문에 파일 복사 실패시 해결방법

최근에 프로젝트 폴더 경로가 길어서 윈도우 설치시 마다 겪은 문제인데, 윈도우 레지스트리에서 LongPathsEnabled를 활성화 시켜주면 됩니다. Registry 경로 : Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem

• format_list_bulleted Development/Windows
• · 2023. 6. 29.
• textsms

[Windows] 특정 port가 시스템에 예약되어 있어서 사용 불가능 한 경우 해결방법

서버 프로그램을 동작 시키기 위해 특정 TCP 포트를 열려고 할 때 이미 사용중인 포트라는 오류가 뜨면 일반적으로 netstat를 사용하거나 마소에서 제공하는 TCPView(https://learn.microsoft.com/en-us/sysinternals/downloads/tcpview) 등을 사용해서 해당 포트를 점유중인 프로세스를 찾아 종료시키면 해결이 되지만 실제로 해당 포트가 사용되고 있는 않는데도 포트를 열 수 없다고 오류가 뜨는 경우가 있습니다. 이럴 때는 시스템에서 사용자가 쓰지 못하도록 특정 포트 번호 영역을 점유해두어서 그렇습니다. 확인 방법은 관리자 권한으로 터미널 창을 하나 열어서 아래 커맨드를 입력합니다. netsh interface ipv4 show excludedportrang..

• format_list_bulleted Development/Windows
• · 2023. 6. 28.
• textsms

[Pandas] Dataframe의 각 셀에 대한 연산을 벡터화(Vectorization)로 빠르게 처리하기

예를 들어 아래와 같은 DataFrame이 있고, 각 컬럼의 min, max를 계산해서 해당 셀의 값이 컬럼별 min, max의 10% 내에 해당하는 값이면 해당 셀의 값을 1로 바꾸고 아니면 0으로 바꾸는 코드를 생각 해 보면, 일반적으로 이중 루프문을 사용해서 DataFrame의 각 셀들을 순회하면서 해당 로직을 적용하는 코드를 쉽게 상상할 수 있습니다. data = {'A': [1, 2, 3], 'B': [4, 5, 6]} df = pd.DataFrame(data) min = df.min() max = df.max() mean = df.mean() # 이중 루프를 사용해서 개별 cell에 접근하는 방법 for index, row in df.iterrows(): for col in df.columns..

• format_list_bulleted Development/Python
• · 2023. 6. 16.
• textsms

[Flutter] Error: Cannot run with sound null safety, ...

카카오맵을 사용 하려고 하니 앱 실행시에 "Cannot run with sound null safety..." 오류가 나서 빌드가 실패한다면, VSCode 에서 File -> Preferences -> Settings 혹은 단축키(Ctrl + ,)를 눌러 flutter 설정 화면으로 가서 "Dart: Flutter Run Additional Args" 항목에 "--no-sound-null-safety" 실행 옵션을 추가해주면 됩니다.  =============================================2025년 1월 6일 Update 현재 stable 버전 3.28에서는 --no-sound-null-safety 때문에 동일한 오류가 발생하는데 해당 옵션을 제거하면 정상적으로 빌드가 됩니다...

• format_list_bulleted Development/Flutter
• · 2023. 5. 20.
• textsms