[Python] Raspberry Pi에서 selenium 설치 방법

웹 크롤링 혹은 동적인 웹 상의 자동화를 구현하기 위해서 selenium 라이브러리를 주로 사용하는데 라즈베리파이에서 사용하기 위해서는 아래 순서대로 관련 패키지를 설치해 주면 됩니다. 1. Python 최신 버전 사용을 위해 CondaForge 설치 이전 글 참조: https://hiperzstudio.tistory.com/87 [Raspberry Pi 4B] Anaconda(MiniForge3) 설치하기 오랜만에 잠자고 있던 라즈베리파이를 켜보니 BerryConda 가 설치되어 있고 Python 3.7 이상 버전을 사용하지 못하는 상태인걸 확인... 구글링 해 본 결과 MiniForge라는 Github repository가 있는걸 알게됨. Gi hiperzstudio.tistory.com 2. Sel..

• format_list_bulleted Development/Python
• · 2023. 12. 3.
• textsms

[Raspberry Pi 4B] Anaconda(MiniForge3) 설치하기

오랜만에 잠자고 있던 라즈베리파이를 켜보니 BerryConda 가 설치되어 있고 Python 3.7 이상 버전을 사용하지 못하는 상태인걸 확인... 구글링 해 본 결과 MiniForge라는 Github repository가 있는걸 알게됨. GitHub: https://github.com/conda-forge/miniforge 이곳에 가면 Miniforge3-Linux-aarch64 다운로드 링크가 있습니다. 우선 이 파일을 다운로드 받기 전에 라즈베리파이 OS가 64비트 버전인지 확인합니다. aarch64가 보이면 64비트 OS가 맞으니 아래 커맨드로 설치 파일을 다운로드 받습니다. wget https://github.com/conda-forge/miniforge/releases/latest/downlo..

• format_list_bulleted Development/Python
• · 2023. 12. 2.
• textsms

GPU를 사용해서 PrivateGPT를 좀 더 빠르게 만드는 방법

CPU로 연산시 query에 대한 답변을 받는데 거의 2분 가까이 시간이 소요되기 때문에 너무 느리다는 느낌이 있습니다. 그래서 GPU를 사용해서 PrivateGPT를 실행하는 방법에 대해 알아봅니다. GGML V3 모델 파일을 다운받아서 models 폴더 안에 복사합니다. 링크: https://huggingface.co/TheBloke/Manticore-13B-GGML/resolve/main/Manticore-13B.ggmlv3.q8_0.bin 아래 커맨드로 CUDA toolkit 11.8 과 cuDNN 8.9.1 버전을 설치합니다. conda install cuda -c nvidia/label/cuda-11.8.0 conda install cudnn -c nvidia/label/cudnn-8.9.1 ..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms

나만의 사설 ChatGPT 구축 해주는 PrivateGPT 설치 방법

요즘 ChatGPT로 인해 LLMs 에 대한 관심이 아주 뜨겁습니다. 저도 업무중에 빠르게 검색할 정보가 있으면 ChatGPT를 자주 활용하는 편인데요. 회사 입장에서는 민감한 정보가 외부로 유출되는 것이 꺼려지는데 PrivateGPT를 사용하면 특정 domain의 text 정보를 사용해서 사설 chatGPT를 구축할 수 있습니다. 설치 방법이 아주 간단하고 git repository에 이미 설명이 자세히 되어있지만 혹시나 영어때문에 어려워 하시는 분이 있을까봐 블로그에 따로 설명을 남깁니다. ※. 아나콘다에서 가상환경 생성 후 설치하는것을 추천합니다. 우선 GitHub에서 소스코드를 내려받습니다. https://github.com/imartinez/privateGPT GitHub - imartinez/..

• format_list_bulleted Development/Python
• · 2023. 7. 15.
• textsms

[Pandas] Dataframe의 각 셀에 대한 연산을 벡터화(Vectorization)로 빠르게 처리하기

예를 들어 아래와 같은 DataFrame이 있고, 각 컬럼의 min, max를 계산해서 해당 셀의 값이 컬럼별 min, max의 10% 내에 해당하는 값이면 해당 셀의 값을 1로 바꾸고 아니면 0으로 바꾸는 코드를 생각 해 보면, 일반적으로 이중 루프문을 사용해서 DataFrame의 각 셀들을 순회하면서 해당 로직을 적용하는 코드를 쉽게 상상할 수 있습니다. data = {'A': [1, 2, 3], 'B': [4, 5, 6]} df = pd.DataFrame(data) min = df.min() max = df.max() mean = df.mean() # 이중 루프를 사용해서 개별 cell에 접근하는 방법 for index, row in df.iterrows(): for col in df.columns..

• format_list_bulleted Development/Python
• · 2023. 6. 16.
• textsms

[Python] 미니콘다(아나콘다) 가상환경 생성시 오류 CondaHTTPError: HTTP 000 CONNECTION FAILED for url

근래에 Python을 쓸 일이 잘 없어서 오래 방치해뒀었는데, 오랜만에 Stable Diffusion 한 번 돌려볼려고 가상환경 생성 명령어를 입력했더니 희안한 오류가 뜬다... Github에 들어가보니 솔루션이 존재한다. 링크: https://github.com/conda/conda/issues/9746 CondaHTTPError: HTTP 000 CONNECTION FAILED for url Elapsed: - Hello i am facing this issue since few day. I read few posts and tried to workaround but nothing seems to work. Can someone please help me fix this. I am unable to ..

• format_list_bulleted Development/Python
• · 2023. 2. 19.
• textsms