Linux 위에서의 로컬LLM 구동 잠재력

 

linux ollama 환경에서 VULKAN 성숙도가 많이 올라온것 같아서 시험해 봤습니다

R9 390X 8GB 시스템에 ollama 설치후, openCL과 ROCm 없이

sudo systemctl edit ollama ->

 [Service]

Environment="OLLAMA_VULKAN=1" 한줄만 넣어준 상태입니다

FP16등 ML워크로드 전혀 고려안한 구형 GPU에서 LLM(Mistral 7B,양자화됨)이 쓸만한 속도로 돌아가고 있습니다

390X도 이정도인데 RX400~500, RX VEGA 역시 시험해보니 아주 좋더라고요

windows 환경에선 DirectML을 통한 가속이 아직 불편한 점이 많은데 리눅스에서 이렇게 시원시원하게 되니 놀랐습니다.

낡은 PC와 중고시장에 넘쳐나는 RX570 라데온GPU를 이용해, 아치리눅스 텍스트기반으로 설치해서

적당한 로컬LLM머신을 만들수도 있을것 같았습니다

현재는 AMD 브리스톨릿지, 레이븐릿지에 메모리 할당 많이 넣고 ollama 구동 시도중인데 나중에 성공하면 후기 올리겠습니다