A12-9800E+linux 에서 LLM 구동하기

 

A12-9800E 에서도 Ollama vulkan 으로 LLM 구동이 가능해졌습니다
이전엔 내장그래픽 버퍼가 작으면 cpu fallback 되었지만, 업데이트후 알아서 시스템메모리를 잘 활용하고 있습니다.

극단적으로는 카베리 A10+DDR3 환경에서도 구동은 가능할것 같습니다.

메모리 64GB로 확장하고 32B모델 올려놔서 저속 LLM용으로 쓰거나, 이미지생성기로 사용하기도 좋아보입니다.

프로세서의 한계로 성능이 좋진 않지만 RYZEN 3400G, 5700G 등으로 교체하면 좀더 빨라질것 같고

별도로 레이어를 분리해서 CPU의 AVX2를 동시에 활용하는 테크닉도 가능해지지않을까 싶습니다.

 

보급률이 아주 높은 인텔 HD530~UHD630 그래픽도 쓸수 있으면 좋겠는데 아직 테스트해보진 못했습니다.

근래처럼 메모리값이 비싼 시기에 리눅스 환경으로 낡은 프로세서에 새로운 용도를 찾아줄수 있어서 기쁘고

ollama 팀에도 감사를 전하고 싶습니다.