노트북에서 로컬 코딩 보조 도구를 구동할 때, 개발자는 단일 모델 파일을 다운로드하며 로컬 추론은 모든 요청의 에너지를 해당 기기에 집중시킵니다. 일반적으로 정밀도를 낮춘 대형 모델이 정밀도를 높인 소형 모델보다 우수하다는 규칙이 통용되어 왔습니다. 연구팀은 팬리스 맥북 에어 M2 환경에서 4가지 크기의 Qwen2.5-Coder GGUF 파일 24개를 테스트하고 542개의 EvalPlus 과제에서 해결 과제당 에너지 비용을 산출했습니다.
1GB 및 2GB 용량 구간에서는 1.5B와 3B 모델의 q4_K_M 파일이 모든 회계 기준에서 정확도와 에너지 효율의 최전선에 위치합니다. 반면 3GB 용량으로 제한할 경우 대형 모델 규칙에 따라 유일하게 적합한 7B-q2_K 파일이 선택되지만 그 대가는 큽니다. 이 파일은 2GB 용량의 3B-q4_K_M 대비 정답률에서 유의미한 이득을 주지 못하며, 90% 신뢰 구간에서 3B-q4_K_M의 열세는 2.4 포인트 이내로 제한됩니다.
그러나 7B-q2_K 파일은 CPU, GPU, 메모리 레일 기준에서 해결 과제당 2.03배의 에너지를 요구하며, 시스템 전체 전력 기준으로는 1.66배에서 1.81배의 에너지를 소모합니다. HumanEval+ 테스트의 5개 교대 세션 쌍에서도 메인 그리드와 유사한 1.925 대 1.956의 비율을 보였습니다. 8GB 용량에서는 7B-q6_K 파일이 더 높은 에너지 비용을 지불하는 대신 2GB 선택지 대비 유의미한 성능 향상을 확보합니다.
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.