<aside> 💡

요약

제한된 환경(On-device 등)에서 실행 가능한 LLM들을 조사하고, 다양한 Evaluation Set을 통해 각 모델의 정확도와 추론 시간을 분석해봄

Investigating LLMs that can run in resource-constrained environments (such as on-device) and analyzed the accuracy and inference time of each model through various evaluation sets

</aside>

팀 링크 : ‣ (외부 비공개)

Tiny LLM

https://github.com/hoonably/TinyLLM

<aside> 💡

시작은 Jetson Nano

However, 버전과 성능이 너무 낮아 비교할 수 있는 모델이 별로 없어서 Orin-nano로 진행

추가로 NVIDIA A100-SXM4-80GB로도 진행해 latency 비교

</aside>

Result

Models

Evaluation Datasets

Environment

Jetson Orin Nano 8GB RAM Link python: 3.10.2 CUDA: (추가 필요)

Evaluation Result