딥러닝 경량화1 [인공지능] 딥러닝 모델 경량화 📌 경량화 : 딥러닝 모델 사이즈를 줄이기 모델 경량화는 하드웨어와 연관이 많이 되어있음 딥러닝 모델의 크기는 계속 커지고 있기 때문에 하드웨어에서 잘 동작시키기 위해서 관련 연구가 필요함 📌 Ever Increasing Model Size 모델 크기가 커지는 이유는 정확도 때문 → 모델의 크기가 커질 수록 representation power 가 증가 📌 Downside 모델 크기를 늘려 정확도를 증가시키는 것은 2가지 단점을 불러일으킨다. 연산량 증가 메모리 점유율 증가 : 메모리에 모델 파라미터를 올려서 구동 (저장) → 메모리가 작은 휴대폰, 임데디드 시스템에서는 거대한 AI 를 동작시키기 어려움 메모리 bandwidth 증가 : 메모리로부터 CPU 또는 GPU 로 데이터를 전송해야 하는데, 이때.. 2022. 6. 21. 이전 1 다음 728x90
