넥스트 디바이스의 신경 네트워크는 적절한 자원의주의를 기울여야 합니다. 비용 이해는 성능과 에너지 효율을 위한 모델을 최적화하는 데 도움이 됩니다. 이 문서는 가장자리 하드웨어에 신경망을 배치하는 데 관련된 계산 비용을 계산하는 방법을 탐구합니다.

Factors Influencing 경쟁 비용

주요 요인에는 신경 네트워크, 작업의 수 및 하드웨어 기능의 크기를 포함합니다. 더 많은 모수 수요 더 높은 계산 전력을 가진 더 큰 모형은, 대기권과 에너지 소비에 충격을 줄 수 있습니다.

Computational 가동 측정

가장 일반적인 메트릭은 부동점 가동 (FLOPs)의 수입니다. FLOPs는 방해에 필요한 계산의 총 수를 정량화합니다. FLOPs를 견적하려면:

  • 각 층의 다중화 및 추가를 계산합니다.
  • 모든 층의 이 수를 요약합니다.
  • 하드웨어 별 efficiencies를 위해 조정하십시오.

에너지 소비를 Estimating

에너지 소비는 하드웨어 및 구현 효율에 따라 다릅니다. 전력 프로파일링 및 벤치 마크와 같은 도구는 실제 데이터를 제공 할 수 있습니다. 하드웨어 효율성 미터와 FLOP를 결합하면 에너지 비용의 더 나은 견적을 제공합니다.

최적화 전략

계산 비용을 절감하는 것은 모델의 Pruning, quantization 및 효율적인 아키텍처를 사용하여 기술이 포함되어 있습니다. 이러한 방법은 작업의 수를 줄이고 가장자리 장치에 인스테이션 속도를 향상 시킨다.