TNN (2) 썸네일형 리스트형 TOPST-D3-G 보드 사용기 - TNN을 활용한 OpenPilot 신경망 벤치마크 TOPST-D3-G GPU(OpenCL) 기반 OpenPilot F2/F3 신경망 벤치마크TOPST-D3-G 보드에 Openpilot을 포팅하던 중 ONNX cpu로 동작시키는 runtime의 시간이 너무 느려서 tnn 기반으로 Openpilot 신경망을 포팅하고, OpenCL을 활용하여 OpenPilot의 F2/F3 신경망을 실행하여 그 성능을 ARM 연산과 비교해보았습니다.TNN 프레임워크를 사용하여 supercombo.tnnproto 모델을 각각의 환경에서 벤치마크하였습니다.테스트 개요디바이스: TOPST-D3-G프레임워크: TNN (Tencent ncnn 기반 inference engine)테스트 신경망: supercombo.tnnproto측정 도구: TNN Benchmark 기능벤치마크 결과?.. TOPST-D3-G 보드 사용기 - GPU(OpenCL)을 사용한 모델 추론 TOPST-D3-G 보드에서 GPU(OpenCL)를 활용한 TNN 실행 및 성능 측정1. TNN이란?TNN(Tencent Neural Network)은 Tencent에서 개발한 lightweight 고성능 inference 프레임워크입니다. 모바일 및 edge 디바이스에서의 딥러닝 모델 추론에 최적화되어 있으며, CPU, GPU(OpenCL), ARM(NEON함께 사용), Vulkan, Metal 등 다양한 백엔드를 지원합니다. TOPST-D3-G 보드는 GPU(OpenCL) 환경을 제공하므로, TNN의 GPU backend를 활용하여 모델 추론 성능을 향상시킬 수 있습니다.2. TNN 설치를 위한 요구사항OS: Ubuntu 22.04 (TOPST-D3-G에서 제공하는 Weston 기반 이미지 사용)필수.. 이전 1 다음
