NVIDIA Jetson

本文记录 NVIDIA 端侧设备相关的开发和部署问题。NVIDIA 端侧设备以 Jetson 等 ARM 设备为主，因为芯片架构和统一内存的原因，和普通的 x86 设备有所不同。

在Jetson设备上安装CUDA不可用

由于Jetson采用arm架构以及定制化的GPU驱动，所以需要安装nvidia官方提供的特定jetson版本预编译的软件包。参考文献【1】 对应下载路径为：https://pypi.jetson-ai-lab.io/ 官方下载路径：https://developer.nvidia.com/embedded/downloads#?search=torch

安装出现numpy版本依赖报错

一般是由于numpy版本过高导致，执行 pip install "numpy<2.0" 即可解决。

在jetson上的核心依赖项

sudo apt install -y python3-pip libopenblas-base libopenmpi-dev libjpeg-dev zlib1g-dev

spark上安装torch报错

在后面加上参数就行

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

虚拟环境中使用不了tensorRT

解决：tensorRT不能被虚拟环境pytorch定位使用，所以需要软链接一下。

sudo ln -s /usr/lib/python3.10/dist-packages/tensorrt* /workspace/miniconda3/envs/py310/lib/python3.10/site-packages/

arm设备正常安装onnxruntime

通过以下链接寻找合适的预编译包（好像是只针对jetson的）：https://elinux.org/Jetson_Zoo#ONNX_Runtime