Jetson坑巨多。。。
安装jtop
jtop是jetson专用的硬件状态监测工具，最好装一个，比较方便
1
2
3
4
5
| sudo apt install pip
sudo pip3 install -U jetson-stats
sudo ln -sfn /usr/local/share/jetson_stats /usr/share/jetson_stats
sudo jtop --install-service
newgrp jtop
|
安装cuda
1
2
3
| sudo apt-get -y install cuda
sudo apt-get install libcudnn8
sudo apt install libopenblas0
|
EMC频率
jetson的大坑之一：EMC（内存带宽控制器）频率。在LLM推理时（尤其是吃内存带宽多的稠密模型），EMC如果不锁定在最高频率，可能会导致推理速度下降30%左右。
锁定EMC到最高频率（在Jetson agx orin 32g / Jetpack 5测试过）
1
2
3
4
5
6
7
8
9
| sudo sh -c '
set -eu
emc=/sys/kernel/debug/bpmp/debug/clk/emc
max_rate=$(cat "$emc/max_rate")
echo 1 > "$emc/mrq_rate_locked"
echo "$max_rate" > "$emc/rate"
printf "EMC rate=%s Hz, locked=%s\n" \
"$(cat "$emc/rate")" \
"$(cat "$emc/mrq_rate_locked")"
|
解除锁定
1
2
3
4
5
| sudo sh -c '
echo 0 > /sys/kernel/debug/bpmp/debug/clk/emc/mrq_rate_locked
cat /sys/kernel/debug/bpmp/debug/clk/emc/rate
cat /sys/kernel/debug/bpmp/debug/clk/emc/mrq_rate_locked
'
|