Welcome to Firefly
中文
Firefly文档中心
最近更新: 2026-11-20 11:00:39

软件使用指南

提示

本页汇总 EC-A1684XJD4 的软件使用内容:Sophon SDK 开发、内存管理、远程桌面与 Qt 开发。不同机型支持的功能不同,具体请以实际机型的 SDK 或固件为准。

Sophon SDK 开发

Sophon SDK

Sophon SDK是算能科技基于其自主研发的 AI 芯片所定制的深度学习 SDK,涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力,为深度学习应用开发和部署提供易用、高效的全栈式解决方案。

Sophon SDK既兼容第三代BM1684芯片,也支持第四代BM1684X芯片。

Sophon SDK 包组成

Sophon SDK 包括基础工具包与高阶工具包。

基础工具包

包括:

  • tpu-nntc 负责对第三方深度学习框架下训练得到的神经网络模型进行离线编译和优化,生成最终运行时需要的BModel。目前支持Caffe、Darknet、MXNet、ONNX、PyTorch、PaddlePaddle、TensorFlow等。
  • libsophon 提供BMCV、BMRuntime、BMLib等库,用来驱动VPP、TPU等硬件,完成图像处理、张量运算、模型推理等操作,供用户进行深度学习应用开发。
  • sophon-mw 封装了BM-OpenCV、BM-FFmpeg等库,用来驱动VPU、JPU等硬件,支持RTSP流、GB28181流的解析,视频图像编解码加速等,供用户进行深度学习应用开发。
  • sophon-sail 提供了支持Python/C++的高级接口,是对BMRuntime、BMCV、BMDecoder、BMLib等底层库接口的封装,供用户进行深度学习应用开发。
高阶工具包

包括:

  • tpu-mlir 为TPU编译器工程提供一套完整的工具链,可以将不同框架下预训练的神经网络,转化为可以在算能TPU上高效运行的二进制文件BModel。目前直接支持的框架包括tflite、onnx和Caffe。
  • tpu-perf 为模型性能和精度验证提供了一套完整工具包。
  • tpu-kernel 是芯片底层开发接口,既可以调用专用指令实现深度学习业务逻辑的加速,又可以调用通用指令实现客制的各种算法加速。

Sophon SDK 目录

Sophon SDK 提供了十一个文件夹模块,具体如下表所示:

文件夹名备注
libsophon支持sophon设备硬件加速的图像处理、张量运算、模型推理等库
sophon-mw支持sophon设备硬件加速的多媒体库
tpu-kernel底层开发接口
tpu-nntcTPU编译器工具链
tpu-mlirTPU编译器工具链
tpu-perf模型性能和精度验证工具包
sophon-pipeline基于pipeline的高性能推理框架
sophon-imgSoC模式安装包
sophon-demo针对单模型或者场景的综合例程
sophon-sail对底层接口进行C++/Python API封装的接口库
sophon-rpc在PCIe卡产品上将一些计算任务offload到卡上的ARM CPU 上进行

注:sophon-sail 的安装包可从下载中心获取。

Sophon SDK 解压后的目录

解压后的 SDK 文件结构如下:

SophonSDK

├── libsophon_<date>_<hash>
│   ├── BMCV_Technical_Reference_Manual.pdf
│   ├── BMCV开发参考手册.pdf
│   ├── BMLib_Technical_Reference_Manual.pdf
│   ├── BMLIB开发参考手册.pdf
│   ├── BMRuntime Technical Reference Manual.pdf
│   ├── BMRUNTIME开发参考手册.pdf
│   ├── libsophon_<x.y.z>_aarch64.tar.gz                           #arm64机器,其他LINUX系统对应的libsophon安装包
│   ├── libsophon_<x.y.z>_x86_64.tar.gz                            #x86_64机器,其他LINUX系统对应的libsophon安装包
│   ├── libsophon_dockerfile
│   ├── libsophon.MD5
│   ├── LIBSOPHON_User_Guide.pdf
│   ├── LIBSOPHON使用手册.pdf
│   ├── release_version.txt
│   ├── sophon-driver_<x.y.z>_amd64.deb                            #x86_64机器,Debian/Ubuntu系统对应的PCIe卡驱动安装文件
│   ├── sophon-driver_<x.y.z>_arm64.deb                            #arm64机器,Debian/Ubuntu系统对应的PCIe卡驱动安装文件
│   ├── sophon-libsophon_<x.y.z>_amd64.deb                         #x86_64机器,Debian/Ubuntu系统对应的libsophon运行时环境安装文件
│   ├── sophon-libsophon_<x.y.z>_arm64.deb                         #arm64机器,Debian/Ubuntu系统对应的libsophon运行时环境安装文件
│   ├── sophon-libsophon-dev_<x.y.z>_amd64.deb                     #x86_64机器,Debian/Ubuntu系统对应的libsophon开发环境安装文件
│   └── sophon-libsophon-dev_<x.y.z>_arm64.deb                     #arm64机器,Debian/Ubuntu系统对应的libsophon开发环境安装文件
├── sophon-demo_<date>_<hash>
│   ├── release_version.txt
│   ├── sophon-demo.MD5
│   └── sophon-demo_v<x.y.z>_b909566_20221027.tar.gz               #针对单模型或场景的综合例程
├── sophon-img_<date>_<hash>
│   ├── bsp-debs
│   ├── bsp_update.tgz
│   ├── libsophon_soc_<x.y.z>_aarch64.tar.gz                       #交叉编译所需文件
│   ├── release_version.txt
│   ├── sdcard.tgz                                                 #SoC卡刷包
│   ├── SOPHON_BSP_Technical_Reference_Manual.pdf
│   ├── SOPHON BSP开发参考手册.pdf
│   ├── sophon-img.MD5
│   ├── sophon-soc-libsophon_<x.y.z>_arm64.deb                     #SoC平台对应的libsophon安装文件
│   ├── sophon-soc-libsophon-dev_<x.y.z>_arm64.deb                 #SoC平台对应的libsophon安装文件
│   ├── system.tgz
│   └── tftp.tgz
├── sophon-mw_<date>_<hash>
│   ├── Multimedia FAQ.pdf
│   ├── Multimedia Technical Reference Manual.pdf
│   ├── Multimedia User Guide.pdf
│   ├── MULTIMEDIA使用手册.pdf
│   ├── MULTIMEDIA常见问题手册.pdf
│   ├── MULTIMEDIA开发参考手册.pdf
│   ├── release_version.txt
│   ├── sophon-mw_<x.y.z>_aarch64.tar.gz                          #arm64机器,其他LINUX系统对应的sophon-mw安装包
│   ├── sophon-mw_<x.y.z>_x86_64.tar.gz                           #x86_64机器,其他LINUX系统对应的sophon-mw安装包
│   ├── sophon-mw.MD5
│   ├── sophon-mw-soc_<x.y.z>_aarch64.tar.gz
│   ├── sophon-mw-soc-sophon-ffmpeg_<x.y.z>_arm64.deb             #SoC平台,ffmpeg运行时环境安装文件
│   ├── sophon-mw-soc-sophon-ffmpeg-dev_<x.y.z>_arm64.deb         #SoC平台,ffmpeg开发环境安装文件
│   ├── sophon-mw-soc-sophon-opencv_<x.y.z>_arm64.deb             #SoC平台,opencv运行时环境安装文件
│   ├── sophon-mw-soc-sophon-opencv-dev_<x.y.z>_arm64.deb         #SoC平台,opencv开发环境安装文件
│   ├── sophon-mw-soc-sophon-sample_<x.y.z>_arm64.deb             #SoC平台,多媒体程序示例文件
│   ├── sophon-mw-sophon-ffmpeg_<x.y.z>_amd64.deb                 #x86_64机器,Debian/Ubuntu系统对应的ffmpeg运行时环境安装文件
│   ├── sophon-mw-sophon-ffmpeg_<x.y.z>_arm64.deb                 #arm64机器,Debian/Ubuntu系统对应的ffmpeg运行时环境安装文件
│   ├── sophon-mw-sophon-ffmpeg-dev_<x.y.z>_amd64.deb             #x86_64机器,Debian/Ubuntu系统对应的ffmpeg开发环境安装文件
│   ├── sophon-mw-sophon-ffmpeg-dev_<x.y.z>_arm64.deb             #arm64机器,Debian/Ubuntu系统对应的ffmpeg运行时环境安装文件
│   ├── sophon-mw-sophon-opencv_<x.y.z>_amd64.deb                 #x86_64机器,Debian/Ubuntu系统对应的opencv运行时环境安装文件
│   ├── sophon-mw-sophon-opencv_<x.y.z>_arm64.deb                 #arm64机器,Debian/Ubuntu系统对应的opencv运行时环境安装文件
│   ├── sophon-mw-sophon-opencv-abi0_<x.y.z>_amd64.deb            #x86_64机器,CenterOS系统对应的opencv运行时环境安装文件
│   ├── sophon-mw-sophon-opencv-abi0_<x.y.z>_arm64.deb            #arm64机器,CenterOS系统对应的opencv运行时环境安装文件
│   ├── sophon-mw-sophon-opencv-abi0-dev_<x.y.z>_amd64.deb        #x86_64机器,CenterOS系统对应的opencv开发环境安装文件
│   ├── sophon-mw-sophon-opencv-abi0-dev_<x.y.z>_arm64.deb        #arm64机器,CenterOS系统对应的opencv开发环境安装文件
│   ├── sophon-mw-sophon-opencv-dev_<x.y.z>_amd64.deb             #x86_64机器,Debian/Ubuntu系统对应的opencv开发环境安装文件
│   ├── sophon-mw-sophon-opencv-dev_<x.y.z>_arm64.deb             #arm64机器,Debian/Ubuntu系统对应的opencv开发环境安装文件
│   ├── sophon-mw-sophon-sample_<x.y.z>_amd64.deb                 #x86_64机器,多媒体程序示例文件
│   └── sophon-mw-sophon-sample_<x.y.z>_arm64.deb                 #arm64机器,多媒体程序示例文件
├── sophon-pipeline_<date>_<hash>
│   ├── release_version.txt
│   ├── sophon-pipeline.MD5
│   └── sophon-pipeline_v<x.y.z>_586366b_20221027.tar.gz          #基于pipeline的高性能推理框架
├── sophon-rpc_<date>_<hash>
│   ├── release_version.txt
│   ├── sophon-rpc_<x.y.z>_amd64.deb                              #x86_64机器,Debian/Ubuntu系统对应的sophon-rpc安装文件
│   ├── sophon-rpc_<x.y.z>_arm64.deb                              #arm64机器,Debian/Ubuntu系统对应的sophon-rpc安装文件
│   ├── sophon-rpc_<x.y.z>.tar.gz                                 #其他系统对应的sophon-rpc安装包
│   ├── sophon-rpc.MD5
│   └── sophon-rpc使用指南.pdf
├── sophon-sail_<date>_<hash>
│   ├── release_version.txt
│   ├── Sophon_Inference_zh.pdf
│   ├── sophon-sail_<x.y.z>.tar.gz                                #封装了BMLib、BMDecoder、BMCV、BMRuntime的高级接口库
│   └── sophon-sail.MD5
├── Sophon SDK文件清单.docx
├── tpu-kernel_<date>_<hash>
│   ├── release_version.txt
│   ├── tpu-kernel-1684x_v<x.y.z>-0d0e513e-221027.tar.gz          #自定义算子开发工具
│   └── tpu-kernel.MD5
├── tpu-mlir_<date>_<hash>
│   ├── release_version.txt
│   ├── tpu-mlir.MD5
│   └── tpu-mlir_v<x.y.z>-<hash>-<date>.tar.gz                    #编译器工具链
├── tpu-nntc_<date>_<hash>
│   ├── release_version.txt
│   ├── tpu-nntc.MD5
│   └── tpu-nntc_v<x.y.z>-<hash>-<date>.tar.gz                    #模型编译量化工具链
└── tpu-perf_v<x.y.z>
    ├── md5sum.txt
    ├── tpu_perf-<x.y.z>-py3-none-manylinux2014_aarch64.whl
    ├── tpu_perf-<x.y.z>-py3-none-manylinux2014_x86_64.whl
    └── tpu-perf-<x.y.z>.tar.gz                                   #模型的性能分析和精度验证工具

SDK主要模块

  • 硬件驱动及运行时库 LIBSOPHON : 包含BMCV、BMRuntime、BMLib等库,用来驱动VPP、TPU等硬件,完成图像处理、张量运算、模型推理等操作。
  • 多媒体库 SOPHON-MW : 支持Sophon设备硬件加速的BM-OpenCV和BM-FFmpeg,支持RTSP流、GB28181流的解析,视频及图片的编解码。
  • 模型编译量化工具链 TPU-NNTC : 支持Caffe、Tensorflow、Pytorch、MXNet、 Darknet、Paddle Paddle、ONNX等框架模型的模型转换;支持模型量化:原始模型 -> FP32 UModel -> INT8 UModel -> INT8 BModel, 同时提供 auto-cali 自动量化工具。
  • 张量运算及图像处理库 BMCV : 色彩空间转换、尺度变换、仿射变换、投射变换、线性变换、画框、JPEG编码、BASE64编码、NMS、排序、特征匹配。
  • 设备管理 BMLib : 基础接口:设备Handle的管理,内存管理、数据搬运、API的发送和同步、A53使能等
  • 算丰AI加速库 SAIL : 支持Python/C++的高级接口,是对BMRuntime、BMCV、BMDecoder等底层库接口的封装。
  • 自定义算子高级编程库 BMLang:基于C++的面向Sophon TPU的高级编程库,与硬件信息解耦,无需了解硬件架构,使用张量数据(bmlang::Tensor)和计算操作(bmlang::Operator)编写代码,最后使用bmlang::compile或bmlang::compile_with_check来生成TPU可以运行的BModel;此外也支持使用BM168X中的arm cpu来实现TPU尚不支持的算子。
  • 算法并行加速编程库 TPUKernel:基于Sophon芯片底层原子操作接口的底层编程接口,需要熟悉硬件架构和指令集。
  • 模型性能和精度验证工具 TPUPerf : 可对模型进行性能分析和精度验证。

内存管理

EC-A1684XJD4 的内存有一部分被分配于 NPU、VPP 和 VPU 设备,因此使用 free -h 等指令获取的内存数据与 EC-A1684XJD4 的实际内存不一致。

如需查看详细的内存分配设置,或者默认内存分配与实际需求冲突、需调整内存分配的,可参照以下步骤进行相应操作。

安装内存分配工具

从下载中心中获取内存分配工具压缩包,并将其传输到 EC-A1684XJD4 上,执行以下命令解压压缩包:

tar -xvf memory_edit_v2.9.tar.xz

查看内存分配设置

在完成压缩包解压后,执行以下命令查看内存分配设置:

cd memory_edit
./memory_edit.sh -p

内存分配设置结果示例如下,其中 Info: get max memory size ... 显示的结果是每个设备可配置的最大内存,Info: get now memory size ... 显示的结果是每个设备目前所分配的内存。

linaro@aibox-1684x:~/memory_edit$ ./memory_edit.sh -p
INFO: version: 2.9
Info: use dts file /home/linaro/memory_edit/output/bm1684x_se7_v1_mini.dts
Info: =======================================================================
Info: get ddr information ...
Info: ddr12_size 8589934592 Byte [8192 MiB]
Info: ddr3_size 4294967296 Byte [4096 MiB]
Info: ddr4_size 4294967296 Byte [4096 MiB]
Info: ddr_size 16384 MiB
Info: =======================================================================
Info: get max memory size ...
Info: max npu size: 0x1dbf00000 [7615 MiB]
Info: max vpu size: 0xc0000000 [3072 MiB]
Info: max vpp size: 0x100000000 [4096 MiB]
Info: =======================================================================
Info: get now memory size ...
Info: now npu size: 0xf6e00000 [3950 MiB]
Info: now vpu size: 0x80000000 [2048 MiB]
Info: now vpp size: 0xc0000000 [3072 MiB]

修改内存分配设置

可参考以下命令进行内存分配设置,其中输入的三个参数是需要 NPU、VPU、VPP 配置的大小的十进制数字,单位 MiB;或者为十六进制数值,单位 Byte。

# 十进制,单位MiB
./memory_edit.sh -c -npu 2048 -vpu 2048 -vpp 2048
# 十六进制,单位Byte
./memory_edit.sh -c -npu 0x80000000 -vpu 0x80000000 -vpp 0x80000000

执行以上命令之一后,检查输出中是否有 Error,以及类似于如下输出中三个部分的大小是否与所需要配置的大小相同。

Info: output configuration results ...
Info: vpu mem area(ddr3): 0x8000000 [128 MiB] 0x20000000 -> 0x27ffffff
Info: ion npu mem area(ddr1): 0x80000000 [2048 MiB] 0x24100000 -> 0xa40fffff
Info: ion vpu mem area(ddr3): 0x80000000 [2048 MiB] 0x80000000 -> 0xffffffff
Info: ion vpp mem area(ddr4): 0x80000000 [2048 MiB] 0x80000000 -> 0xffffffff
Info: =======================================================================
Info: start check memory size ...
Info: check npu size: 0x80000000 [2048 MiB]
Info: check vpu size: 0x80000000 [2048 MiB]
Info: check vpp size: 0x80000000 [2048 MiB]
Info: check edit size ok
Info: en_emmcfile ok

如检查无误,请保存当前工作,并参照以下操作将修改后的 emmcboot.itb 文件替换启动分区中的启动映像,最后重启机器使修改生效。

sudo cp emmcboot.itb /boot
sync
sudo reboot

远程桌面

x11vnc 是一个可以让管理员直接通过 VNC Viewer 来连接服务器的真实 X 桌面的工具。

Ubuntu

Ubuntu 系统需要手动安装X桌面环境,安装过程中,Display Manager选择lightdm:

sudo apt update
sudo apt install -y xserver-xorg-video-dummy x11vnc xfce4
sudo vim /etc/X11/xorg.conf
sudo reboot

/etc/X11/xorg.conf中内容为:

Section "Device"
    Identifier  "Configured Video Device"
    Driver      "dummy"
    VideoRam 256000
EndSection

Section "Monitor"
    Identifier  "Configured Monitor"
    HorizSync 5.0 - 1000.0
    VertRefresh 5.0 - 200.0
    ModeLine "1920x1080" 148.50 1920 2448 2492 2640 1080 1084 1089 1125 +Hsync +Vsync
#    Modeline "1280x800" 24.15 1280 1312 1400 1432 800 819 822 841
EndSection

Section "Screen"
    Identifier  "Default Screen"
    Monitor     "Configured Monitor"
    Device      "Configured Video Device"
    DefaultDepth 24
    SubSection "Display"
    Depth 24
    Modes "1920x1080"
#    Modes "1280x800"
    EndSubSection
EndSection

安装完成后,启动x11vnc服务:

sudo x11vnc -display :0 -auth /var/lib/lightdm/.Xauthority &

然后就可以在 PC 机上用 $bm1684_ip:0 地址来 VNC 远程连接。

以下是 VNC Viewer 的具体操作过程:

(1)用户首先到官方下载 VNC Viewer,根据自身 PC 机系统选择对应安装包进行下载并安装。

(2)安装完成后打开 VNC Viewer,跳过登录

(3)输入 EC-A1684XJD4 的 $bm1684_ip:0 地址:

(4)点击linao用户名右侧的圆形按钮,选择xfce, 输入用户与密码,均为 linaro:

(5)成功进入 xfce4 桌面:

Qt 开发

如何开发 Qt 程序,并通过 HDMI 接口进行显示

整体分为两个步骤:

  1. 交叉编译 Qt 程序
  2. 设置 Qt 运行环境并运行程序

交叉编译

以系统为 Ubuntu18.04 的交叉编译主机为例,步骤如下:

1.1 获取资源

通过 git clone 获取该 git 包

系统内新建并命名文件 se-build-server.yml,并填写以下内容:

version: "3.3"
services:
    se-build-server:
        image: huangzhenming/se-build-server:V1.0
        container_name: sophon_build 
        privileged: true 
        network_mode: host 
        restart: always 
        volumes:
            - /data/your_working_dir:/workspace 
            - /data/toolchains/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu:/toolchains 
            - /etc/timezone:/etc/timezone:ro 
            - /etc/localtime:/etc/localtime:ro 
        command: ["/bin/ping", "localhost"] 
        user: linaro 
        working_dir: /workspace 
        environment: 
        - "PATH=$PATH:/toolchains/bin"

下载交叉编译所需要的工具链:gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu。

在PC机系统上安装docker运行环境,安装docker 和 docker compose工具。各个平台有所不同,请在网上搜索相关公开资料安装,此处不再缀 述。

运行 docker(运行时会自动从docker hub 上下载镜像文件,所需时间同网速相关,请确保外网连接畅通):

docker-compose -f se-build-server.yml  up -d

运行之后,会自动在系统内创建 /data/your_working_dir 以及 /data/toolchains/ 文件夹 ,你也可以通过修改 yml 文件去生成其他路径的文件夹。

拷贝并解压 git 包以及交叉编译工具链到指定路径:

cp -r path/to/sophon-qt/qt-lib/qtbase-5.14.tgz /data/your_working_dir
cp -r path/to/sophon-qt/qt-example/SophUI/* /data/your_working_dir
cd /data/your_working_dir/ && tar xvf qtbase-5.14.tgz
cp -r path/to/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu.7z /data/toolchains/
cd /data/toolchains/ && 7z x gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu.7z
  • 进行交叉编译(以 SophUI 源码为例):

    • 进入 docker:
    docker ps -a  # 获取 docker 镜像以及容器信息,镜像名应该带有 `huangzhenming` 字样
    docker exec -it  container_id  /bin/bash # 进入 docker 
    • 进行编译(在 docker 内):
    cd  /workspace
    ./install/bin/qmake SophUI.pro -spec linux-aarch64-gnu-g++ CONFIG+=qtquickcompiler
    make

    编译之后便会生成 SophUI 的可执行文件,可以直接放到设备上面去执行。

运行 Qt 程序

通过以上的步骤,可以获得可执行文件 SophUI ,可以通过 scp 的方式拷贝到 1684 设备中。

运行之前需要先编写脚本去设置环境变量,内容如下:

#!/bin/sh
export QTDIR=/usr/lib/aarch64-linux-gnu 
export QT_QPA_FONTDIR=$QTDIR/fonts 
export QT_QPA_PLATFORM_PLUGIN_PATH=$QTDIR/qt5/plugins/
export LD_LIBRARY_PATH=/system/lib:$LD_LIBRARY_PATH
export QT_QPA_PLATFORM=linuxfb:fb=/dev/fl2000-0 
export QWS_MOUSE_PROTO=/dev/input/event3
./SophUI 

之后给予脚本运行权限,在接入 HDMI 显示器的前提下执行即可。

需要注意的是,如果1684 设备的系统是 Debian 系统,则需要另外导入 Qt 的运行库以及一些其他文件,否则运行会报错,而 Ubuntu 系统则不会有这些问题

通过 scp 的方式,从 PC 端导入,在 1684 设备上面执行:

scp PC@IP:/path/to/qtbase-5.14/lib/* /usr/lib/aarch64-linux-gnu/ 
mkdir -p /usr/lib/aarch64-linux-gnu/qt5
scp  PC@IP:/path/to/qtbase-5.14/plugins/ /usr/lib/aarch64-linux-gnu/qt5/

如果 Qt 程序中还包含了字体,还需要在此处下载 字体文件,下载后,拷贝到 1684 设备的 /usr/lib/aarch64-linux-gnu/font 目录,如:/usr/lib/aarch64-linux-gnu/fonts/wqy-microhei.ttc

本页目录