Vitis AI适用于在 Xilinx 硬件平台(包括边缘器件和 Alveo 卡)上进行人工智能推断!Xilinx Vitis-AI包含一组全面的预优化模型,可以在Xilinx设备上部署!具有可选的模型优化器,最多可以修剪90%的模型。 提供功能强大的量化器,支持模型量化,校准和微调。而AI编译器可将量化模型编译为高效的指令集和数据流。此外,还支持对AI推理实现的效率和利用率进行深入分析。提供的AI库可为从边缘到云的AI应用程序提供高级而优化的C ++ API。最后,可以定制高效且可扩展的IP内核,以满足许多不同应用程序的需求,含许可证文件,有需要的朋友欢迎来本站下载体验!
通过将 32 位浮点权值和激活量转换为 INT8 这样的定点,AI 量化器可在不影响预测精度的情况下,降低计算复杂度。定点网络模型需要的内存带宽更少,因此比浮点网络模型速度更快,电源效率更高。
版本特色
1、Model
Zoo-发布自定义Caffe框架发行版caffe_xilinx-
为所有Caffe模型添加准确性测试代码和再培训代码
-使用浮动/固定模型版本和准确性测试代码将Tensorflow模型增加到19个,包括流行的模型,例如SSD, YOLOv3,MLPerf:ssd_resnet34等
-为ADAS应用程序
2、优化程序添加多任务Caffe模型(需要许可的单独软件包)
-Caffe修剪
。支持深度卷积层
。删除转换后的prototxt
-TensorFlow Pruning中与实现相关的内部参数
。发布基于TensorFlow 1.12的修剪工具
。向用户指定的参数添加更多验证
。错误修复程序,用于支持更多网络
-Darknet修剪
。修剪工具的新界面
。支持yolov3-spp
3、量化器
-Tensorflow量化
。支持DPU仿真和转储量化仿真结果。
。改善对某些图层和节点模式的支持,包括tf.keras.layers.Conv2DTranspose,tf.keras.Dense,tf.keras.layers.LeakyReLU,tf.conv2d + tf.mul
。将temp量化信息文件从/ tmp /移动到$ output_dir / temp文件夹,以在一台计算机上支持多用户
。错误修正-Caffe
4、量化
。增强的激活数据转储功能
。Ubuntu 18支持
。非统一的位宽量化支持
。支持HDF5数据层
。支持不带参数但具有多个输入的缩放层
5、编译器
-支持基于Zynq和基于ZU +的平台的交叉编译
-针对更广泛的Tensorflow模型集的增强和错误修复
-支持性能优化的新的Split IO内存模型
-改进了代码生成
-支持Caffe / TensorFlow模型在云DPU V3E(Early Access)
6、运行时
进行编译
- 在XRT 2019.2上实现边缘到云的部署-提供统一的Vitis AI C ++ / Python编程API-
基于DPU优先级的调度和DPU核心亲和力
-引入自适应操作层以进行统一Linux,XRT和QNX的运行时基础接口
-支持QNX RTOS以支持汽车客户。
-为X + ML海王星API
性能改进-
7、DPU
- DPUv2为ZYNQ和ZU +
。基于ZCU102的参考设计支持葡萄流
。同一DPU还支持Vivado流
。所有功能都是可配置的
。修复了多个错误
-适用于U50 / U280的DPUv3(早期访问)
8、Vitis AI库
-支持新的Vitis AI运行时-Vitis AI库已更新为基于具有统一API的新Vitis AI运行时。它还完全支持XRT 2019.2。
-新的DPU支持-除了用于Zynq和ZU +的DPUv2,新的AI库还将使用相同的代码(早期访问)支持用于Alveo / Cloud的新DPUv3 IP。
-新的Tensorflow模型支持-最多支持19种tensorflow模型,这些模型来自官方tensorflow信息库
-新的库和演示-有两个新的库“ libdpmultitask”和“ libdptfssd”,它们支持多任务模型和Tensorflow SSD模型。其中包含更新的分类演示,以展示如何在Vitis AI运行时中使用统一的API。
-新的开源库-“ libdpbase”库在此版本中是开源的,它显示了如何在Vitis AI运行时中使用统一的API来构建高级库。
-新的安装方法-主机端环境采用使用映像安装,从而简化并统一了安装过程。
9、其他
-支持TVM,从而支持Pytorch,ONNX和SageMaker NEO
-Tensorflow模型的分区和本机在Tensorflow中对xDNNv3执行的支持-自动化的Tensorflow模型分区,通过DPUv3的编译和部署(早期访问)-Butler
API用于以下各项:
。自动资源发现和管理
。多进程支持–能够使多个容器/进程访问单个FPGA
。FPGA切片-能够使用FPGA的一部分
。对同一服务器上的多个FPGA的横向扩展支持
-支持pix2pix型号
Vitis AI是Xilinx在Xilinx硬件平台(包括边缘设备和Alveo卡)上进行AI推理的开发堆栈。它由优化的IP,工具,库,模型和示例设计组成。设计时考虑到了高效率和易用性,充分发挥了Xilinx FPGA和ACAP上AI加速的全部潜力。
组件说明
1、深度学习处理器单元(DPU)
DPU是为深度神经网络优化的可编程引擎。它是一组可预先设置在硬件上的可参数化IP内核,不需要放置和路由。DPU随Vitis AI 专业指令集一起发布,从而可以有效实施许多深度学习网络。
Vitis AI提供一系列的两个嵌入式设备等不同的DPU的赛灵思 Zynq®-7000,Zynq®的UltraScale +™片上多核和 肺泡™卡,如U50,U200,U250和U280,使独特的差异化和灵活性的吞吐量方面,延迟,可扩展性和功能。
2、AI Model Zoo
AI Model Zoo包含优化的深度学习模型,以加快Xilinx平台上深度学习推理的部署。这些模型涵盖了不同的应用程序,包括ADAS / AD,视频监控,机器人技术,数据中心等。您可以开始使用这些经过预训练的模型,以享受深度学习加速的好处。
3、AI优化器
借助世界领先的模型压缩技术,您可以将模型复杂性降低5倍至50倍,而对精度的影响最小。深度压缩将AI推理的性能提升到一个新的水平。
AI Optimizer需要商业许可才能运行。请联系您的Xilinx销售代表以获取更多信息
4、AI量化器
通过将32位浮点权重和激活转换为INT8之类的定点,AI Quantizer可以降低计算复杂度,而不会损失预测精度。定点网络模型需要较少的内存带宽,因此比浮点模型提供更快的速度和更高的电源效率。
5、AI编译器
AI编译器将AI模型映射到高效的指令集和数据流。它还执行复杂的优化,例如层融合,指令调度以及尽可能多地重用片上存储器。
6、AI Profiler
该Vitis AI分析器可以帮助分析和可视化应用的AI,找到瓶颈,并有助于分配不同的计算设备之间的资源:
它很容易使用。代码没有变化,也没有重新编译程序。它还可以跟踪函数调用和时间消耗。
该工具还可以收集硬件信息,包括CPU / DPU /内存。
7、AI图书馆
该Vitis AI库是一套高效的AI推理与深学习处理器单元(DPU)内置高级别库和API。它基于带有Vitis Runtime Unified API 的Vitis AI Runtime 构建。并且它完全支持XRT。
该Vitis AI图书馆提供了许多封装效率和高品质的神经网络易于使用和统一的界面。即使对于不了解深度学习或FPGA的用户,这也简化了深度学习神经网络的使用。该Vitis AI库可以让你更专注于自己的应用程序的开发,而不是底层的硬件。
8、AI运行时间
Vitis AI运行时使应用程序可以针对云和边缘使用统一的高级运行时API。因此,使云到边缘的部署无缝且高效。
该Vitis AI运行时API的特点是:
作业异步提交给加速器
从加速器异步收集作业
C ++和Python实现
支持多线程和多进程执行
破解说明
1、Xilinx License Configuration Manager(Xilinx许可证配置管理器)中找到"Manage Xilinx Licenses"(管理Xilinx许可证)选项
2、按“复制许可证...”,使用license许可证目录中的任何lic许可证即可
Vitis AI开发工具包,用于在AI推理赛灵思的硬件平台,包括边缘设备和肺泡™加速卡。它由优化的IP内核,工具,库,模型和示例设计组成。它在设计时考虑了高效和易用性,充分发挥了Xilinx FPGA和自适应计算加速平台(ACAP)上AI加速的全部潜力。通过抽象出底层FPGA和ACAP的复杂性,它使不具备FPGA知识的用户更容易开发深度学习推理应用程序。