第九届集创赛杯赛题目——奕斯伟杯

奕斯伟杯

一、杯赛题目:基于RISC-V架构在边缘侧的AI应用

二、参赛组别:A组、B组

三、赛题背景

RISC-V于2014年正式发布,是一个开放的标准指令集,随着RISC-V的不断发展,开发了各种工具链、软件库和硬件实现。其应用范围也逐渐扩展到嵌入式系统、物联网、高性能计算等领域。目前全球有70多个国家和地区投入该领域,RISC-V 基金有超过4000名成员,包括高通,谷歌,英伟达等企业。

当前环境下,AI大模型发展对算力需求呈现几何级增长,而信息网络安全也成为了各个国家和企业需要面对的挑战,而RISC-V的优势在于低功耗,高性能,开放性,灵活可扩展性,以及高安全可靠性特点可满足此需求,RISC-V作为一种开源的指令集架构,因其灵活性和可扩展性,成为了边缘计算领域中AI加速的理想选择。AI的演进将引发应用颠覆式创新,重构计算生态,RISC-V与AI相结合是趋势,将推动芯片设计到集成等各个环节的变革,创造出新的市场机会及产业生态。

本次竞赛旨在激发大学生的创新思维,利用RISC-V AI加速卡开发板,开发出具有实际应用价值的智能边缘计算解决方案。


四、赛题任务

要求以ESWIN—EIC7700-02-1154B1开发板或者HiFive Premier P550开发板为核心平台,实现基于使用场景的机器视觉的新应用和新算法。包括但不限于缺陷检测、机器人/手臂应用、物体测量、物品跟踪、智慧交通、安全生产、路径规划及导航等,这些场景的共同点是需要采集图像或者视频信号,在图像视频信号中实现目标的识别、定位等功能,这些功能需要用到图像处理,视频处理,AI算法。要求把这些功能在以开发板位核心的平台上实现,如果在此基础上能够利用多模态模型和技术,如文字、语音交互对上述方案赋能,实现更加智慧和便捷的应用体验,则更受欢迎


五、设计目标

ESWIN—EIC7700-02-1154B1开发板或者HiFive Premier P550开发板为硬件基础平台(说明,两者的差别在于商标和颜色,Hifive Premier p550的商标是sifive, 底板是黑色;EIC7700-02-1154B1开发板的商标是ESWIN,底板是绿色,其余外形和功能性能是一样的。),以AI SOC中的RISC-V CPU作为控制核心,将系统中的硬件加速特性(如NPU、DSP、Video Codec、GPU等)体现出来,展现芯片对特定应用场景的独特优势。根据需要可以扩展屏幕、Camera、键盘等外设。

基于上述平台既可以实现成一个独立的边缘侧服务站,也可以与其他硬件(如智能传感器、无人车、机电系统)等组合成独立功能的完整系统。需要优化整个硬件系统实现在特定领域的成本、性能的最优配置。

软件系统需要基于开发软件包(包括OS、ESWIN EIC7700X SDK等)实现完整的软件功能。软件功能需要覆盖机器视觉新应用及新算法,基于对硬件平台的正确理解,使用相关开发环境(包括操作系统以及深度学习开发套件)有效实现上层功能


六、附加题或进阶目标

1.利用多模态模型和技术,如文字、语音交互对上述新应用及新算法进行赋能,实现更加智慧和便捷的应用体验。

2.实现基于GPU、DSP的硬件加速算子,结合系统应用实现更好的性能或者功能。


七、杯赛阶段及提交内容

1.技术资源申请和发放

(1)企业免费提供50套HiFive Premier P550及50块ESWIN—EIC7700-02-1154B1的开发板,参赛团队可按要求提交承诺函申请借用,申请通知及承诺函见文末附件,参赛团队借用需打印承诺函并手写签字盖章后上传扫描件,原则上每个学校提供开发板不超过2套。有条件的学校和同学也可以自行购置开发板。

(2)申请方案模板、开放申请时间等具体申请规则将另行公布于杯赛钉钉群。

(3)参赛团队申请前需要首先完成报名(即完成大赛报名全部流程),并以团队为主体签署保密协议;

2.中期汇报

中期报告,按大赛统一要求提交;

3.初赛和企业技术评分:

(1)方案文档:完整说明硬件方案(包括电路设计、器件选择)、软件方案(包括软件实现代码)、应用方式及预期指标。

(2)算法说明:介绍使用的算法,包括深度学习算法、CV等算法来源,定制化改进。深度学习算法需要说明相关的训练、验证、量化及编译等过程。需要提供支撑性数据说明算法的优势。

(3)功能演示视频:能够证明相关方案及算法的功能效果,为评价提供支撑。

4.分赛区决赛提交内容

(1)汇报PPT:项目介绍、关键技术介绍、功能介绍、应用场景介绍

(2)详细设计方案:系统功能介绍、系统框图、智能处理功能实现的详细设计

(3)功能演示视频

(4)现场演示系统功能实现

5.总决赛提交内容

(1)汇报PPT:项目介绍、关键技术介绍、功能介绍、应用场景介绍

(2)详细设计方案:系统功能介绍、系统框图、智能处理功能实现的详细设计

(3)功能演示视频

(4)现场演示系统功能实现


八、评分标准



大项

内容

分值

评分要求

方案设计

作品创新性

5

新应用或新算法是符合题目要求的创新性作品。

作品实用性

5分

方案具备实际应用价值及潜在市场。

芯片功能利用

5

正确使用了开发板,能够合理充分利用EIC7700X内部的CPUNPUGPUDSP、视频CODECISP等加速功能实现所需要的目标。

扩展开发板

5

基于特定的应用及算法,对现有的硬件环境进行了合理扩充及优化。

方案实现

奕斯伟软件环境使用

5

使用了ESWin相关的软件开发环境正确完成相关功能。

AI工具链使用

5

选择合适AI算法及其他算法,正确进行数据处理、训练、量化及编译等工具生成对应的模型,完成相关的部署。

硬件设计优化

10分

1. 合理选用硬件,达到根据场景需求实现最优配置、最优功能选择。

2. 硬件设计方法优秀,充分考虑相关电路特性及应用要求。

功能及性能优化

10

1. 在同类设计中,充分利用软件及硬件优化实现了更加优秀的性能。

2. 实现功能完整,满足进一步产品化的功能及质量要求。

文档与视频介绍

视频介绍

10分

1. 视频演示效果。

文档质量

15

1. 汇报PPT重点突出、条理清晰。

2. 设计方案原理分析合理、逻辑清晰,功能实现报告内容详细充分。

进阶指标

多模态模型和技术

20分

1. 利用多模态模型和技术,如文字、语音交互对上述新应用及新算法进行赋能,实现更加智慧和便捷的应用体验。


算子实现及优化

5分

1. 实现基于GPU、DSP的硬件加速算子,结合系统应用实现更好的性能或者功能。



九、参赛资料

1.ESWIN—EIC7700-02-1154B1或者HiFive Premier P550开发板的使用培训教程,可前往抖音、微信视频号、Bilibili等平台,访问:“RISC-V老兵李博士的账号观看

2.参赛的参考文档

报名成功后,可以通过网址FTP下载配套的技术文档资料。



十、参赛平台

1.HiFive Premier P550开发板

HiFive Premier P550开发板是一款基于奕斯伟自研的AI SOC芯片的边缘侧计算加速开发平台。AI SOC 是一颗用于边缘侧计算推理加速芯片,内嵌四个高性能64RISC-V CPU内核。内核支持乱序指令发射,三级cache。除了RISC-V内核外,AI SOC还内嵌了算力达20Tops INT8NPU,DSP, GPU, ISP, H.264, H.265图像编解码和语音编解码硬件模块。这些硬件模块组合起来,可以应用于各种人工智能计算场景。芯片接收从外界传送来的图像信号,语音信号经过前端图像解码处理或者语音处理后,可以送往算力处理模块,在RISC-V CPU+ NPU+DSP+GPU的加持下,进行各种AI算法的处理。开发板通过硬件加速,支持常用的AI算法,如Resnet, Mobilenet, Yolo 5, Yolo8等,并通过内嵌的NPU, DSP,CPU硬件,加速这些算法的硬件实现。因此,开发板的强大算力和硬件加速性能使得其可以实现目标识别、目标定位、姿态行为识别等,可以广泛应用于智慧安防,智慧教育,工业机器人,智慧交通,工业检测,无人机,自动驾驶等应用场景。除了核心计算的性能外,开发板也提供丰富的外设接口,提供PCIe Gend3接口,以太网接口,USB接口,SATA接口,方便用户根据不同的应用场景进行选择。另外,开发板也提供丰富的配套软件。既有开发AI模型的离线工具套件,包括AI量化工具EsQuant,编译工具EsAAC,仿真验证工具EsSimulator,也有配套的SDK,用户可以在开发过程中,调用这些SDK, 加速开发。为了便于尽快熟悉软硬件,开发板还提供Demo样例开发软件,如ResNet算法,Mobilenet算法、YoloV3算法的实现等。

(1)HiFive Premier P550开发板主要特点

  • 四核 SiFive P550 - 性能 CPU 核心运行速度为 1.4GHz,最高1.8GHz.

  • 16GB LPDDR5 + 128GB eMMC

  • 全功能PC 端口

  • 预装Ubuntu 24.04

  • 全功能Ubuntu 24.04

  • 6.6 内核

  • OTA 升级

充满活力的社区支持

支持Yecto和其他操作系统(更新中)

(2)HiFive Premier P550 开发板细节

芯片特色

  • 奕斯伟计算 EIC7700X 处理器特点

  • SiFive 4核 P550 CPU IP 内核

  • 内建Imagination AXM-8-256 GPU

  • 硬件加速视频编码:最高 8K@25fps(后续软件支持

  • 件加速 AI NPU,速度约为 20 TOPS(后续软件支持

网络接口

  • 2 10/100/1000 以太网 RJ45 接口

  • 1 专用以太网 RJ45 接口 (连接板级远程管理专有MCU)

  • 1 M.2 Key E Wi-Fi/Bluetooth模块接口 (经由 SDIO / UART接口)】

扩展接口

  • 1 个 PCI Express Gen 3 x4(通过 PCIe x16 插槽)

  • 2 个堆叠 USB 3.2 Gen 1 A 型连接器

  • 1 个 USB 19 针公头连接器,支持前面板上的 2 个 USB 3.2 Gen 1 连接器

  • 1 个 USB E 型连接器,支持前面板上的 1 个 USB 3.2 Gen C 型连接器

  • 1 JTAG 接头

  • 1 个 SATA 3 连接器(6Gb/s)

  • 1 个 microSD 卡连接器

  • 1 个 USB Type-C(仅限 USB2)连接器,用于通过 FT4232H 调试UART/JTAG

  • 1 个 HDMI 2.0 接口

  • Mini-ITX 机箱兼容前面板连接器

  • 1 个 CR1220 电池盒,用于实时时钟

  • 3 个风扇接头

  • 1 个音频接口接头(前面板立体声线路输出和线路输入/麦克风信号)

  • 1 个带麦克风输入的后面板立体声插孔

  • 1 个 40 针外围 I/O 接头(1 个 I2C、1 个 QSPI、1 个 UART、16 个 GPIO)

电源

  • 标准 ATX 电源

开发者指南

请关注 SiFive 微信公众号 (SiFive_CN)

2.ESWIN—EIC7700-02-1154B1 开发板

EIC7700-02-1154B1 开发板搭载EIC7700X 芯片,采用64位OoO(Out-of-Order) RISC-V CPU及自研高性能NPU,支持全栈浮点计算及大语言模型,确保大模型精度;拥有高性能3D GPU,CV DSPs, 芯片算力最高可达19.95TOPs(INT8);具备强大视频编解码能力,支持最高8K@50fps或32路1080P@30fps的视频解码能力,和最高8K@25fps或13路1080P@30fps的视频编码能力;LPDDR5 6400高带宽加持, 访存带宽高达51GByte, 容量16GByte(也有32GByte版本),非常适合运行大语言模型,支持4K桌面,支持CSI和DSI,兼容树莓派sensor, 拥有USB、PCIe、HDMI、以太网等丰富的外设接口。支持Debian、Ubuntu、Yocto、Deepin、OpenKylin,鸿蒙,OpenEuler等操作系统,兼顾游戏、办公、AI, 教育、多媒体多种场景。

ESWIN开发板Key Features

CPU

  • Quad-core 64-bit SiFive P550 running at 1.4GHz, up to 1.8GHz

  • RV64GC (RV64IMAFDC)

  • 32KB I-Cache/32KB D-Cache per core

  • 256KB L2-Cache per core

  • 4MB Coherent Banked L3-Cache

Memory and Storage

  • On-board 16GB LPDDR5 @ 6400 MT/s

  • 1x SATA3 connector (6 Gb/s)

  • On-board 128 GB eMMC Flash 5.1 Boot Flash + a 16MB SPI-FLASH

  • 2Kbit EEPROM (Manufacturing Data)

  • 1x microSD card connector

Media Engine

  • Video encoding: up to 8K@25fps or 13-channel 1080p@30fps

  • Video decoding: up to 8K@50fps or 32-channel 1080p@30fps

NPU

  • Up to 19.95 TOPS in INT8, 9.975 TOPS in INT16, and 9.975 FTOPS in FP16(fully supported)

Network and Connectivity

  • 1x PCIe Gen 3.0 x16 slot, supports x4 mode

  • 2x Stacked USB 3.2 Gen 1 Type A Connectors

  • 1x USB3 19-pin male connector to support 2x USB 3.2 Gen 1 connectors on front panel

  • 1x Type-E connector to support USB 3.2 Gen 1 Type-C connector on front panel.

  • 1x JTAG Header

  • 1x USB Type-C (USB 2 only) connector for UART/ JTAG support through FT4232H UART/JTAG-USB bridge.

  • 1x HDMI 2.0 connector

  • Mini-ITX case compliant Front Panel Connector

  • 1x CR1220 battery holder for Real Time Clock (battery not included)

  • 3x fan headers

  • 1x header for audio interface (front panel stereo line-out and line-in/microphone signals)

  • 1x rear panel stereo jack with microphone input

  • 1x 40-pin Peripheral I/O Header

  • 1x I2C, 1x QSPI, 1x UART, 16x GPIO

Form Factor

  • Mini-DTX form factor 203 mm x 170 mm

Power

  • 24-Pin ATX Power Supply Connector


十一、其他注意事项

1.参赛所选用的开发平台为奕斯伟提供的ESWIN—EIC7700-02-1154B1开发板或者HiFive Premier P550开发板

2.参加企业命题杯赛的作品,杯赛出题企业有权在同等条件下优先购买参加本企业杯赛及单项奖获奖团队作品的知识产权。

3.大赛组委会和杯赛企业对参赛作品提交的材料,在大赛相关环节中有使用权和展示权。

4.参赛项目可以参考现有公开发表的文献和论文内容,但应当在技术论文和答辩PPT中注明来源,且不能将参考的内容作为自己作品的创新部分。


(请参赛团队务必有一名成员添加报名杯赛的答疑钉钉群中,以便及时获取杯赛最新通知及进展,避免遗漏重要信息,群号码及入群方式:点击查看