AI人工智能教学系列-人工智能综合实验平台LPKT020

人工智能物联网(AIOT)综合实验平台是一款集成人工智能、物联网、嵌入式、移动互联技术于一体的高端教学科研平台。整个教学平台包括物联网(IOT)部分和人工智能(AI)部分,两部分互相支撑、互为补充。

  人工智能物联网AIOT)综合实验平台是一款集成人工智能、物联网、嵌入式、移动互联技术于一体的高端教学科研平台。整个教学平台包括物联网(IOT)部分和人工智能(AI)部分,两部分互相支撑、互为补充。

  人工智能部分的硬件平台基于嵌入式的Arm开发板,具备语音、视觉等传感器数据采集能力,及适用于多种场景的控制接口;物联网部分的硬件平台基于物联网教学平台,该套件基于zigbee无线传输技术实现,具有低功耗、低速率、自组网等特点,可适用于人工智能+物联网的多种学习和应用场景。

  软件平台支持人脸识别、语音识别、无线通信、传感器原理等应用的基础平台和主流开源算法。提供完整的配套教学教材,实训案例的源码、开发手册等,满足AI&IOT教学实训、应用开发等需求。

EAI610的嵌入式Arm硬件平台使用高性能Arm SoC(瑞芯微RK3399),搭载OPEN AI LAB嵌入式AI开发平台AID(包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV),为AI应用开发提供简洁、高效、统一的API接口,加速终端 AI 产品的场景化应用落地。

物联网教学平台中传感器采用模块化设计,方便扩展和替换。其中包括温度、湿度、光敏、加速度、压力、可燃气体、雨滴、酒精、红外、超声波、DA输出、继电器、LED点阵显示屏、数码管显示、玻璃破碎检测、直流电机、步进电机、可调光LED灯、振动、霍尔、火焰、等二十多种可换传感器/控制模块组件;所有涉及到的相关技术均提供教材或实验指导书,同时提供印刷版实验手册。

1.1、S-RK3399边缘计算网关

S-RK3399是一款266-pin金手指形式高性能ARM计算机模块,它采用了瑞心微64位六核Soc RK3399作为主处理器,标配2GB DDR3内存和16GB闪存,板载2×2 MIMO双天线Wi Fi模组,尺寸只有69.6×50mm,模块上带有独立的Typec供电接口,以及USB-C显示接口。 

S-RK3399计算模块具有丰富的外设和扩展接口,通过底板可连接使用4通道NVMe高速固态硬盘,读写速度高达1GB/s它还可以扩展使用双MIPI宽动态摄像头,另外它还带有eDP显示接口,MIPI显示接口,1USB3.0,2USB2.0,以及12C,12S,SPI,PWM,GF10和串口等各种资源。SOM-RK3399可流畅运行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系统,软件资源和生态非常丰富,尤其是Android 8.1具有NN SDK神经网络加速软件包,Qt-5.10集成了VPU硬件编解码,GPU图形加速,可使用QML快速开发流畅的动态式界面,因此SOM-RK3399核心板非常适合做高端人脸识别,机器视觉,VR虚拟现实,自动驾驶,深度计算分析等方面的人工智能产品快速原型及产品开发。

1.2、无线传感器节点及传感器模块

      无线传感器节点由底板、射频模块和传感器模块三部分组成,3个功能模块均可拆装,方便更换和升级,支持灵活插拔,防反插设计,可兼容zigbee、蓝牙、NB-IoT、LoRa、UWB等不同无线终端,提供各种无线模块的驱动和应用程序,构成各类无线智能感知设备学蠡科技

传感器组件

标配:温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、可调LED灯光模块、振动传感器/蜂鸣器一体模块、超声波测距传感器模块、4位LED数码管显示模块、直流/步进电机一体模块、火焰传感器模块;

选配:压力传感器模块、红外感应传感器模块、雨滴传感器模块、可燃气体传感器模块、酒精传感器模块、DA输出模块等、8*8LED点阵模块、霍尔传感器模块、玻璃破碎检测模块、红外转发模块、门磁检测模块、声控模块等。

1.3、MQTT物联网私有云平台

用户能够将物联网感知层设备(数据网关、传感器、执行器等)接入物联网云服务系统。

系统能够接收并存储传感器和执行器的实时数据,模块在线状态,并实时显示;也能够向执行器发送控制命令;系统能够实现模块的在线监测。

提供后台管理系统,能够设置账号类型和使用权限。支持多用户管理及权限控制,分为父用户和子用户,父用户可以创建多个子用户,并且可以为每个子用户分配增、删、改几种权限,子用户创建的资源相互隔离。

系统提供丰富的接口,支持MQTT,CoAP或HTTP协议进行数据采集,同时也支持websocket 协议订阅数据更新,用于数据可视化或实时分析。

平台可以分为公有云和私有云,公有云可以部署在阿里云之上,使用MongoDB服务器集群作为大数据存储,学生老师申请账号后即可使用;私有云可以为客户提供本地化部署, 客户具有完全的控制权限。私有云支持Cassandra、PostgreSQL数据库。

提供物联网规则编辑器,无需编写代码即可编辑复杂的自动化控制策略,实现移动互联网系统的自动化控制。

提供丰富的可视化控件库,通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。

 学蠡科技

 

支持Linux+QT、UbuntuAndroid8.1操作系统

其他外设:

11.6寸高清触显一体屏:板载,11.6eDP接口,电容式多点触摸,分辨率1920*1080

按键:板载重启、恢复、电源3个功能按键,4个用户自定义按键

音频:音频输出接口、MIC音频输入接口、板载43W扬声器

无线网:WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1

4G模组:板载,型号为SIM7600CE,支持LTE-TDD/LTE-FDD/HSPA+/TD-SCDMA/EVDOGSM/GPRS/EDGE等频段, 支持LTE CAT4

Zigbee网关模块:板载,直列双排20芯插针接口,非usb接口。

BLE网关模块:板载,直列双排20芯插针接口,非usb接口。

USB 3.0 HOST接口:板载4

Debug接口:板载1

Download接口:板载1

键盘:板载780键标准键盘

高清相机模组:CMOS传感器OV4689MIPI信号输出,400万像素,最高支持2688x1520像素,工业级金属外壳封装。

硬件参数:

CPU

SOC:瑞RK3399

核心:大。少,64位双核Cortex-A72 +四核Cortex-A53

频率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz)

GPU

Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC

VPU

4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc

Memory

RAM: Dual-Channel 2GB DDR3

Storage

eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1

Power Management

RK808-D PMIC,配合独立直流/直流,启用dvf solfware省电,RTC唤醒、系统睡眠模式

Connectivity

以太网:本机千兆以太网

wi - fi: 802.11 a / b / g / n / ac

蓝牙:4.1双模式

天线:双天线接口

Video Input

一个或两个4-Lane MIPI-CSI,双重ISP, 13 mpix / s,同时支持双相机数据的输入

Video Output

HDMI: HDMI 2.0a, supports 4K@60Hz,HDCP 1.4/2.2
DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C
LCD Interface: one eDP 1.3(4-Lane,10.8Gbps), one or two 4-Lane MIPI-DSI

USB

USB 2.0: 2独立的本地主机USB 2.0

USB 3.0: 1本地主机USB 3.0

USB c类型:支持USB3.0 c型和显示端口1.2 Alt模式USB c型

PCIe

PCIe x4, compatible with PCIe 2.1, Dual operation mode

调试

1 x调试UART, 3 v级,1500000个基点

LED

1x Power LED(Red)
1x GPIO LED(Green)

Key

Power Key x1
Reset Key x1
Recovery Key x1

工作温度

-20℃ to 70℃

电源

直流12 v / 1或DV 5 v / 2.5 (c型)


 


三、教学资源介绍

1、实验项目列表:

1.1、视觉实验案例

图像采集实验:学习从硬件设备采集图像数据并熟悉图像格式(YUV,RGB)转换,理解V4L2的概念;

图像处理实验:学习图像处理的基本方法,了解各种图像处理方法的功能

视频编码实验:学习视频编码的概念和方法,掌握使用硬件编码器的方法,了解H264编码标准

视频解码实验:学习视频解码的概念和方法,掌握使用硬件解码器的方法,了解H264和H265编码标准,了解RTSP协议

视频分析之背景提取实验:学习视频分析的概念,了解视频中背景提取的方法

人脸检测(传统机器学习方法)实验:学习人脸检测的概念,了解adaboost人脸检测方法

目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法

人脸特征提取(深度学习方法)实验:学习人脸特征提取的概念,了解LightCNN人脸提取方法

人脸识别系统实验:学习人脸识别系统的搭建方法,理解1:1,1:N等概念

双目立体视觉实验:学习立体视觉的概念,掌握用双目相机计算深度信息的方法

目标检测(深度学习方法)实验:学习目标检测的概念,了解Mobilenet-SSD目标检测方法

1.2、无线传感器网络实验案例

ZigBee基础实验:GPIO、定时器、中断等实验

传感器驱动实验:温度/光敏/蜂鸣器一体传感器模块、高精度温湿度传感器模块、两路继电器模块、直流/步进电机一体模块等实验

Zstack基础实验:SampleApp GenericApp SimpleApp SensorDemo SerialApp等实验

Zstack进阶实验:ZigBee 组网实验、ZigBee 传感器采集及数据传输实验、ZigBee网络综合实验

Zstack综合实验:智能家居演示

1.3、语音实验案例

语音前处理实践

录音实验

播放实验

阵列麦克风实验

降噪实验

回声消除实验

语音活性检测实验

语音编码

语音变速变调

语音识别以及语音唤醒

自然语言处理

基于云端平台实现自然语言处理

自然语言处理实践

语音合成语音案例:NLP智能对话实验

1.4、综合实验案例

语音智能家居实验:语音命令控制zigbee继电器实现灯光风扇控制、语音命令获取zigbee温湿度传感器数据、语音命令获取zigbee光照度感器数据等

人脸门禁系统实验:通过与门锁等设备的联动,学习和实践人脸识别在实际场景中的使用


电话咨询
邮件咨询
在线地图
QQ客服