FEATUREDV6.0Edge AI · Embedded · Healthcare
168/168 tests passing · 全栈开源 (MIT)EchoGlove V6.0 — 边缘 AI + SFLP 融合的双手语翻译智能手套
听障人群日常沟通依赖人工手语翻译，成本高、实时性差。现有视觉手势识别方案受光照、遮挡与背景干扰大，难以在移动场景中稳定使用。
§ Technical Highlights
SFLP 超低功耗融合
ST LSM6DSV16X / BNO085 内置 SFLP 0.65mA 输出 4 元数；IMU 内部温度传感器对弯曲传感器做温漂补偿，11 维/单手势特征。
三级边缘推理架构
Tier1 1D-CNN (<3ms) · Tier2 Gated Bi-CrossAttention (<30ms，集成 7 寸屏 + TTS) · Tier3 ST-GCN+MS-TCN 解析 60+ 类连续手语。
高可靠双模通信
ESP-NOW (~2ms) + BLE 5.0 双模冗余，28 维双手特征融合，三级模型热切换自动降级，丢包插值补帧。
长链连续语句推理
云端 GCN 时序模型 + 上下文关联解析，从孤立手势识别升级到连续手语句法级别的语义映射。
§ Architecture·3-tier edge inference
┌──────────────────────────────────────────────────────────┐
│ GLOVE · ESP32-S3 (Tier 1) │
│ ┌──────────────────────────────────────────────┐ │
│ │ 5x Flex + LSM6DSV16X / BNO085 + Hall │ │
│ │ SFLP 0.65mA · 4 元数 + 11 维特征 │ │
│ └────────────────────┬─────────────────────────┘ │
│ │ │
│ ┌────────▼────────┐ │
│ │ 1D-CNN <3ms │ │
│ └────────┬────────┘ │
│ │ ESP-NOW + BLE 5.0 双模冗余 │
└───────────────────────┼──────────────────────────────────┘
│ 28-dim 双手特征
┌───────────────────────▼──────────────────────────────────┐
│ BASE STATION · ESP32-P4 (Tier 2) │
│ ┌──────────────────────────────────────────────┐ │
│ │ Gated Bi-CrossAttention <30ms │ │
│ │ 7" Display + TTS 语音 · 脱机独立可工作 │ │
│ └────────────────────┬─────────────────────────┘ │
│ │ Wi-Fi / USB │
└───────────────────────┼──────────────────────────────────┘
│
┌───────────────────────▼──────────────────────────────────┐
│ CLOUD / PC (Tier 3) │
│ ┌──────────────────────────────────────────────┐ │
│ │ ST-GCN + MS-TCN 时序模型 │ │
│ │ 60+ 类 · 连续手语句法解析 │ │
│ └────────────────────┬─────────────────────────┘ │
└───────────────────────┼──────────────────────────────────┘
│
┌─────▼─────┐
│ Mobile App │
│ Text / Voice│
└────────────┘§ Key Metrics
Tier 1 延迟
<3ms
Tier 2 延迟
<30ms
SFLP 功耗
0.65mA
连续手语类
60+类
双手特征维度
28维
自动化测试
168/168
§ Tech Stack
硬件
- ▸ESP32-S3 (主控)
- ▸ESP32-P4 (基站)
- ▸LSM6DSV16X / BNO085 IMU
- ▸5× 柔性弯曲传感器
- ▸霍尔传感器
- ▸7" 显示屏 + TTS 模块
边缘 AI
- ▸TensorFlow Lite Micro
- ▸1D-CNN (Tier 1)
- ▸Gated Bi-CrossAttention (Tier 2)
- ▸ST-GCN + MS-TCN (Tier 3)
通信
- ▸ESP-NOW (~2ms)
- ▸BLE 5.0
- ▸Wi-Fi
- ▸UWB (备选)
软件
- ▸C++ 固件
- ▸Python 推理
- ▸Unity 可视化
- ▸Web 中继
- ▸移动 App
面向听障人群的实时连续手语翻译与 3D 动作捕捉系统。融合柔性传感器、IMU、UWB 与霍尔传感器，3 级边缘推理架构实现"感知→编码→推理→表达"完整闭环。
View on GitHub