基于AI-Engine增加SDK及Plugin · Pull Request !6 · OpenHarmony/applications_sample_camera

#### 相关的Issue
#I3B2BU

#### 原因（目的、解决的问题）
当前ai-engine仅提供了HiAI Engine轻量级的框架，缺乏可供开发者开发参考的SDK、Plugin示例代码。
除了增加对应的`SDK`和`Plugin`外，为了进行特性验证，还需要增加可运行的`ai`应用。

#### 描述
为了在支持的产品`hispark_taurus`中调度`SDK`和`Plugin`，在有关`camera`产品的`applications`仓中，分别增加图像和音频领域的两个`sample`应用。
1. 唤醒词识别（Keyword Spotting， KWS）
   基于HiAI Engine框架，实现代码位于`ai/asr/keyword_spotting`目录中。
   a. 编译结束将在工程数据目录`out/hispark_taurus/ipcamera_hispark_taurus/dev_tool/bin`生成`kws_app`可执行文件，人工导入到hispark_taurus并运行，初始化完成后通过键盘输入"s"启动唤醒词识别功能；
   b. 运行后，当使用者对着搭载在`hispark_taurus`音频输入MIC说出关键词（即"HI, XIAOWEN"和"NIHAO, WENWEN"）时，触发唤醒词识别后处理动作，命令行打印对应的关键词；
   c. 选取的唤醒词识别模型主要参考"Convolutional Neural Networks for Small-footprint Keyword Spotting"结构，训练数据来自公开数据集MobvoiHotworrds.
   @article{DBLP:journals/spl/HouSOHX19,
     author = {Jingyong Hou and
               Yangyang Shi and
               Mari Ostendorf and
               Mei{-}Yuh Hwang and
               Lei Xie},
     title = {Region Proposal Network Based Small-Footprint Keyword Spotting},
     journal = {{IEEE} Signal Process. Lett.},
     volume = {26},
     number = {10},
     pages = {1471--1475},
     year = {2019},
     url = {https://doi.org/10.1109/LSP.2019.2936282},
     doi = {10.1109/LSP.2019.2936282}
   }

2. 图像识别（Image Classification， IC）
   基于HiAI Engine框架，实现代码位于`ai/cv/keyword_spotting`目录中。
   a. 编译结束将在工程数据目录`out/hispark_taurus/ipcamera_hispark_taurus/dev_tool/bin`生成`ic_app`可执行文件，人工导入到hispark_taurus并运行；
   b. 运行后，，支持实时拍照后图像识别（对应命令`1`）和读取本地图片`/storage/data/image_classification_demo.jpg`（对应命令`2`）后识别；
   c. 选取的唤醒词识别模型主要参考"MobileNetV2: Inverted Residuals and Linear Bttlenecks"开源预训练模型
   @inproceedings{DBLP:conf/cvpr/SandlerHZZC18,
     author = {Mark Sandler and
               Andrew G. Howard and
               Menglong Zhu and
               Andrey Zhmoginov and
               Liang{-}Chieh Chen},
     title = {MobileNetV2: Inverted Residuals and Linear Bottlenecks},
     booktitle = {2018 {IEEE} Conference on Computer Vision and Pattern Recognition,
                  {CVPR} 2018, Salt Lake City, UT, USA, June 18-22, 2018},
     pages = {4510--4520},
     publisher = {{IEEE} Computer Society},
     year = {2018},
     url = {http://openaccess.thecvf.com/content_cvpr_2018/html/Sandler_MobileNetV2_Inverted_Residuals_CVPR_2018_paper.html},
     doi = {10.1109/CVPR.2018.00474}
   }
3.模型转换以来hispark_taurus搭载NNIE提供的转换器，`nnie_mapper`

类型	指派人员	状态
审查	helsing.chen Hary qianpeng 已审查通过	已完成 (1/1人)
测试	openharmony_ci 已测试通过	已完成 (1/1人)

OpenHarmony/applications_sample_camera关闭 .gitee-modal { width: 500px !important; }

搜索帮助

OpenHarmony/applications_sample_camera
关闭