6.进入.env 文件配置，设置发信邮箱信息，配置完成后才可以发送邮件通知。 ```raw # Email Notification EMAILS_ENABLED=True FRONTEND_ENTRYPOINT= SMTP_TLS= SMTP_PORT= SMTP_HOST= SMTP_USER= SMTP_PASSWORD= EMAILS_FROM_EMAIL= EMAILS_FROM_NAME=ymir-project EMAIL_RESET_TOKEN_EXPIRE_HOURS=1 EMAIL_TEMPLATES_DIR=/app/email-templates/build ``` ## 2.3. 安装配置LabelStudio （可选） label studio同时也是YMIR所支持的外接标注系统，可以作为备选标注工具安装。 1. 在上一节的YMIR目录下，修改.env文件，配置 LABEL_TOOL ``` LABEL_TOOL=label_studio ``` 2. 配置好标注工具（LABEL_TOOL）后启动安装 label studio 命令如下： ```sh docker-compose -f docker-compose.label_studio.yml up -d ``` 3. 完成后查看label studio状态命令如下： ```sh docker-compose -f docker-compose.label_studio.yml ps` ``` 可以登录默认地址 [http://localhost:8763/](http://localhost:8763/) 显示登录界面即安装成功。 4. 停止label studio服务命令如下： ```sh docker-compose -f docker-compose.label_studio.yml down ``` # 3. GUI使用-典型模型生产流程 ![YMIR-GUI process](https://github.com/IndustryEssentials/ymir-images/blob/main/doc_images/YMIR-GUI-process.jpeg) 数据和标签是深度学习模型训练的必要条件，模型的训练需要大量带标签的数据。然而在实际情况下，现实中存在的是大量没有标签的数据，如果全部由标注人员手工打上标签，人力和时间成本过高。因此，YMIR平台通过主动学习的方法，首先通过本地导入或者少量数据来训练出一个初始模型，使用该初始模型，从海量数据中挖掘出对模型能力提高最有利的数据。挖掘完成后，仅针对这部分数据进行标注，对原本的训练数据集进行高效扩充。使用更新后的数据集再次训练模型，以此来提高模型能力。相比于对全部数据标注后再训练，YMIR平台提供的方法更高效，减少了对低质量数据的标注成本。通过挖掘，标注，训练的循环，扩充高质量数据，提升模型能力。本次使用一次模型迭代的完整流程来说明YMIR平台的操作过程。具体的操作流程请查看[操作说明](https://github.com/IndustryEssentials/ymir/wiki/%E6%93%8D%E4%BD%9C%E8%AF%B4%E6%98%8E)。 # 4. 进阶版：Ymir-CMD line使用指南本章节为YMIR-CMD line的使用说明，如需安装和使用GUI，请参考[GUI安装说明](#2-安装)。 ## 4.1 安装 ### 方式一：通过pip安装 ``` # Requires >= Python3.8.10 $ pip install ymir-cmd $ mir --vesion ``` ### 方式二：通过源码安装 ``` $ git clone --recursive https://github.com/IndustryEssentials/ymir.git $ cd ymir/ymir/command $ python setup.py clean --all install $ mir --version ``` ## 4.2 典型模型生产流程 ![流程-中文](https://github.com/IndustryEssentials/ymir-images/blob/main/doc_images/%E6%B5%81%E7%A8%8B-%E4%B8%AD%E6%96%87.jpeg) 上图所示的是模型训练的一个典型流程：用户准备好外部数据，导入本系统，对数据进行适当筛选，开始训练得到一个（可能是粗精度的）模型，并依据这个模型，在一个待挖掘数据集中挑选适合进一步训练的图片，将这些图片进行标注，标注完成的结果与原训练集合并，用合并以后的结果再次执行训练过程，得到效果更好的模型。在这一节里，我们需要使用命令行实现上图所示的流程，其他流程也可以类似实现。具体操作请查看[命令行使用说明](https://github.com/IndustryEssentials/ymir/wiki/%E5%91%BD%E4%BB%A4%E8%A1%8C%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E)。 # 5. 获取代码 ## 5.1 代码贡献 YMIR repo中的任何代码都应遵循编码标准，并将在CI测试中进行检查。 - 功能性代码需要进行单元测试。 - 在提交前使用 [flake8](https://flake8.pycqa.org/en/latest/) 或 [black](https://github.com/ambv/black) 来格式化代码。这两者均遵循 [PEP8](https://www.python.org/dev/peps/pep-0008) 和 [Google Python Style](https://google.github.io/styleguide/pyguide.html) 风格指南。 - [mypy](http://mypy-lang.org/) - Python必须经过静态类型检查。也可以查看 [MSFT编码风格](https://github.com/Microsoft/Recommenders/wiki/Coding-Guidelines) 来获取更多的建议。 ## 5.2 关于训练，推理与挖掘镜像，以及模型包结构 [查看这篇文档](https://github.com/IndustryEssentials/ymir/blob/dev/dev_docs/ymir-cmd-container.md)获取更多有关训练，推理与挖掘镜像的细节。 [查看这篇文档](https://github.com/IndustryEssentials/ymir/blob/dev/dev_docs/ymir-model-structure.md) 获取更多关于模型包数据结构的细节。 # 6. 设计理念我们使用Git中代码版本控制的概念来管理我们的数据和模型。我们使用分支的概念创建新项目，以便同一组映像上的不同任务可以并行运行。数据集的增加、检索、更新和删除以及基本操作都创建提交到分支。从逻辑上讲，每次提交都存储数据集或新模型的更新版本，以及导致此更改的操作的元数据。最后，只有数据更改被合并到主分支，这在概念上，聚合了该平台上许多项目注释的所有数据。具体设计理念请查看 [Life of a dataset](https://github.com/IndustryEssentials/ymir/wiki/%E6%95%B0%E6%8D%AE%E9%9B%86%E6%B5%81%E8%BD%AC%E8%BF%87%E7%A8%8B)。 # 7.MISC ## 7.1 常见问题 * 为什么上传本地数据集的压缩包失败？无论是否有标签，必须创建images文件夹和annotations文件夹。图像放入images文件夹下，格式限为jpg、jpeg、png。标注文件放入annotations文件夹下，格式为pascal（无标注文件，annotations文件夹为空）。将images，annotations放入同一文件夹下，并压缩为.zip压缩包（非.rar压缩格式）。 * 应该如何取得训练和挖掘的配置文件？默认配置文件模板需要在镜像中提取。训练镜像 `industryessentials/executor-det-yolov4-training:release-0.1.2` 的配置文件模板位于：`/img-man/training-template.yaml` 挖掘与推理镜像 `industryessentials/executor-det-yolov4-mining:release-0.1.2` 的配置文件模板位于：`/img-man/mining-template.yaml`（挖掘）以及 `/img-man/infer-template.yaml`（推理） * 如何在系统外部使用训练出来的模型？成功完成训练后，系统会输出模型的 id，用户可以根据这个 id 到 `--model-location` 位置找到对应的文件，它事实上是一个 tar 文件，可以直接使用 tar 命令解压，得到 params 和 json 格式的 mxnet 模型文件。 * 在windows系统遇到部署、调试、运行问题如何解决？尚未在Windows服务器完备测试，暂时无法提供服务支持。 * 如何导入外部模型参考[此文档](https://github.com/IndustryEssentials/ymir/blob/dev/dev_docs/import-extra-models.md)。 [![All Contributors](https://img.shields.io/badge/All%20Contributors-9-brightgreen)](#contributors-)