# TQSec LogAnalysisBot

**Repository Path**: dashengbaby/tqsec-log-analysis-bot

## Basic Information

- **Project Name**: TQSec LogAnalysisBot
- **Description**: TQSec LogAnalysisBot V1.0.0 是一个基于Nginx日志的攻击检测和分析工具。它使用深度学习模型来识别和分类攻击行为，帮助安全团队及时发现和响应安全威胁。  
我们希望使用最小的资源占用实现最精准的识别。该模型文件仅不到5M大小，目前使用PHP的日志进行训练，您可以客制化独属于您的专业识别的模型。
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: main
- **Homepage**: https://tqsec.eu.org
- **GVP Project**: No

## Statistics

- **Stars**: 19
- **Forks**: 5
- **Created**: 2025-09-22
- **Last Updated**: 2025-10-28

## Categories & Tags

**Categories**: security-dev

**Tags**: 日志分析, waf

## README

# TQSec LogAnalysisBot
<div align="center">
<a href='https://gitee.com/dashengbaby/tqsec-log-analysis-bot/stargazers'><img src='https://gitee.com/dashengbaby/tqsec-log-analysis-bot/badge/star.svg?theme=white' alt='star'></img></a>
<a href='https://gitee.com/dashengbaby/tqsec-log-analysis-bot/members'><img src='https://gitee.com/dashengbaby/tqsec-log-analysis-bot/badge/fork.svg?theme=white' alt='fork'></img></a>
</div>


## 什么是TQSec LogAnalysisBot？
TQSec LogAnalysisBot 是一个基于Nginx日志的攻击检测和分析工具。它使用```深度学习模型```和```正则规则```来识别攻击行为，帮助安全团队及时发现日志中的安全威胁。  
我们希望使用最小的资源占用实现最精准的识别。该本地模型文件仅不到5M大小，目前使用PHP的日志进行训练，您可以客制化独属于您的专业识别的模型。
```
模型大小 ≤5M
识别速度 ≤10ms
最低配置 1H1G
当前支持的后端 PHP
支持的中间件 Nginx
```

### 精准度怎么样？
目前测试集上的精准度为 98.86% ，召回率为 99.19% ，F1分数为 99.24% 。  
![训练结果](images/setp3-result2.PNG)

## 硬件配置
> 可运行的最低配置  
1H1G / NoGPU  
推荐  
2H2G / NoGPU  
这个小模型不需要GPU  
如果您需要训练、微调请参考以下配置  
8H8G / NoGPU    

## 怎么快速获取专属训练集？  
1、我们已经上传部分恶意请求的数据集到``` ./数据集/attack_any_1.log ```  
2、您需要从您的web中提取正常请求日志到safe.log.txt中

# 怎么训练和使用?
## 1、您需要先准备Nginx Log训练集  
```
攻击行为日志 attack.log.txt
正常请求日志 safe.log.txt
```
将训练集放到当前目录下


## 2、将日志文件格式化到Jsonl文件中

```bash
python Log2Jsonl.py
```

## 3、特征提取、URL和UA分词
```bash
python Jsonl2npz.py
```

## 4、模型训练
```bash
python model_train.py
```

## 5、模型使用
```bash
pip install -r requirements.txt
python start.py
```
![ui1](images/1.PNG)
![ui2](images/2.PNG)
![ui3](images/3.PNG)
![ui4](images/4.PNG)
![ui5](images/5.PNG)
![ui6](images/6.PNG)
![ui7](images/7.PNG)
![ui8](images/8.PNG)
![ui9](images/9.PNG)
在数据表格中可以右键可以查看关联数据    

# 关于我们
> 官网 https://tqsec.eu.org  
领先的AI驱动网络安全产品，为您的企业提供全方位威胁检测与报告解决方案，让安全防护更智能、更高效。  
## 其他产品
### AI情报哨兵
> 新一代智能网站监控系统，采用先进的自然语言处理技术，让您只需用日常语言描述监控需求，AI就能精准识别关键信息、追踪变化趋势并自动保存相关内容。系统支持自定义Word报告生成，可根据您的需求定制报告格式、内容重点和数据可视化方式，帮助您快速掌握网站安全状况，及时发现潜在风险。
### AI翻译官
> 基于深度学习的专业安全报告翻译工具，采用神经网络机器翻译与领域专业术语库相结合的方式，将英文NESSUS报告精准转换为符合中文表达习惯的自定义Word报告。系统内置多重AI审核机制，通过语法检查、术语一致性验证和专业内容合理性评估，确保翻译内容既准确又专业。支持自定义报告模板、排版格式和内容重点，帮助安全团队快速生成高质量中文报告，提升沟通效率和决策速度。


## 加入我们
Email：manager@tqsec.eu.org  
TQsec网络安全团队 欢迎您的加入~

## 致谢🙏
- 火山引擎(虽然是我自己买的服务器，但是蛮便宜的)[火山引擎官网](https://www.volcengine.com/)
- 腾讯元宝(超聪明且免费，我的AI接口买的腾讯家的，超便宜的)[腾讯元宝官网](https://yuanbao.tencent.com)
- Alibaba Qwen3(emmm，模型挺大的)[阿里云官网](https://www.aliyun.com/)
- Gitee(我现在就在用，不是吗？)[Gitee官网](https://gitee.com)
- 欢迎关注团队微信公众号(TQSec团队的最新讯息！)[点击查看](https://mp.weixin.qq.com/s/8zzQLEZi5Gi7idFjpePonw)
- 感谢每一个浏览这个仓库、Star这个仓库、Fork这个仓库每一位“安全人”，“没有网络安全就没有国家安全”，我们一起努力创造更美好的明天！