# mini

**Repository Path**: wang_wei_gui/mini

## Basic Information

- **Project Name**: mini
- **Description**: Mini -> 网络下载->爬虫
- **Primary Language**: Java
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-10-23
- **Last Updated**: 2021-10-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#mini -> Mini框架
	Mini框架是一个基于JavaNIO的异步多线程网络爬虫框架。该框架由mini-cache(缓存)、mini-downloader(下载)、mini-net(网络)、mini-spider(蜘蛛)、mini-utils(工具) 5大模块共同组成;
	面向对象注解式爬虫,简单上手速度快,可二次开发或扩展。
	支持事件驱动、线程队列
	支持FIFOCache、LRUCache、LFUCache
	支持gzip压缩流解压，自动识别网页编码。
	支持多线程断点下载任意文件
原理：
    客户端--->发生http请求--->查询缓存--->不存在--->解析响应头--->判断响应类型--->获取响应数据--->下载/解析数据--->得到数据
									  

#[mini-spdier](http://git.oschina.net/leunpha/mini/tree/master/mini-spider)
#[mini-downloader](http://git.oschina.net/leunpha/mini/tree/master/mini-downloader)
#[mini-net](http://git.oschina.net/leunpha/mini/tree/master/mini-net)
#[mini-utils](http://git.oschina.net/leunpha/mini/tree/master/mini-utils)