登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
代码拉取完成,页面将自动刷新
仓库状态说明
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
12
Star
22
Fork
39
Kunpeng
/
KAE
暂停
代码
Issues
18
Pull Requests
1
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
235
修复KAEZSTD在大数据&数据库场景解压缩错误
已合并
liuyongyang:kae2
Kunpeng:kae2
liuyongyang
创建于 2024-06-27 14:34
克隆/下载
HTTPS
SSH
复制
下载 Email Patch
下载 Diff 文件
现象:在大数据组件hadoop, kafka和数据库gpdb适配KAEZSTD后,读数据(解压缩时)出现了“Corrupted Block Detected” 错误。 定位: 1、KAEZSTD只hack了压缩时lz77的三元组生成部分,因此问题只能是出在压缩阶段。通过dump业务数据,求助公共开发部的同时解析发现,压缩的最后一个尾包中三元组序列的头两个序列存在明显异常。通过最小复现demo,拉通驱动和硬件的同事,定位出驱动内部在为三元组的切分内存时,没有考虑到极端情况下原本应给硬件预留16个Byte的空间也被占用,从而导致出现内存踩踏,使返回的头2个三元组数值异常。解决此问题后,kafka与gpdb场景可正常使用。 2、hadoop在使用上与前两者不同。同一线程下若任务量较大,则在做完一次任务后,对已有的cctx不会free然后重新create,然而进行一个reset操作后继续复用。在这种情况下,KAE并没有适配感知到,从而导致一些内部状态没有reset(如status没有重置为KAEZIP_COMP_INIT,导致传入驱动的stream_pos没有重置为WCRYPTO_COMP_STREAM_NEW),从而导致压缩异常。 解决:在uadk代码中,多为lit和seq切割16字节空间,同时在zstd的patch中新增reset接口感知,在zstd调用ZSTD_CCtx_reset同时在KAEZSTD中将相应状态重置。 验证:新增代码已在hadoop 1+3场景下验证无误。
此 Pull Request 需要通过一些审核项
类型
指派人员
状态
审查
derekzhang
已审查通过
lauyarn
已审查通过
zhongkeyi
已审查通过
liuyongyang
已审查通过
已完成
(4/2人)
怎样手动合并此 Pull Request
git checkout kae2
git pull https://gitee.com/snowdance1997/KAE.git kae2
git push origin kae2
评论
7
提交
1
文件
10
检查
代码问题
0
批量操作
展开设置
折叠设置
审查
Code Owner
审查人员
XHPIntell
xhpintell
beiyuani
beiyuani
ywh
y-w-h
Yikun
yikunkero
lauyarn
lauyarn
muhuiqin
mu-huiqin
yuzh
yuzh1105
derekzhang
derekpush
zhongkeyi
realzhongkeyi
liuyongyang
snowdance1997
未设置
最少人数
2
测试
XHPIntell
xhpintell
beiyuani
beiyuani
ywh
y-w-h
Yikun
yikunkero
lauyarn
lauyarn
muhuiqin
mu-huiqin
yuzh
yuzh1105
未设置
最少人数
0
优先级
不指定
严重
主要
次要
不重要
标签
ci-pipeline-failed
关联 Issue
IA8L0R
```suggestion kaezip_ctx->flush = (zc->kaeFrameMode == 1) ? WCRYPTO_FINISH :```此处kaeFrameMode == 1有魔鬼数字,建议使用宏或者枚举表示具体含义
IA8L1Y
```suggestion sqe->dest_addr_l = lower_32_bits((__u64)addr.dest_addr + msg->in_size + ZSTD_LIT_RSV_SIZE);```
Pull Request 合并后将关闭上述关联 Issue
里程碑
未关联里程碑
参与者
(3)
1
https://gitee.com/kunpengcompute/KAE.git
git@gitee.com:kunpengcompute/KAE.git
kunpengcompute
KAE
KAE
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册