8.1 KiB
请协助排查QMT每30秒产生的SIG_INVALID及消息序号缺口
致QMT研发同事:
请协助定位目前持续出现的验签拒绝。截至2026年10月27日16:29的复核,QMT仍约每30秒产生一条SIG_INVALID。这些拒绝占用了上行消息序号,但没有实时送到当前PMS连接,重连后才能补回,导致PMS无法连续确认已收消息。
此前数分钟断线已确认与QMT系统重启有关,不作为本次故障判断依据。本次重点是重启后仍在产生的验签拒绝,以及这些拒绝的生成、存储和投递路径。
1. 对接环境和影响
| 项目 | 当前情况 |
|---|---|
| PMS | 155模拟环境,出口IP为192.168.16.155,只有一个pms-ws连接进程 |
| QMT端点 | ws://192.168.18.182:9443/pms |
| 曾使用的测试端点 | ws://192.168.16.98:9443/pms,是否仍有相关客户端或服务运行待核实 |
| 连接和账户读取 | 握手、心跳、空仓及资金快照可正常取得 |
| 当前影响 | 连续消息确认被序号缺口阻塞,交易暂停保留,尚未恢复自动执行 |
| 排查期间操作 | 未发送测试委托,未修改密钥,未归零或降低消息序号 |
2. 请优先反查这条最新拒绝
请先根据下列字段,在QMT侧找到触发拒绝的原始入站请求及其来源连接。下面是已收到拒绝的定位字段节选,不是原始完整信封:
{
"type": "reject",
"seq": 1442087,
"msg_id": "m-20261027-ba36fcf9",
"ts": 1793089732694,
"payload": {
"instruction_id": null,
"code": "SIG_INVALID",
"reason": "signature verification failed",
"retryable": false
}
}
其中msg_id是拒绝消息自身的编号,不能当作被拒原请求的编号。当前拒绝没有提供可用于定位原请求的关联字段。
最近7条拒绝如下。时间均为2026年10月27日北京时间,由QMT报文ts字段换算,并非PMS收到补发的时间。
| seq | QMT报文产生时间 |
|---|---|
| 1442045 | 16:25:52.428 |
| 1442052 | 16:26:22.473 |
| 1442059 | 16:26:52.521 |
| 1442066 | 16:27:22.561 |
| 1442073 | 16:27:52.607 |
| 1442080 | 16:28:22.661 |
| 1442087 | 16:28:52.694 |
这7条均为上述SIG_INVALID。PMS在16:28:58至16:28:59重连补发时收到它们,说明近期缺口已确认对应验签拒绝,并非仅根据跳号推测。
3. PMS侧已经核实的事实
- 16:07:26至16:08:56曾停掉155唯一PMS连接约90秒。此期间对182和98的9443端口限定抓包为0,但QMT仍在16:07:50.635、16:08:20.671、16:08:50.707产生三条拒绝,序号为1441798、1441799、1441800,随后补发到PMS。这排除了当前PMS在停机期间发送新请求触发这三条拒绝;其他客户端、服务内部定时任务或延迟处理仍须QMT侧定位。
- 16:08:59恢复连接后的完整采样中,37条PMS下行和84条QMT上行共121条报文均可通过签名复核。PMS下行只有hello、query_positions、query_funds、ack_seq和ping,没有下单或撤单。心跳约5秒一次,账户查询配置为300秒一次。
- 上述结果不代表已经获得“真正验签失败的原始请求”,也不能替代核对QMT为该请求选用了哪把公钥。PMS收到的是QMT正确签名的失败通知,不是PMS验不过这条通知本身。
- 16:28:38,PMS连续确认停在1442044,已收最高1442083,暂存33条。一次受控重连从1442045起补发,补回上述近期拒绝后确认继续推进。问题不能仅用此前系统重启或当前ONLINE状态解释。
目前尚未证实这些失败请求来自98旧环境,也尚未证实来自当前155 PMS。请以原请求的来源地址、连接ID和运行进程为准。
4. 请QMT侧按以下顺序排查
第一步:找到每30秒触发一次的来源。 优先查16:25:40至16:29:10的日志,以seq=1442087或拒绝msg_id反向关联原请求。需要服务实例、PID、连接ID、远端IP及端口、原请求type和msg_id。检查是否存在旧客户端、健康探针、模拟客户端或30秒重试任务。若现场连接列表没有该来源,继续查历史接入日志,短连接可能已经退出。
第二步:给出验签失败的直接原因。 请保留一条失败原请求的v、type、msg_id、ts、nonce、payload、sig,以及实际使用的公钥指纹、payload序列化结果摘要、签名规范串摘要和异常类型。确认是签名缺失、公钥选择错误、规范化差异、实际签名不匹配,还是其他校验错误被统一映射成SIG_INVALID。
当前155 PMS签名公钥的指纹如下。计算口径是Ed25519裸公钥32字节的SHA-256,不是PEM文件文本的摘要:
d49def41f4362d59a07675f49dce2a1e1bacc706315de98c67a2f7e72c201a98
双方签名规范为六段字符串,以单个换行连接,末尾没有换行:
v
type
msg_id
ts
nonce
sha256(payload_json)
payload_json使用键排序、紧凑JSON和UTF-8,不转义中文。seq和corr_id不属于现行协议的六段签名内容。请核对失败请求实际走的代码,而不仅核对握手成功时走的代码。
第三步:核对序号和投递归属。 对同一条拒绝串起“分配seq、写入回放存储、加入发送队列、实际发送”四个环节,记录各环节时间、队列所属连接和socket目标连接。需要解释:它为什么消耗了当前PMS接收序列中的号码,却没有实时送给这条连接,之后又能从该连接的回放记录里补回。
第四步:检查182和98是否混用了状态。 核对两端的运行入口、代码提交、服务及计划任务、可信PMS公钥、Redis主机和数据库编号,以及seq、回放记录、ack状态的键名或前缀。确认是否跨环境、账户或连接共用了本应分开的状态。另检查新连接是否在身份验证成功前替换旧连接,以及旧发送任务是否可能取到新连接的队列。
请先定位来源与原因,再决定修改方案。不要通过关闭验签、清空序号或反复重连来消除表面告警;这些操作不能说明故障已修复。无需提供私钥、密码或完整环境文件。
5. 如需双方一起看代码,请提供这些部分
请提供当前实际运行版本和提交号,文件名以QMT项目为准,不必提交整个仓库。
| 代码职责 | 需要的函数范围 |
|---|---|
| 连接生命周期 | 接入、hello认证、登记或替换活动连接、断开清理 |
| 验签 | 公钥加载与选择、payload规范化、签名串生成、verify、异常映射 |
| 拒绝发布 | SIG_INVALID生成、序号分配、存储及目标连接选择 |
| 消息发送与回放 | 发送队列与socket绑定、任务取消、按last_seq补发、ack处理 |
| 环境及周期任务 | Redis命名空间配置、30秒重试或探针任务及其启动入口 |
若现有日志缺少关联字段,可在测试环境短期补日志,至少覆盖三个30秒周期。原始失败帧留在QMT本机;如共享时修改了签名覆盖字段进行脱敏,请标注“已脱敏,不能直接验签”,同时提供原始规范串摘要供双方核对。
6. 请按此格式返回排查结论
排查时间及QMT运行版本:
失败请求来源:主机/IP、进程或服务、连接ID。
被拒请求:type、msg_id、ts;关联reject的seq/msg_id。
每30秒触发的原因:
验签失败的直接原因及证据:
使用的公钥指纹及规范串摘要:
该拒绝的存储位置和实际投递连接:
为何造成当前PMS的序号缺口:
182与98是否共用相关状态:
拟修改的文件或配置及影响范围:
修复后验证时间、日志和结果:
修复后双方连续观察至少10分钟。预期不再出现同类拒绝,PMS消息确认连续推进,没有新缺口或连接被替换。PMS现有逻辑会在缺口持续300秒后跳过缺口并保留对账标记,因此只看到序号变大不能算验证通过。双方完成通道与账户对账后,再处理交易恢复。
PMS侧可补充已整理的119条原样协议报文、日志、公钥和离线复核脚本。该材料不含账户快照或私钥。如需交叉查原始证据,最新复核保存在155的/home/factor/project/tradingSystem/backups/qmt-current-reject-20261027,停连和抓包证据保存在同级qmt-joint-20261027目录。