核验分钟补齐接口与信号接入价值

This commit is contained in:
baobao 2026-11-11 16:51:32 +08:00
parent 758973761c
commit c7747e3ab2
3 changed files with 93 additions and 0 deletions

View File

@ -2995,3 +2995,7 @@ PMS最终代码56db0fd已推送,155 web/WS/beat为execution-2b1c447,worker
### 2026年11月11日16:18 多源择时发布完成
155仅web、worker发布ce91a35,候选全量通过,专项14项通过。188完成ITD 2463a2e和Bionic e139e34发布,候选958项和18组通过。16:17:11经ParamStore开启三组权重。两台机器的其他25和44个容器均未变。确认1783892连续,待入账、孤儿、在途0,数量与现金差0。日线110只真实只读复算均为11月10日且重复一致。分钟缺口只列清单,不补齐。收盘后未产生自然方向或异步研判验收,不将部署等同盘中判收。详见[发布接续](docs/多源择时发布接续_2026-11-11.md)。
### 2026年11月11日16:49 分钟补齐只读可行性核验
官方rt_min_daily支持当日累计。155现有行情凭据实测三只股票各241条,208对应191、192、189条;共同572条六字段全部一致,缺151条。30分钟窗口正成交条数由12、12、10变为30、30、26。188只读SQL样本有一年原料,今天尚未入表。建议小业务池异步补齐并同时处理当前分钟时效;当前三分之一融合不因分钟缺口停用。仅分析,未发布、补齐或改阈值,详见[评估](docs/分钟数据补齐可行性与工作价值_2026-11-11.md)。

View File

@ -0,0 +1,87 @@
# 分钟数据补齐可行性与工作价值评估
核验时间:2026年11月11日16:44至16:49,北京时间。本次仅研究与只读核验,没有新增采集服务、写入共享Redis或分钟表,没有发布信号、调用模型或重建服务。
## 结论
建议为当前业务股票池增加独立的分钟缓存与补齐任务。已有接口可以取得当天历史分钟,当前账户权限也已实测通过。消费端可复用现有行情适配接口,但需要同时解决当前分钟的及时到达,不能只补历史缺口。
对恢复原有分钟量化入场链路,价值较高。对刚启用的三组等权融合,直接影响有限:技术组采纳的是日线QRS,主力资金来自其既有资金原料,v3f目前读取另一条东财分时来源。这次Tushare分钟补齐不构成第四份独立证据,也不是三组等权继续运行的前提。
一年分钟表能扩展确定性指标重算、覆盖和缺失敏感性研究。它不能补出当年真实发布时间、当时能否取得数据或模型判断。因此不能据此把24日联合实发窗口改称一年,也不能直接据此重新增加模型权重。
## 官方接口与账户实测
| 数据入口 | 能做的事情 | 边界 |
| --- | --- | --- |
| rt_min | 多股票提取最近已闭合分钟 | 不提供任意历史起止时间,适合业务池最新分钟 |
| rt_min_daily | 单股票提取当天开盘以来的分钟 | 可修复当天过去的缺口,逐票请求;当日数据不代表跨日历史接口 |
| stk_mins | 指定股票和起止时间提取历史分钟 | 官方提供长期历史,需独立权限;现有SQL表可避免重复采集历史 |
| gp_stk_mins_1min | 已归档的历史分钟 | 不能把盘后才写入的数据当作盘中已知 |
依据:[实时分钟](https://tushare.pro/document/2?doc_id=374)、[当日累计分钟](https://tushare.pro/document/2?doc_id=457)、[历史分钟](https://tushare.pro/document/2?doc_id=370)。当前文档区分“A股分钟RT”和“A股历史分钟”权限,不能从积分或某个其他接口可用推定全部可用。
16:45:36使用155既有行情采集容器中的凭据,仅向官方HTTPS接口请求三只沪深股票。`rt_min_daily`均返回HTTP 200、业务码0、241条。请求耗时分别为0.313、0.349和0.274秒。这是收盘后的少量请求结果,不是盘中吞吐或延迟保证。
16:49:35又用rt_min单次请求这三个代码,返回三条15:00闭合分钟,耗时0.301秒。验证批量最新分钟入口可用;没有测试盘中实时延迟。
与16:45:09的208 Redis原始数组比较:
| 股票 | Redis当日条数 | 官方当日条数 | Redis缺少整条记录 | 共同记录字段不一致 |
| --- | ---: | ---: | ---: | ---: |
| 雷赛智能002979.SZ | 191 | 241 | 50 | 0 |
| 华策影视300133.SZ | 192 | 241 | 49 | 0 |
| 688580.SH | 189 | 241 | 52 | 0 |
共同572条的开、高、低、收、量、额全部一致。缺少151条中140条为正成交,11条为明确零成交。只能定位到当天实时数据取得或Redis留存链路有遗漏,不能凭此断言具体哪一个第三方任务出错。
针对14:25至14:54窗口,三只股票的正成交分钟分别从12、12、10条恢复到30、30、26条,均跨过原有20条门槛。这说明可以解除该处数据不足,不等于三只股票都满足其他入场条件,也不证明当时实时接口已经具备相同数据。
16:44:22从现有ITD连接只读SQL。三只样本都能取得2025年11月11日记录;最新均为2026年11月10日15:00。11月10日各241条,今天各0条。证明样本有约一年重算原料,不证明全市场一年无缺失,也不确定今天盘后作业的具体完成时间。
## 现有代码的接入条件
`RedisRTKlineAdapter.get_kline_minute`已经分流:今天从Redis及进程内缓存读取,更早日期从MySQL读取。原Redis键虽然旧注释称单条,实际实现可解析数组。补齐不需要改写PMS委托与账本,应放在ITD的数据层。
分钟QRS使用最近30分钟,至少20条正成交记录。零成交、缺少记录与停牌是三种不同情况。量能因子还要求计算时点及5分钟前的价格精确存在。现用聚合配置为strict,任一必要特征不可用会阻断分数,不能把没有信号理解成没有机会。
仅把完整数据放到SQL,当前今天的数据分流不会读取它。仅在几分钟后补到缓存,也不会自动重算此前已经被跳过的评估。因此接入包括数据适配、就绪判定与时序三个部分。
## 建议实施范围
1. 独立任务只处理现有业务池中的沪深股票。优先保障持仓、人工关注及当前候选;不把范围扩到全市场。PMS执行路径不请求Tushare,不等待补采。
2. 保留第三方Redis只读入口。另建本系统自有缓存,按股票、交易日和分钟去重,服务重启可恢复。补齐任务只补实际缺少的记录;已有字段冲突另存差异,不能静默覆盖。
3. 缺过去分钟时使用rt_min_daily,一次取得该股票当天记录,补后可服务多个计算窗口。当前闭合分钟则可用rt_min批量补取。保留15分钟第三方主源时,不能只靠低频逐票补历史保证每分钟因子可用。
4. 为同一股票同一天合并补采任务,设置冷却、超时、退避、全局配额和队列上限。实时需要的股票优先,历史归档不得占满实时队列。具体频率须经盘中小池实测及账户配额核对。
5. 不在信号计算循环里逐票同步请求。若假设每分钟20次,110只股票全补至少5.5分钟,尚未计入网络耗时;这无法直接满足当前分钟及连续分钟条件。批量最新分钟与缺口补采应分开调度。
6. 行情时间、首次看到时间、来源、抓取时间和版本分别记录。只计算已经闭合且在时效内可得的分钟。迟到数据可进入当前滚动窗口或研究,但不将过去应有的买入信号当作现在的新机会;不回放旧动作,不倒填连续确认。
7. 盘后使用gp_stk_mins_1min核对缓存,按原单位与竞价、午休、收盘规则处理。不能固定把每一天强制填成240根;本次接口和SQL样本包含09:30记录,共241条。缺失不补零,不插值,合法零成交保留。
## 对当前工作的具体意义
| 当前工作 | 意义 |
| --- | --- |
| 三组等权运行 | 不需要因此停用或修改三分之一。此次补齐不直接修复日线QRS或另外两条原料链。 |
| 分钟量化入场和信号覆盖 | 价值较高,可把数据不足与策略不满足分开,并恢复原有必要输入。当前窗口实测已证明存在可恢复的数据阻断。 |
| 独立性权重研究 | 有助于扩展分钟指标重算,检验分钟QRS、日线QRS和v3f的冗余;技术同组或派生成分不能直接获得额外票数。 |
| 研究可复现性 | 一年表可用于历史重算、故意删去分钟后的敏感性对照及日终校验,但必须标记事后数据。 |
| 证明收益改善 | 当前证据不支持。恢复数据可用不等于出现建仓机会,更不等于盈利增加。 |
建议先完成业务池缓存和有期限的补齐接入,不建设第二套全市场历史库。接入前用已归档分钟和实际缺失掩码进行隔离回放,比较可计算窗口比例、当前与滞后分钟缺失率、超时和版本差异。接入后只用自然盘中样本核验时效,不以盘后补齐冒充盘中通过。发布数量和盈利不是数据补齐的唯一验收目标。
## 证据与复核
原始只读响应、比较结果和探针保存在开发机`/private/tmp/minute-recovery-20261111`。其中`tushare_probe.json`与`redis_probe.json`为真实读取,`sql_probe.json`为单表限定股票查询,`comparison.json`为离线逐字段比较。没有token或连接密码写入这些文件。
在开发机执行以下命令,只读取已保存证据。预期三行缺少条数为50、49、52,共同字段差异均为0:
```bash
python3 - <<'PYCODE'
import json
p='/private/tmp/minute-recovery-20261111/comparison.json'
for row in json.load(open(p))['samples']:
print(row['ts_code'],row['missing_rows'],row['mismatched'])
PYCODE
```
本次没有实施上述服务或改变线上阈值。当前三组择时发布状态仍以[发布接续](多源择时发布接续_2026-11-11.md)为准。

View File

@ -1,5 +1,7 @@
# 开发资料入口
分钟盘中补齐接口、实际缺口与一年盘后表的工作价值,见[11月11日只读评估](分钟数据补齐可行性与工作价值_2026-11-11.md)。已验证官方当日累计接口和现有账户权限,仅形成方案,未新增补齐服务。
当前多源择时已发布,见[11月11日发布接续](多源择时发布接续_2026-11-11.md)。三组各三分之一,日线缓存已修复,155已启用。第三方分钟数据不回填,缺口见[逐票清单](分钟行情缺口核验清单_2026-11-11.md)。部署、隔离测试与后续自然判收分别记录。以下研究和审视中的未实施说明仅代表各自历史时点。
以独立信息为目标的权重研究,见[11月11日研究接续](信号独立性权重研究接续_2026-11-11.md)及[完整报告](../research/signal_independence_20261111/README.md)。确认资金两路同源,提出三基础组近似等权、模型共享证据预算;同时发现QRS跨日缓存旧数据;后续修复状态以顶部发布接续为准。