基座改2/4:scan 全量 quiet 落库 + mkt_trade_date + 快照双告警 + 大主题闸

- 去 quiet[:12]:因子行数不再锁 144/日;旁批只吃聚合 pricing,核实无需"喂前12"
- pricing 升级为全体未动成员统计(原为前 12 样本)
- mkt_trade_date 写值(列/视图第一批已备)+ 双告警只警不停:
  快照非扫描日 / stock 行数<1000(07-24=727 类部分写入)
- topic_context 调用点显式 cap=1000 + 大主题闸 MAX_TARGET_MEMBERS=600(07-27 拍板)
- list_candidates/API 曝 mkt_trade_date
This commit is contained in:
zlt 2026-07-27 12:27:51 +08:00
parent cbaabdaa85
commit edd7e12107
1 changed files with 57 additions and 15 deletions

View File

@ -37,10 +37,13 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
实际落法q_members `ORDER BY ts_code, name`(升序 NULL 后置 → 上市成员优先入 cap
q_drives 同类补序。**验证读数未回**(见五-1
⚠️ 传导数值口径自此有断点(成员抽样确定化),仪表盘回看时注意。
2. `transmission.scan` 去掉 `quiet[:12]`(那 12 是给旁批用的,却把因子锁在 144 行/日;
**落库存全量,旁批仍只喂前 12**);落库带上 `mkt_trade_date`
⚠️ cap200 改变 members_total / moved_ratio 的分母语义scan 内用到成员数的阈值
(如 members_total≥30此时逐个过一遍。
2. ✅(07-27 已交付待实机验证) `transmission.scan`:去 `quiet[:12]` 全量落库
(核实:旁批只消费聚合 pricing 不吃明细行,"喂前12"之说不成立,无需保留);
`mkt_trade_date` 写值 + **新鲜度/完整度双告警**快照非扫描日、stock 行数
< MIN_MKT_STOCK_ROWS=1000均只告警不中止已拍板并落地调用点显式
**cap=1000 + 大主题闸 MAX_TARGET_MEMBERS=600**(超者跳过并 log
pricing 语义随之升级为全体未动成员统计(原为前 12 样本)。
核实scan 内并无 members_total≥30 之类代码闸(读数清单那条是读数请求)。
3. `hotspot._latest_mkt` / `_movers_set``trade_date` 参数(现恒取最新快照)。
语义 = scan 起点解析一次 D 后全程穿透(顺带修 17:30 快照落在扫描中途的竞态);
**参数化 ≠ 打开传导历史重扫**§2.2 铁律不动。
@ -48,9 +51,9 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
**必须同时补 `report_date <= ref` 上界**,否则历史回填是前视。
实现时核对 `consensus_daily` 唯一键含 asof 日期(否则回填互相覆盖);
甲案的**回填驱动脚本**(逐日 asof 循环、幂等)是另一项,不算在"5 行"里。
5. (桥侧收尾)`v_factor_transmission` v3 曝 `mkt_trade_date`
(桥仓库 sql/astock_kg_slot_views.sql + apply-views只增列不改名
——没有这截,"桥自行判断采信"无从实现
5. ✅**更正:视图 v3 不需要**——第一批 apply-views 已一并落了表列 ALTER 与视图
曝列sql 第 9 / 72 行mkt_trade_date、n_quiet_stored已实机验证过。
链条真缺口只剩**桥侧采信规则**(三批-5
**已定**:新鲜度不中止扫描,只告警 + 记 `mkt_trade_date`
@ -94,11 +97,50 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
## 五、待回传读数清单07-27 汇总)
1. 改1 验证:同一天连跑两次扫描,各主题 moved_ratio 逐位相同
2. `SELECT kind, min(trade_date), max(trade_date), count(DISTINCT trade_date)
FROM mkt_daily GROUP BY kind`(老项一直没回;决定 §7 近似区间讨论的边界)
3. 环节成员数分布max 与 P95——cap200 会不会被大环节击穿
4. freeze.py 是否已进每日调度
5. G1 判收项①factor_coverage_probe 补跑与③gp_day_data 起始日复核)的读数
——做了没记,还是没做?
6. 二批全落地后:重跑 probe 的 corr / 权重 / 票数三张读数(三批的拍板依据)
1. ✅(07-27 判收通过) 改1 验证源码在容器生效cap200 + ORDER BY×3+
topic_context 8 大环节双跑逐位一致正是改1 所修之层movers 集合为确定性 SQL
**更正**:第三层 scan 双跑实为空转比较——07-27 无 hotspot 台账 → 空扫描落库 0 行,
`list_candidates()` 回落到最新日(07-24)静态行,比较必然一致;
**07-24 台账未被触碰**84 行为周五 beat 原始产出,旁批完好)。
真端到端双跑并入改2 验证。
2. ✅(07-27 已回) mkt_daily 分 kind 深度concept/industry 均 07-10~07-23 共 7 天,
stock 07-10~07-24 共 9 天。
结论①:快照史与 live 传导史07-11 起同龄§7"近似区间前推"没有空间,
**该讨论正式关闭**——传导只 live 定案改3 的价值回归纯 live 正确性。
结论②新异常07-24 有 stock 快照而 concept/industry 止于 07-23kind 间
新鲜度错位实锤17:30 快照任务疑似部分失败,查当日 sync 日志改3 的
mkt_trade_date 告警须覆盖"非 stock kind 落后"情形。
3. ✅(07-27 已回) 环节成员数Segment 9663 组 max 217、>200 仅 1 组(整机制造,
实测已被 cap 截到 200Concept 31993 组 max 4010、>200 有 10 组——巨组多为
资质类垃圾标签(高新技术企业 4010 / 小型微利企业 843 / 联营企业 298但真实
热门题材也超(人工智能 449 / 新能源 380。⇒ 改2 拍板moved_ratio / quiet 改
不截断聚合口径(推荐)或再提 cap顺带把资质类概念挡在传导主题源之外。
4. ✅(07-27 已迁) cron 曾装错机器(基座机 tlai4090已清零并改装到
factor@factorevaluation40 18 * * 1-5build all daily 自动带 freeze
`data/frozen/` 尚无 = freeze 从未跑过 ⇒ 今晚 18:40 首跑,明早验
`data/frozen/2026-07-27/` + `data/cron_build.log`(若报 service not running
exec 换 `run --rm`)。
5. ✅(07-27 已回) 两项判收读数:
①probe 全输出已回universe 316 主题 / 2391热度覆盖 100%2389/2391
事件 13~15%;传导近窗并集 6%。**新发现**probe 的 upside 分节走基座内部
mkt_daily 现价路径,算出"可算 0/2391"且"有现价仅 727/2391"——是 probe 侧
连接伪象或 mkt_daily stock 快照本身只存部分股票(待五-7 定位);与桥的 upside
gp_day_data 现价795 行正常落库)**不同源,不影响因子**。
赛道覆盖初判核聚变系可控核聚变16/核聚变15/聚变10/托卡马克装置29有重叠
商业航天 69、低空经济 95、脑机接口 20、6G 21、氢能 53 **全部非空**"空赛道"
担忧初步解除;但主题名碎片化严重(核聚变 4 种写法、AI算力 2 种、"无"41 /
"报告分部"3 等垃圾主题)= G2 映射 yml 的实际工作面。
②gp_day_data 按年1997~2006 稀疏34~119 天/年),**2007 起完整≈250 天/年)
⇒ 可信起点定为 2007-01-01**§6.2 ⚠️ 关闭§7"理论可回填到 2006"修正为 2007。
6. 二批全落地后:重跑 probe 的 corr / 权重 / 票数三张读数(三批的拍板依据)
7. ✅(07-27 已回) mkt_daily stock 按日行数52/52/131/81/1674/1674/1675/1675/727
07-10~07-24缺 07-16、07-21。四个结论
① stock 快照 = **池内快照非全市场**1674≈当时池规模——probe"有现价 727"
即 07-24 部分写入所致,五-5① 伪象定位完毕;
**07-24 的 17:30 sync 中途挂**stock 只写 727/2391concept/industry 0 行)
⇒ 当日传导在残缺行情上算出,**07-24 记为受污染日**
③ 快照史 flaky07-16、07-21 整日缺07-10~15 仅 52~131 行 ⇒
**传导 live 完好起点 = 07-17**(完好日仅 17/20/22/23 四天);
快照完整性建议纳入周检/巡检(非二批)。
④ 今晚 17:30 盯行数≈2391=健康且池源同步≈1675=sync 用滞后池源(新问题);
再挂=马上查日志。07-24 缺口的 sync 日志仍待查。