基座改2/4:scan 全量 quiet 落库 + mkt_trade_date + 快照双告警 + 大主题闸
- 去 quiet[:12]:因子行数不再锁 144/日;旁批只吃聚合 pricing,核实无需"喂前12" - pricing 升级为全体未动成员统计(原为前 12 样本) - mkt_trade_date 写值(列/视图第一批已备)+ 双告警只警不停: 快照非扫描日 / stock 行数<1000(07-24=727 类部分写入) - topic_context 调用点显式 cap=1000 + 大主题闸 MAX_TARGET_MEMBERS=600(07-27 拍板) - list_candidates/API 曝 mkt_trade_date
This commit is contained in:
parent
cbaabdaa85
commit
edd7e12107
|
|
@ -37,10 +37,13 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
|
|||
实际落法:q_members `ORDER BY ts_code, name`(升序 NULL 后置 → 上市成员优先入 cap)、
|
||||
q_drives 同类补序。**验证读数未回**(见五-1)。
|
||||
⚠️ 传导数值口径自此有断点(成员抽样确定化),仪表盘回看时注意。
|
||||
2. `transmission.scan` 去掉 `quiet[:12]`(那 12 是给旁批用的,却把因子锁在 144 行/日;
|
||||
**落库存全量,旁批仍只喂前 12**);落库带上 `mkt_trade_date`。
|
||||
⚠️ cap200 改变 members_total / moved_ratio 的分母语义,scan 内用到成员数的阈值
|
||||
(如 members_total≥30)此时逐个过一遍。
|
||||
2. ✅(07-27 已交付待实机验证) `transmission.scan`:去 `quiet[:12]` 全量落库
|
||||
(核实:旁批只消费聚合 pricing 不吃明细行,"喂前12"之说不成立,无需保留);
|
||||
`mkt_trade_date` 写值 + **新鲜度/完整度双告警**(快照非扫描日、stock 行数
|
||||
< MIN_MKT_STOCK_ROWS=1000,均只告警不中止);已拍板并落地:调用点显式
|
||||
**cap=1000 + 大主题闸 MAX_TARGET_MEMBERS=600**(超者跳过并 log)。
|
||||
pricing 语义随之升级为全体未动成员统计(原为前 12 样本)。
|
||||
核实:scan 内并无 members_total≥30 之类代码闸(读数清单那条是读数请求)。
|
||||
3. `hotspot._latest_mkt` / `_movers_set` 加 `trade_date` 参数(现恒取最新快照)。
|
||||
语义 = scan 起点解析一次 D 后全程穿透(顺带修 17:30 快照落在扫描中途的竞态);
|
||||
**参数化 ≠ 打开传导历史重扫**,§2.2 铁律不动。
|
||||
|
|
@ -48,9 +51,9 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
|
|||
★ **必须同时补 `report_date <= ref` 上界**,否则历史回填是前视。
|
||||
实现时核对 `consensus_daily` 唯一键含 asof 日期(否则回填互相覆盖);
|
||||
甲案的**回填驱动脚本**(逐日 asof 循环、幂等)是另一项,不算在"5 行"里。
|
||||
5. (桥侧收尾)`v_factor_transmission` v3 曝 `mkt_trade_date` 列
|
||||
(桥仓库 sql/astock_kg_slot_views.sql + apply-views;只增列不改名)
|
||||
——没有这截,"桥自行判断采信"无从实现。
|
||||
5. ✅**更正:视图 v3 不需要**——第一批 apply-views 已一并落了表列 ALTER 与视图
|
||||
曝列(sql 第 9 / 72 行:mkt_trade_date、n_quiet_stored),已实机验证过。
|
||||
链条真缺口只剩**桥侧采信规则**(三批-5)。
|
||||
|
||||
**已定**:新鲜度不中止扫描,只告警 + 记 `mkt_trade_date`。
|
||||
|
||||
|
|
@ -94,11 +97,50 @@ top20 可以整篮子都是传导票,不存在"只剩 1~3 只"的塌缩。
|
|||
|
||||
## 五、待回传读数清单(07-27 汇总)
|
||||
|
||||
1. 改1 验证:同一天连跑两次扫描,各主题 moved_ratio 逐位相同
|
||||
2. `SELECT kind, min(trade_date), max(trade_date), count(DISTINCT trade_date)
|
||||
FROM mkt_daily GROUP BY kind`(老项一直没回;决定 §7 近似区间讨论的边界)
|
||||
3. 环节成员数分布(max 与 P95)——cap200 会不会被大环节击穿
|
||||
4. freeze.py 是否已进每日调度
|
||||
5. G1 判收项①(factor_coverage_probe 补跑)与③(gp_day_data 起始日复核)的读数
|
||||
——做了没记,还是没做?
|
||||
6. 二批全落地后:重跑 probe 的 corr / 权重 / 票数三张读数(三批的拍板依据)
|
||||
1. ✅(07-27 判收通过) 改1 验证:源码在容器生效(cap200 + ORDER BY×3)+
|
||||
topic_context 8 大环节双跑逐位一致(正是改1 所修之层;movers 集合为确定性 SQL)。
|
||||
**更正**:第三层 scan 双跑实为空转比较——07-27 无 hotspot 台账 → 空扫描落库 0 行,
|
||||
`list_candidates()` 回落到最新日(07-24)静态行,比较必然一致;
|
||||
**07-24 台账未被触碰**(84 行为周五 beat 原始产出,旁批完好)。
|
||||
真端到端双跑并入改2 验证。
|
||||
2. ✅(07-27 已回) mkt_daily 分 kind 深度:concept/industry 均 07-10~07-23 共 7 天,
|
||||
stock 07-10~07-24 共 9 天。
|
||||
结论①:快照史与 live 传导史(07-11 起)同龄,§7"近似区间前推"没有空间,
|
||||
**该讨论正式关闭**——传导只 live 定案;改3 的价值回归纯 live 正确性。
|
||||
结论②(新异常):07-24 有 stock 快照而 concept/industry 止于 07-23,kind 间
|
||||
新鲜度错位实锤(17:30 快照任务疑似部分失败,查当日 sync 日志);改3 的
|
||||
mkt_trade_date 告警须覆盖"非 stock kind 落后"情形。
|
||||
3. ✅(07-27 已回) 环节成员数:Segment 9663 组 max 217、>200 仅 1 组(整机制造,
|
||||
实测已被 cap 截到 200);Concept 31993 组 max 4010、>200 有 10 组——巨组多为
|
||||
资质类垃圾标签(高新技术企业 4010 / 小型微利企业 843 / 联营企业 298),但真实
|
||||
热门题材也超(人工智能 449 / 新能源 380)。⇒ 改2 拍板:moved_ratio / quiet 改
|
||||
不截断聚合口径(推荐)或再提 cap;顺带把资质类概念挡在传导主题源之外。
|
||||
4. ✅(07-27 已迁) cron 曾装错机器(基座机 tlai4090),已清零并改装到
|
||||
factor@factorevaluation(40 18 * * 1-5,build all daily 自动带 freeze)。
|
||||
`data/frozen/` 尚无 = freeze 从未跑过 ⇒ 今晚 18:40 首跑,明早验
|
||||
`data/frozen/2026-07-27/` + `data/cron_build.log`(若报 service not running,
|
||||
exec 换 `run --rm`)。
|
||||
5. ✅(07-27 已回) 两项判收读数:
|
||||
①probe 全输出已回:universe 316 主题 / 2391;热度覆盖 100%(2389/2391);
|
||||
事件 13~15%;传导近窗并集 6%。**新发现**:probe 的 upside 分节走基座内部
|
||||
mkt_daily 现价路径,算出"可算 0/2391"且"有现价仅 727/2391"——是 probe 侧
|
||||
连接伪象或 mkt_daily stock 快照本身只存部分股票(待五-7 定位);与桥的 upside
|
||||
(gp_day_data 现价,795 行正常落库)**不同源,不影响因子**。
|
||||
赛道覆盖初判:核聚变系(可控核聚变16/核聚变15/聚变10/托卡马克装置29,有重叠)、
|
||||
商业航天 69、低空经济 95、脑机接口 20、6G 21、氢能 53 **全部非空**,"空赛道"
|
||||
担忧初步解除;但主题名碎片化严重(核聚变 4 种写法、AI算力 2 种、"无"41 /
|
||||
"报告分部"3 等垃圾主题)= G2 映射 yml 的实际工作面。
|
||||
②gp_day_data 按年:1997~2006 稀疏(34~119 天/年),**2007 起完整(≈250 天/年)
|
||||
⇒ 可信起点定为 2007-01-01**;§6.2 ⚠️ 关闭,§7"理论可回填到 2006"修正为 2007。
|
||||
6. 二批全落地后:重跑 probe 的 corr / 权重 / 票数三张读数(三批的拍板依据)
|
||||
7. ✅(07-27 已回) mkt_daily stock 按日行数:52/52/131/81/1674/1674/1675/1675/727
|
||||
(07-10~07-24,缺 07-16、07-21)。四个结论:
|
||||
① stock 快照 = **池内快照非全市场**(1674≈当时池规模)——probe"有现价 727"
|
||||
即 07-24 部分写入所致,五-5① 伪象定位完毕;
|
||||
② **07-24 的 17:30 sync 中途挂**(stock 只写 727/2391,concept/industry 0 行)
|
||||
⇒ 当日传导在残缺行情上算出,**07-24 记为受污染日**;
|
||||
③ 快照史 flaky:07-16、07-21 整日缺,07-10~15 仅 52~131 行 ⇒
|
||||
**传导 live 完好起点 = 07-17**(完好日仅 17/20/22/23 四天);
|
||||
快照完整性建议纳入周检/巡检(非二批)。
|
||||
④ 今晚 17:30 盯行数:≈2391=健康且池源同步;≈1675=sync 用滞后池源(新问题);
|
||||
再挂=马上查日志。07-24 缺口的 sync 日志仍待查。
|
||||
Loading…
Reference in New Issue