diff --git a/DEVLOG.md b/DEVLOG.md index 1e7b7ce..d8274a9 100644 --- a/DEVLOG.md +++ b/DEVLOG.md @@ -3237,3 +3237,9 @@ a44c994于10:53:29仅发布155的web,镜像pms:proposal-copy-a44c994。开发 16:46至16:58在155模拟PMS及本次明确授权的188上游ITD、bionic完成只读采样。155唯一WS、回报与数量现金对账当前正常,连续确认1899537推进至1899586,无缺口、待入账、孤儿或在途。发现129只监控股票的历史资金全停10月14日,独立资金强度0/129可计算;技术旧映射与新日线方向不一致,部分业务路径仍使用旧映射;PMS15只关注持仓分钟行情只有178至186条,而ITD已补齐;五次持仓评析补读超时藏在成功任务的子结果中;208信号Redis时钟落后约270.34秒。保留自然告警尚未盘中判收及早间worker日志缺失的边界。 开发机完成9项断网监控反例、1项不可用缓存反例,既有资金健康9项测试通过。当前21份研判不可用记录核实为18份无方向、3份WAIT,均无有效BUY,不能误报模型故障。仅新增检查文档、证据及入口;未改业务代码、运行参数、数据或容器,未访问188真实PMS。问题尚未修复,优先级及验收口径见[全面检查与整改接续](docs/系统全面检查与整改接续_2026-11-16.md)。 + +## 2026-11-17 问题链路与数据位置细化 + +08:58至08:59沿用已授权范围,只读核对188 ITD和155模拟PMS。历史分钟资金明确位于192.168.18.75:27017的judge.stock_flow_data,三只抽样仍无10月14日之后日期。今天07:30基线文件虽已刷新,mf_minute仍0行;三只历史准备窗口已从13日降至12日,继续等待30日资格。当前seasonality的mysql配置仍通过Mongo读取分钟资金,未走Parquet;抽查近期Parquet目录均无文件。原始历史写入任务及未更新原因尚未定位,不能把下游重新构建当成修复。 + +技术pms_tech_daily和PMS_TECH_STATE_MAP日期已由今早06:30任务对齐至20261116,更新昨天问题的当前状态;仍保留两套消费入口及健康汇总缺陷。208 Redis时钟复测慢约270.56秒。各问题已明确接口、表、键、文件、消费者及待定位环节,见[细化记录](docs/系统问题链路与数据位置细化_2026-11-17.md)。只修改文档和证据,未改参数、补数、部署或访问188真实PMS。 diff --git a/docs/evidence/system_pms_detail_20261117.json b/docs/evidence/system_pms_detail_20261117.json new file mode 100644 index 0000000..9305e66 --- /dev/null +++ b/docs/evidence/system_pms_detail_20261117.json @@ -0,0 +1,41 @@ +{ + "at": "2026-11-17T08:59:30.445596+08:00", + "scope": "155 simulation, empty prefix, read-only", + "redis": { + "host": "192.168.18.208", + "port": 6379, + "quotes_db": 13, + "intraday_db": 2 + }, + "technical": { + "endpoint": { + "scheme": "http", + "host": "192.168.16.188", + "port": 38000, + "path": "" + }, + "path": "/api/v1/market/technical", + "daily_table": "pms_tech_daily", + "latest_date": 20261116, + "row_count": 5019, + "map_table": "pms_runtime_param", + "map_key": "PMS_TECH_STATE_MAP", + "map_at": "2026-11-17 06:30:04", + "map_data_date": 20261116, + "map_states": 20 + }, + "plan": { + "base": { + "scheme": "http", + "host": "192.168.16.155", + "port": 8300, + "path": "" + }, + "logic_path": "/logic_state", + "timeout_sec": 3 + }, + "signal_clock": { + "redis_minus_host_seconds": -270.56278705596924, + "roundtrip_seconds": 0.27058839797973633 + } +} diff --git a/docs/evidence/system_sources_detail_20261117.json b/docs/evidence/system_sources_detail_20261117.json new file mode 100644 index 0000000..a50436d --- /dev/null +++ b/docs/evidence/system_sources_detail_20261117.json @@ -0,0 +1,163 @@ +{ + "at": "2026-11-17T08:58:11.656399+08:00", + "scope": "188 intraday_alerts only; read-only", + "mongo": { + "host": "192.168.18.75", + "port": 27017, + "database": "judge", + "collection": "stock_flow_data" + }, + "seasonality": { + "runner_version": "v2", + "data_source": "mysql", + "parquet_root": "/app/data/parquet", + "t_days": 20, + "n_min": 30, + "cache_dir": null, + "purify_lag": 5, + "min_valid_points": 20 + }, + "samples": { + "300133.SZ": { + "documents": 1, + "dates": 88, + "first": "2026-06-03", + "last": "2026-10-14", + "dates_after_oct14": [] + }, + "002979.SZ": { + "documents": 1, + "dates": 88, + "first": "2026-06-03", + "last": "2026-10-14", + "dates_after_oct14": [] + }, + "601126.SH": { + "documents": 1, + "dates": 88, + "first": "2026-06-03", + "last": "2026-10-14", + "dates_after_oct14": [] + } + }, + "seasonality_files": { + "2026-11-16": { + "as_of_date": "2026-11-16", + "mf_minute_rows": 0, + "vol_rows": 27541, + "mf_daily_rows": 118, + "modified_at": "2026-11-16T07:30:38.824870+08:00" + }, + "2026-11-17": { + "as_of_date": "2026-11-17", + "mf_minute_rows": 0, + "vol_rows": 28010, + "mf_daily_rows": 120, + "modified_at": "2026-11-17T07:30:35.970534+08:00" + } + }, + "parquet_dates": { + "2026-10-12": { + "directory_exists": true, + "data_files": 4 + }, + "2026-10-14": { + "directory_exists": true, + "data_files": 4 + }, + "2026-10-15": { + "directory_exists": true, + "data_files": 0 + }, + "2026-10-30": { + "directory_exists": true, + "data_files": 0 + }, + "2026-11-13": { + "directory_exists": true, + "data_files": 0 + }, + "2026-11-16": { + "directory_exists": true, + "data_files": 0 + } + }, + "preparation": { + "2026-11-16": { + "at": "2026-11-16T23:59:55.611447+08:00", + "samples": { + "002979.SZ": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 13, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + }, + "300133.SZ": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 13, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + }, + "601126.SH": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 13, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + } + } + }, + "2026-11-17": { + "at": "2026-11-17T08:58:07.765053+08:00", + "samples": { + "002979.SZ": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 12, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + }, + "300133.SZ": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 12, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + }, + "601126.SH": { + "state": "partial", + "minute_fund": { + "source": "stock_flow_data", + "days": 12, + "required_days": 30, + "ready_minutes": 0, + "state": "waiting_data" + }, + "errors": {} + } + } + } + } +} diff --git a/docs/开发入口.md b/docs/开发入口.md index 4bef959..e75bd1c 100644 --- a/docs/开发入口.md +++ b/docs/开发入口.md @@ -56,7 +56,7 @@ | 任务 | 入口 | | --- | --- | -| 系统运行、逐路信号可用性与监控盲区 | [全面检查与整改接续](系统全面检查与整改接续_2026-11-16.md),含129只资金历史、技术新旧口径、行情完整性、任务子结果、时钟及155账本的当次实证;检查完成不等于问题已修复 | +| 系统运行、逐路信号可用性与监控盲区 | [问题链路与数据位置](系统问题链路与数据位置细化_2026-11-17.md),明确表、Redis键、文件、消费者及最新补充状态;[全面检查与整改接续](系统全面检查与整改接续_2026-11-16.md)保留129只资金历史、技术新旧口径、行情完整性、任务子结果、时钟及155账本的当次实证;检查完成不等于问题已修复 | | 选股到交易计划的预算、网格与退出整改 | [整改规格与验收用例](交易计划与风险约束整改规格_2026-11-16.md);[当前进展与未完成项](交易计划与风险约束整改接续_2026-11-16.md) | | 持仓盈亏口径、雷赛综合盈亏空值与负成本截断 | [11月9日14:25只读核验](持仓盈亏与零成本边界核验_2026-11-09.md),已确认自然减仓及少计利润,计算修复尚未实施 | | 4%网格档距、实际批次余量及盘中迁移 | [11月9日网格执行修复](网格档距与成交余量修复_2026-11-09.md),以最新部署和实际回执为准 | diff --git a/docs/系统全面检查与整改接续_2026-11-16.md b/docs/系统全面检查与整改接续_2026-11-16.md index d57d043..5fc549a 100644 --- a/docs/系统全面检查与整改接续_2026-11-16.md +++ b/docs/系统全面检查与整改接续_2026-11-16.md @@ -2,6 +2,8 @@ 核验日期:2026年11月16日。现网采样为北京时间16:46至16:58,已经收盘。 +11月17日补充:各问题已细化到数据表、Redis键和处理链路,见[链路与数据位置](系统问题链路与数据位置细化_2026-11-17.md)。08:58资金历史抽样仍停更,当日`mf_minute`基线仍为空;08:59确认技术日线及映射日期已由今早06:30任务对齐至11月16日。下文保留11月16日的原始检查事实,不将其全部当作今天现状。 + 结论:155模拟PMS的交易通道、资金及持仓账本当前正常,但不能判为“所有研判能力正常”。独立资金强度在整个129只监控池均不可计算;技术旧映射仍被部分业务路径使用;PMS分钟行情不完整;任务成功状态仍会掩盖来源失败。这些是需要闭环的系统问题,不应交给交易员自行判断。 ## 范围与方法 diff --git a/docs/系统问题链路与数据位置细化_2026-11-17.md b/docs/系统问题链路与数据位置细化_2026-11-17.md new file mode 100644 index 0000000..2584a70 --- /dev/null +++ b/docs/系统问题链路与数据位置细化_2026-11-17.md @@ -0,0 +1,107 @@ +# 系统问题链路与数据位置细化 + +本记录细化[11月16日全面检查](系统全面检查与整改接续_2026-11-16.md),明确问题落在哪个数据对象、哪段处理及哪个消费者。11月17日08:58至08:59对188上游ITD和155模拟PMS作了补充只读核验;没有修改业务数据、运行参数或服务。 + +**新增当前事实:历史分钟资金缺口仍在;技术日线与映射的日期已在今早06:30对齐至11月16日;208信号Redis仍比155时钟慢约270.6秒。** 其他故障次数、证券覆盖和行情条数仍引用11月16日实测,不冒充今天重新全量检查。 + +## 一、历史资金:明确缺在Mongo历史集合及下游分钟基线 + +最上游已确认缺口是 **`192.168.18.75:27017` 上 `judge.stock_flow_data` 集合没有近期日期数据**。这是Mongo集合,不是PMS的SQL表;集合不是空的,问题是已有旧数据停在10月14日。 + +| 层次 | 精确位置 | 已核实事实 | +| --- | --- | --- | +| 原始历史分钟资金 | MongoDB `192.168.18.75:27017`,库`judge`,集合`stock_flow_data` | 11月16日逐只查129只监控股票,均有88个日期,末日10月14日。11月17日08:58抽查华策影视、雷赛智能、四方股份,均仍为88日,没有10月14日之后的日期。 | +| 集合字段 | `code`为六位证券代码;`data[].date`为日期;`data[].flow_data[]`为各分钟记录 | 分钟记录读取`time/main/large/super_large/medium/small`。诊断日期按`data[].date`,不能用父记录更新时间替代数据截至日期。 | +| 历史读取适配器 | ITD `MongoMoneyFlowMinuteAdapter.get_moneyflow()` | 按证券和日期展开该集合,金额按元处理,再将开盘累计资金差分为分钟增量。它是读取器,不负责把原始采集写入Mongo。 | +| 当前运行来源选择 | 188 ITD配置`seasonality.runner_version=v2`、`data_source=mysql` | 这里`mysql`表示直接读数据库的组合路径。价格与日资金读MySQL,**历史分钟资金这一支仍读Mongo**;不能据这个配置名称去找MySQL的`stock_flow_data`。 | +| 当日统一基线文件 | 188容器`/app/data/seasonality/2026-11-17.json`,字段`mf_minute` | 今天07:30:35已生成新文件,但`mf_minute`为0行;同文件`vol`有28010行,`mf_daily`有120行。文件新鲜不等于分钟资金基线可用。昨天文件的`mf_minute`也为0。 | +| 入池历史准备结果 | `/app/data/minute_recovery/preparation/2026-11-17/status.json`,`stocks.<证券>.parts.minute_fund` | 三只抽样均为`waiting_data`,`days=12`、`required_days=30`、`ready_minutes=0`。昨天对应为13日,窗口滚动后又减少1日。 | +| 可选Parquet镜像 | `/app/data/parquet/mf_minute/trade_date=YYYY-MM-DD/` | 10月12日、14日各有4个Parquet文件;抽查10月15日、30日、11月13日、16日,目录存在但Parquet文件为0。当前来源配置未选Parquet,因此它不是当前直接读失败的位置,也不能作为已就绪备用源。 | +| 正式信号输出 | 208 Redis db2,`intraday_alerts:YYYY-MM-DD` | `money_flow_in_intensity`、`money_flow_out_intensity`缺少基线时无法形成有效判断,返回空结果,不会进入发布环节。不能解释为“算过但没有触发”。 | + +```mermaid +flowchart TD + A[原始资金采集与历史写入任务:尚未定位] --> B[Mongo judge.stock_flow_data:近期日期缺失] + B --> C[夜间基线构建与入池历史准备] + C --> D[seasonality 文件的 mf_minute:空] + D --> E[资金流入和流出强度:无法计算] + E --> F[正式告警流没有这两路有效输出] +``` + +入池准备代码读取执行日前60个自然日的分钟资金,要求至少30个不同历史日期,然后才用最近20个历史交易日构建分钟基线。因此“总共有88个旧日期”并不满足当前窗口资格。运行配置中的`n_min=30`另有分钟窗口含义,不能把它与此处30个历史日期混淆。 + +### 与实时资金、日资金、成交额历史的区别 + +| 数据 | 位置及用途 | 与本次缺口的关系 | +| --- | --- | --- | +| 旧实时资金副本 | Mongo `judge.stock_flow_realtime` | 这是11月16日盘中曾严重滞后的另一集合,不等于历史集合`stock_flow_data`。 | +| 切换后的实时资金 | Redis `192.168.16.214:36379/db0`,键`stock_flow_realtime:YYYY-MM-DD:HH:MM` | 11月16日15:56相关实时服务已改读这里,当时129/129可读到收盘。切换的是实时读取,没有自动给Mongo历史集合补入数据。 | +| 日级资金 | MySQL逻辑表`gp_moneyflow_ths` | 另一路日级资金及降级特征的来源。它有数据不代表具备同一分钟的历史资金分布,不能代替独立分钟强度基线。 | +| 分钟成交额历史 | MySQL逻辑表`gp_stk_mins_1min`,构建`seasonality.vol` | 资金分布、吸筹使用的成交额基线属于这一路。11月16日129/129就绪,与`mf_minute=0`可以同时成立。 | +| 独立健康状态 | 208 Redis db2,键`intraday_alerts:fund_health` | 同时保存实时可用性及基线状态;PMS读取它。不能只看顶层实时`available`,还要看`money_flow_baseline_ready`与`capital_baseline_ready`。 | + +具体阻断点在ITD `alerts/sources/money_flow_out_intensity.py`:`get_mf_minute(证券,时段)`返回空、样本不足或标准差无效时,直接返回`None`,甚至不会继续读取当天资金。因而即便214实时资金正常,这两路仍不能恢复。 + +**尚未定位的是“谁应把新资金历史写入`judge.stock_flow_data`,为什么没有写入”。** 已检查到的ITD适配器和Parquet脚本是读取、转换及镜像链路,不是原始写入任务。现有证据不足以把原因归给原始采集停止、Redis到Mongo同步失败、归档调度停跑或写入目标变更中的某一种。下一步需要定位实际写入任务及其最后成功批次;不能先重跑下游基线,期待从停更集合中补出新数据。 + +## 二、技术判断:SQL日线有新数据,派生映射曾落后 + +读取链路为:bionic `http://192.168.16.188:38000/api/v1/market/technical` → PMS `tech_service.pull()` → SQL表`pms_tech_daily` → `build_map()` → SQL表`pms_runtime_param`中`param_key='PMS_TECH_STATE_MAP'`的JSON值。 + +| 对象 | 11月16日实测 | 11月17日08:59新核验 | +| --- | --- | --- | +| `pms_tech_daily` | 最新`data_date=20261113`,5018行 | 最新`data_date=20261116`,5019行 | +| `PMS_TECH_STATE_MAP` | `at=2026-11-13 06:30:04`,`data_date=20261112`,21个状态 | `at=2026-11-17 06:30:04`,`data_date=20261116`,20个状态 | + +因此这项不是“技术日线表没有数据”,而是**昨天派生映射没有跟随已有日线更新**。今早任务已将日期对齐;本次没有手动刷新。日期对齐不代表已修复两套读取入口及健康判定问题,也未逐股复算今天的全部映射。 + +新建仓和主要页面已调用`read_states_for()`直接读`pms_tech_daily`,部分持仓动作及策略恢复仍调用`state_map()`读运行参数。昨天三个持仓方向不同的证据见原报告。应统一当前判断的读取口径,并独立记录拉取、落表、构建映射各阶段结果;保留历史审计,不能以今天结果覆盖昨天记录。 + +另外,`tech_service.fetch_all_pages()`存在分页不足仍成功、跨日期版本页被首页日期覆盖的可复现缺陷;`pull_and_map()`顶层结果不包含映射失败;`status()`用非空映射判断新鲜。这些是代码验证结果,未证明昨天的映射落后就是分页问题造成的。早间worker日志缺失仍使根因未闭环。 + +## 三、分钟行情:PMS直接读Redis,ITD另有补齐路径 + +| 环节 | 精确位置 | 问题 | +| --- | --- | --- | +| PMS行情源 | Redis `192.168.18.208:6379/db13`,键例`tushare:rt_min:1MIN:300133.SZ` | 11月16日15只持仓关注股末条均到15:00,但数组只有178至186条。它不是某张PMS行情表缺记录。 | +| PMS读取与聚合 | `market._bars()` → `get_price()`、`day_snapshot()`、`day_volume()` | 末价没有统一日期检查;量能按首尾时间估计覆盖,不检查中间是否完整。 | +| ITD补齐结果 | 独立分钟恢复服务,缓存与状态位于`/app/data/minute_recovery/` | 同15只当天各241条,第三方源不足部分由`rt_min_daily/rt_min`补齐55至70条。PMS没有读取这份补齐结果。 | +| 下游计算 | `reask_service`与`proposal_service`的量比、日内均价和盘中确认 | 读取路径差异可能导致同一证券的量能判断不一致;未证明已产生错误成交。 | + +昨天下午最后追加逐分钟明细时SSH连接关闭,未取得PMS首条、重复数及具体缺口时段。今天尚未开盘,本轮未把昨日条数当作今日盘中完整性结果。后续需统一取数或明确各用途完整性资格,并复核缺失时段。 + +## 四、任务成功掩盖失败:落在接口调用和结果汇总 + +实际超时链路:`pms.execution_basis_refresh` → `risk_exit.refresh_reviews()` → `plan_feed.fetch_logic_states()` → 155选股桥 `http://192.168.16.155:8300/logic_state`。 + +- 当前有效超时参数为`PMS_RISK_REVIEW_TIMEOUT_SEC=3`。11月16日14:25、14:31、14:43、14:53、14:58出现超时,子结果`risk_reviews.ok=False`,保留原评级。16:54同接口4只持仓复测1.536秒成功,故没有证据证明数据库表持续缺数。 +- 刷新节流记录保存在`pms_rotation_document`的`doc_id='risk-review-refresh:original'`;逐股退出纪律及评级状态使用`risk-exit:original:<证券>`文档。失败不会自动把原评级改为空或通过。 +- 调度函数把`risk_reviews`附在返回结果中,但未将其失败合并到任务总结果;Celery执行结束仍是`succeeded`。应查业务子结果,不能仅看Celery状态。 +- 另一个同类位置是`signal_service.consume()`调用合成择时刷新:`source_errors`和`invalid`保留在子结果,顶层`ok`仍可能为真;调度摘要`_brief()`又省略该子结果。此项有断网反例,尚未将其全部情形认定为当天现网事故。 + +## 五、时钟偏差:208 Redis服务时钟,不是资金表没有数据 + +具体对象是`192.168.18.208:6379`的Redis服务时钟。Redis各DB共用同一服务时钟,不是db2独有故障。 + +- 11月16日由155、188两侧读取`TIME`,均比本机墙钟慢约270.34秒。11月17日08:59从155再次读取,约慢270.56秒,仍未消失。 +- 相关流包括db2的`intraday_alerts:日期`、`intraday_signals:日期`和`mtf:intraday:stream:metrics`。 +- PMS `_read_metrics()`明确从流ID解析`time/age_min/stale`,因此这一显示路径会将消息看得约4分30秒更旧。其他路径有的用报文`trigger_time`或观察时间,不能笼统说所有信号都被同样延迟。 +- 尚未核验208的授时服务、宿主机时钟来源和偏差起点,也没有证据证明已经因此丢消息。本次没有修改时钟、流ID或序号。 + +## 六、其余代码与监控缺口的具体对象 + +| 问题 | 对象与位置 | 还需处理什么 | +| --- | --- | --- | +| 实况评分榜缺少源日期校验 | 214 Redis db0,`mtf:mr:intraday:board`;辅助信息为`mtf:mr:intraday:score` | PMS只读榜单分数,没有核对辅助时间。昨天15只辅助记录为15:10,未确认停更;应增加完整日期、批次和可用性契约。 | +| 五路总状态不反映失败 | `upstream_signals.snapshot()` | 顶层`ok`恒真,源级`ok`主要表示读取是否报错。连接状态、计算能力和正常未触发需要分开记录。 | +| 不可用研判缓存复用过久 | `pms_rotation_document`中`kind='judge_request'`、`doc_id='judge:<摘要>'`,逻辑在`judge_async.request()` | 同一证据下只对PASS/REJECT应用缓存到期,UNAVAILABLE可能长期复用。需按不可用原因确定恢复条件,不擅自改变人工降级规则。昨天21份保存请求的拒绝符合缺少BUY依据,不能当作模型失效。 | +| 费用校准提示错误 | `ledger_service.calibrate_fees()`,估算费用读`pms_cash_flow`,实际资金回报在`pms_qmt_inbox` | `actual_fee=None`时直接返回“ws未启用”,并未去读已有资金快照。问题在未实现的自动校准分支及提示,不是已证明资金回报表为空。 | +| 早间任务无法追溯 | 155旧`pms-worker`容器日志及持久日志目录 | 只有beat投递证据,旧worker重建后日志未保留。需要保存业务阶段回执和错误,不能把投递等同完成。 | + +## 证据、整改入口与边界 + +新采样见[11月17日资金链路证据](evidence/system_sources_detail_20261117.json)和[11月17日PMS位置及日期证据](evidence/system_pms_detail_20261117.json)。既有全池、行情、任务、对账及断网反例见[11月16日全面检查证据](evidence/system_audit_20261116.json)。 + +整改应分别落到以下环节:历史资金原始写入任务及归档、ITD历史准备与告警可计算状态、PMS技术判断入口、PMS行情完整性、业务任务结果汇总,以及208授时。不要把这些不同问题合并为“重启PMS”或“重新跑一次基线”。 + +本轮只细化定位和更新当前证据。未修复、补数、重放、部署或发送交易动作,未访问188真实PMS。