互动解读
跨模型流形对齐
在大型异构骨干模型之间进行监督式表征拼接与 logit 融合。
跨模型流形对齐
在大型异构骨干模型之间进行监督式表征拼接与 logit 融合。
理想状态是在 Qwen-2.5-72B 与 LLaMA-3.3-70B 之间实现“心灵融合”，既不合并它们的权重，也不添加交叉注意力。实验提出了一个更精确的问题：两个冻结模型的特征，或它们的预测，能否协同得更好？
同一个世界。
不同的坐标。
向两个模型提出同一个问题。每个模型都会生成一列 8,192 个数字：这就是一个隐藏表征。把每一列想象成地图上的一个点。即使地图指向不同方向，相关问题也可能形成相关的形状。
想象两个带有匹配地标的透明地球仪。在比较它们之前，调整其中一个的大小并旋转它，直到地标对齐。 正交 Procrustes 找到最佳刚性对齐：允许反射的旋转。缩放是独立的归一化步骤；正交映射本身保持长度与角度。
Qwen 点云 · 72B · 圆点LLaMA 点云 · 70B · 方块
悬停、轻触或聚焦散点可查看配对坐标；方向键切换散点，Escape 清除高亮。
原始最佳拟合
YᵀX = UΣVᵀ
R = UVᵀ · Ŷ = sYR
R = UVᵀ · Ŷ = sYR
投影残差 ‖sYR − X‖F
已应用旋转 · 缩放
合成的中心化点云，端点由最小二乘法计算得到。R 负责旋转；s 独立负责缩放。取消勾选缩放即可求解仅旋转的拟合。这个玩具示例用解析方法求解 2D 旋转；它不会计算 SVD，也不会搜索反射。一般的正交 Procrustes 解也可以包含反射。由于点云含有不同噪声，仍会保留一个很小的非零残差。
打开数学视角
minRᵀR = I ‖XR − Y‖²F · XᵀY = UΣVᵀ · R* = UVᵀ
对于等宽、中心化的坐标矩阵，平方 Frobenius 范数会累加地标不匹配的平方；范数本身是它们的平方根。SVD 找到配对方向；正交约束防止对齐过程拉伸单个轴。矩形版本需要论文（§3.5）中规定的方向条件。
实现有一个转折。 存储的 Procrustes 映射是诊断工具，而不是几何分类器实际应用的映射。实际特征使用配对的 SVD 轴、尺度匹配的平均值和模型特定的残差。这是对表征几何的线性近似，不能证明整个非线性语义流形已被恢复。
一小组
共享方向。
SVD 按交叉协方差的强度为配对方向排序。每个奇异值的平方给出其对测得“能量”的贡献。当少数奇异值很大时，一个小子空间就能捕获其中大部分量。
保留截断
保留维度数（共享轴）
相对误差：
截断交叉协方差矩阵的相对 Frobenius 误差 = √（1 − 已保留能量占比）
测得的训练谱来自 revision_geometry.json。此图显示前 50 个轴；截断能量阈值使用 全部 个奇异值。阈值可能会保留超出可见窗口的轴。能量是协方差统计量，并不表示含义或准确率的百分比。
截断并不是唯一的损失。
命题 2：对每一对保留的共享轴取平均会移除一个自由度。保留核心之外的全部坐标，也无法恢复该配对的差异。
rank(F) = rq + rℓ − k
nullity(F) = k
nullity(F) = k
在拟合参数固定、坐标尺度为正且残差权重非零的条件下。这是代数陈述，不是对分类损失的预测。
输入不同。平均值相同。
等尺度示例：u = 1 + δ，v = 1 − δ。滑动 δ 会改变输入，却保持平均值不变。一整条方向因此变得不可见。
PubMedQA 有 21 个轴，Aegis 只有 2 个。 输入最初是每个模型 8,192 维，但 PCA 会先压缩两个视图。这些数量描述的是压缩后的共享核心；残差特征仍位于核心之外。
90% 的能量 ≠ 90% 的含义。 这些是训练样本协方差统计量，不是语义清单，也不是准确率保证。Aegis 的谱更集中，但其按准确率选出的胜者只使用 LLaMA。
为什么平均可能丢失重要信息
Energy(k) = (σ₁² + ··· + σₖ²) / (σ₁² + ··· + σₚ²)
几何路径会标准化每个视图，运行截断 PCA，使用交叉协方差 SVD 找到配对轴，然后对经过缩放的共享坐标取平均并附加残差。平均保留了一致性，却会为每个共享配对丢失一条差异方向。诸如 (1, −1) 与 (0, 0) 这样的不一致坐标可能拥有相同的平均值。不一致也可能携带有用信息。
胜出的路径
跳过了拼接。
几何对齐与预测融合是不同的实验。在 PubMedQA 上，按准确率选择的流程选择了 归一化 logit 融合：组合两个分别训练的头部输出的类别分数。
两个冻结的骨干模型同一输入 → 两个特征向量
两个监督式头部标签教会每个头部为类别打分
一个汇聚后的决策0.75 × Qwen + 0.25 × LLaMA
权重作用于归一化类别分数，而不是原始概率。五折样本外选择使用训练数据挑选配置。骨干权重冻结，并不意味着整个流程是无监督的。
这节省了什么，又付出了什么代价？
无需合并骨干权重，也无需新增交叉注意力模块。缓存的表征让头部拟合变得可行，但未缓存的样本仍需要两个骨干模型来进行双模型融合。本文没有测量端到端延迟、能耗或峰值内存节省。“冻结”不等于“免费”。
检查点溯源： 简介中将 Qwen-2.5-72B + LLaMA-3.3-70B 作为目标配对。缓存特征元数据和源代码注释却标识为 Llama-3.1-70B；元数据给出 Qwen2.5-72B 与 Meta-Llama-3.1-70B-Instruct GGUF 编码器，并使用最后 token 池化。这些记录无法验证检查点字节，也不能证明提取的是 3.3。因此，本文依据手稿将测量结果标记为 Qwen-72B 和 LLaMA-70B。
多答对三个。
一个微小而真实的观察。
醒目的结果是 PubMedQA 上的 78.40%。这表示在 250 个问题中答对 196 个，而按选定的单模型对照为 193 个。这个数字意味着什么，取决于你拿它和什么比较。
PubMedQA
78.40%
按准确率选出的双头 logit 融合
+1.20 个百分点
77.20% → 78.40%。相较于训练选出的单模型对照，多答对三个。
Aegis AI Safety
81.60%
204 / 250 · 选定的 LLaMA 单模型头
两个选择池选中了同一个单模型头，增益为 +0.00 个百分点。在这个任务上，按准确率选择的结果并没有采用双模型融合。
+0.60 个百分点的两难
在两个任务上：（PubMedQA 的 +1.20 个百分点 + Aegis 的 +0.00 个百分点）÷ 2 = +0.60 个百分点。在 Aegis AI Safety 上，两个选择池都选中了同一个单模型 LLaMA 头部：204 / 250 = 81.60%。这是头部选择，而不是双模型融合带来的增益。
“这是描述性改善，不是统计学奇迹。”
95% 配对 bootstrap 区间为 [−0.20, +1.60] 个百分点。它涵盖小幅损失、无差异和增益。本分析无法确立正向优势，也不能证明两个系统等价。
置信区间说明了什么，又没有说明什么
论文对测试行重采样 5,000 次，在比较系统之间保持每行配对，并在每个任务内分别重采样。该区间概括的是 两个任务相对于选定单模型对照的宏观增益；它不是围绕 78.40% 的区间，也不是仅针对 PubMedQA 的区间。
它将拟合后的预测视为固定值。它不包含重新训练或模型选择的变异性，而两个任务也不能代表未来的每种工作负载。频率学派 95% 区间不是关于这一特定固定增益的 95% 概率陈述。
“可能”
灾难。
一个模型总体上可以得到接近五分之四的分数，却仍然在某一答案类别的每个问题上失败。胜出的融合在 37 个“可能”案例中答对 0 个。这些案例占整个测试集的 14.8%。
看看平均值背后
在生物医学问题中，证据并不总能支持明确的“是”或“否”。这里，“可能”是目标答案类别，而不是测得的置信度分数。准确率会奖励正确预测常见类别，因此少数类别可能消失在一个看似强劲的平均值中。
| 分类器 | “可能”召回率 |
|---|---|
| Qwen 头部 | 0 / 37 · 0% |
| LLaMA 头部 | 1 / 37 · 2.70% |
| 胜出的融合 | 0 / 37 · 0% |
| 平衡几何方法 | 3 / 37 · 8.11% |
| 平衡的单模型选择 | 16 / 37 · 43.24% |
准确的情况是：Qwen 与胜出的融合漏掉了全部 37 个。LLaMA 答对了 1 个。组合模型并不会自动修复它们共同的盲点。
每个点都是一个问题。
真实类别
胜出的融合 · “可能”召回率：0.00%
正确错误
按类别计数；点的顺序不代表原始测试顺序。
PubMedQA“可能”盲点探索器
低分的“可能”是否能解释一个共同盲点？在下方探索这一机制。 0.01 logits 仅作示意，并非存档的模型输出。 上方测得的类别召回率确立了失败现象，但没有确立其原因。
查看实时概率数据表
| 模型 | 是 | 否 | 可能 | 预测类别 |
|---|
Qwen LLaMA
仅 LLaMA仅 Qwen
融合后的“可能”概率
玩具召回率 · 37 个相同的“可能”示例
融合权重
演示准确率 · 37 个相同的真实类别为「可能」的样本
决策熵 · 比特
相对 LLaMA 的熵变化 · 比特
实时计算沿用原页的教学 logits，并非归档预测。实测 78.40% 仅适用于论文选中的配置；缺少逐样本配对 logits 与真实标签，不能计算其他权重下的 PubMedQA 准确率。
先扫描融合权重：“可能”仍被压制。然后提高它的 logit。Softmax 会为每个类别保留一个概率；argmax 让获胜者通过赢家通吃的决策胜出。logit 为 0.01 并不意味着概率为 1%。这个玩具读数会变化；测得的 0/37 结果不会变化。
过度自信是原因吗？
这是一个合理的担忧，但仅凭这些计数无法证明。它们确立了识别真实“可能”案例几乎完全失败，却无法说明错误为何发生、预测有多大置信度，或“可能”是否曾在其他案例中被预测。要提出这些结论，需要分数向量、完整预测和校准分析。
改变选择目标能帮助识别一些“可能”案例，但这不是治愈方案：平衡几何选择只能识别 37 个中的 3 个。匹配的平衡单模型策略能识别 16 个。因此必须结合阅读总体准确率、类别召回率和不确定性。
对齐是一个问题。
证据才是答案。
几何想法很优雅：在两个巨大的表征空间中寻找对应方向。实验教训更加克制，也更有用。相似的几何并不保证知识互补，更好的平均值也不保证每一种问题都能得到更好的答案。
下一项测试： 证明几何融合在新的留出数据上胜过更简单的替代方案，重复训练和选择过程，并把被忽视的答案类别纳入成功标准。
Gen-Zero 模型架构
与神经网络流水线
冻结的语言模型提供表示和似然值。专用的决策、对齐和风险路径以不同方式使用它们。空间世界模型是独立学习的分支。探索各层并检查其张量形状。
代码审计： · gen-zero @ dc0c2133f059。实线箭头表示已实现的数据流；虚线箭头表示拟议的调度契约。这些组件并不是一条统一部署的串行流水线。
所有流程均可见。选择一个层以查看其维度和证据。
在窄屏上水平滚动图表。每一层都可用键盘选择；来源注释也提供文本版本。
检查模型层
选择任一框以查看其张量维度、机制和实现限制。使用 Tab，然后按 Enter 或空格键，或用指针选择。
实现证据与架构边界
骨干来源。 Qwen2.5-0.5B (d=896)、Qwen3.5-2B、Qwen2.5-72B (d=8192) 和 LLaMA-70B (d=8192) 是文档记录的层级。LLaMA-3.3-70B 是所要求的目标，但保留的大模型提取元数据标识为 LLaMA-3.1-70B。经验证的 3.3 提取尚未确立。
训练范围。 在这些路径中，Transformer 权重保持冻结。语义门使用 16 个带标签的上下文示例和差分对数似然（PMI），不拟合安全头。空间模型仍有一个学习得到的结果/奖励头；监督对齐头也仍然存在。“不对骨干进行微调”不等于不进行下游训练。
v0.1.0 · Fail-Closed. v0.1.0：全六引擎 F01–F09 Fail-Closed 防线通过 11/11 项测试。形式化故障阻断门控拒绝非有限的无效结果。浏览器锁存器演示安全契约；软件测试不构成物理电机停止行为的认证。
crates/gen-zero-model/src/choice_head.rs：规范 ActionId 排序和 Simplex ETF 几何，Sₖ ⊂ ℝᵏ⁻¹。保留的直接 Rust 基准报告了 0/16,232 次身份翻转（0.00%）；表示和候选身份固定时，最大概率漂移为 5.96 × 10⁻⁸。论文证据：equivariant-choice-head/evidence/revision/results.json.python/gen_zero/world_model/neural_dynamics.py：[B,64] 状态 + [B,16] 动作 → [B,80] 拼接 → Δz=f(z,a) → z′=z+Δz；学习得到的 sigmoid 结果头。维度来自空间配置，而不是通用的类别常量。benchmarks/suites/geometric_latent_fusion.py：正交 Procrustes 诊断以及配对 SVD 核心/残差特征。benchmarks/suites/evaluate_manifold_pareto_ensemble.py：监督归一化 logit 融合，与几何投影不同。docs/zero/29-pubmedqa-aegis-unified-manifold-evaluation-closure.md：PubMedQA 78.40% (196/250)，选定的双头融合；Aegis Track A 81.60% (204/250)，选定的单模型 LLaMA 头。这些描述性结果不能确立统计优越性。python/gen_zero/service/semantic_risk.py和python/gen_zero/service/risk_data/report.json：冻结的 0.5B、16-shot ICL、三个顺序、重叠窗口、PMI 评分；AUC 0.944。诊断 τ=0.50 标记了 18/18 个危险请求和 7/18 个良性请求。实时阈值为 0.4494 / 0.7620。
每一层的文本版本
冻结的骨干权重
Token ID [B, T] → 隐状态 [B, T, d]。Qwen2.5-0.5B 使用 d=896；归档的 Qwen-72B 和 LLaMA-70B 特征使用 d=8192。这里的 Qwen-2B 是 Qwen3.5-2B。LLaMA-3.3-70B 是所要求的目标；保留的提取元数据标识为 LLaMA-3.1-70B，因此测量结果无法验证 3.3 检查点。冻结意味着不对骨干进行微调；监督下游头和空间动力学仍需拟合。
空间输入 · d=64 + 16
这些是工程化的空间特征，并非从 Transformer 隐状态投影而来。评估所用的空间配置将 z 和 a 拼接为 [B, 80]。该类支持可配置的状态和动作维度。
隐状态读出 · [B, T, d] → [B, d]
从前向计算中读取隐状态，而不输出答案 token。池化方式取决于编码器；归档的大模型特征使用末 token 池化。CPU 候选选择路径还会使用提示缓存评估候选续写。因此，输出 token 数为零并不意味着只调用一次骨干模型，也不意味着没有推理成本。
语义评分 · 标量风险
对于每个请求窗口，从 log P(" dangerous") − log P(" safe") 中减去空请求的对数优势。对三个示例顺序取平均；使用风险最高的重叠窗口并应用 sigmoid。该语义门不使用新训练的神经安全分类器。标签 logit 来自冻结模型；模型不会输出解释。
残差空间动力学 · 80 → 64
neural_dynamics.py 使用带 LayerNorm 和 GELU 的残差 MLP。一个独立学习得到的 sigmoid 结果/奖励头返回 [B]；它保留在当前代码中，并且不同于冻结的语义风险门。该类默认隐藏宽度为 128，包含两个残差块；检查点配置具有权威性。
选择几何 · k 个动作 → k−1 个维度
gen-zero-model / choice_head.rs 按稳定的 ActionId 排序，将共享表示投影到正则单纯形 ETF 上，按规范顺序评分，再将概率映射回调用方顺序。定义明确的决策依赖于唯一 ID、有效维度、有限输入和确定性的平局处理。洗牌时，候选成员、身份和共享表示必须保持不变。
对齐与融合是独立路径
正交 Procrustes 使用 XᵀY 的 SVD 得到的 R=UVᵀ。GeometricLatentFusion 将该映射作为诊断信息保存；其特征使用配对的 SVD 轴、尺度匹配的核心平均值和残差。监督头从标签中学习。获胜的 PubMedQA 路径组合的是归一化头 logit，而不是 Procrustes 坐标：0.75 Qwen + 0.25 LLaMA。
实时阈值与诊断 τ=0.50
签入的服务使用两个边界：0.4494 用于升级，0.7620 用于硬停止。τ=0.50 是论文的二元分析阈值，而不是实时策略。在存储的 36 个案例中，它标记了 18/18 个危险请求和 7/18 个良性请求；实时层级对危险案例产生 12 次停止 + 6 次升级，对良性案例产生 9 次升级。
NaN / Inf 安全边界 · v0.1.0 故障阻断
v0.1.0：全六引擎 F01–F09 Fail-Closed 防线通过 11/11 项测试。形式化故障阻断门控拒绝非有限的无效结果。浏览器锁存器演示安全契约；软件测试不构成物理电机停止行为的认证。
洗牌结果 · 已测量、范围明确
保留的直接 Rust 基准在穷举小集合排列和带种子的大集合洗牌中观测到 0/16,232 次身份翻转（0.00%）；最大对齐概率漂移为 5.96 × 10⁻⁸。在实现的有效输入假设下，规范排序消除了对菜单顺序的依赖。这并不能证明语义正确性，也不能证明对候选内容、提示上下文或模型输出变化具有不变性。页面中的洗牌场景是教学模拟。
评估 · 选定配置
PubMedQA 选定 fuse0.75+bbp|raw（双头归一化 logit 融合）。Aegis Track A 选定 llama+bbp|raw（单模型头）。这些是描述性的本地测试结果，并非经过验证的 SOTA，也不是普遍适用的对齐增益。两个任务的宏观 bootstrap 区间包含零。
风险证据 · 小型精选套件
AUC 来自 18 个危险和 18 个良性存储请求，为 0.944444。在 τ=0.50 时，危险请求召回率为 18/18，并标记了七个良性请求。裸 chmod 回归探针仍然漏检。实现记录真实计算时间；缓存的提示会减少重复准备，但不会消除推理延迟。
调度契约 · 拟议、尚未部署
拟议的监视器会在调度前验证预测状态、分数和形状；无效值会设置持久停止状态，阻止后续模型调用和动作，直到受控重置。这描述的是所需的硬件安全边界，而不是当前代码库中经过验证的物理锁存器。
Gen-Zero 系统架构与流程
Rust 运行时连接入口、策略、规划、决策头和加密审计。下图按职责分组；选定的动词决定实际调用路径。
来源审计：2026年9月27日 · gen-zero@dc0c2133f05954146e9738bce64bf15dd36ffbee。连线已由来源验证；不声称有新的部署或模型评估。
选择一层以检查其实现和限制。
此处未实现的内容
所要求的 AST 解析器 + Linux capabilities 栈、物理 碰撞检查，以及持久的 故障关闭锁存 并不是这些 Rust crate 中集成的执行路径。无效输入拒绝和策略升级确实存在；但它们并未建立沙箱或物理停止机制。
这些服务路径返回决策和仿真结果。决策账本并不是外部动作已执行的证据。
从请求到响应
- 进入并绑定。 CLI 或 MCP/HTTP 服务接收请求。路由器捕获其挂载快照，验证路径专用字段并选择动词。
- 评估请求。 文本
ask,route和imagine从 Python 桥接获取语义风险。缺失或无效的风险会升级；硬停止层级会阻断该路径。选择动作时也会应用策略约束。 - 使用所请求的路径。 文本 ask 使用语义评分；不可用时使用明确标注的“首个可行”回退，未评估的风险仍会升级。文本 route 在其桥接无法运行时报告不可用。数值规划使用
gen-zero-planner和gen-zero-worldmodel;simulate,what_if以及影子audit暴露未经训练的先验。显式 ETF 头使用规范动作 ID 和单纯形投影。数值认知请求有自己的几何验证路径。 - 门控、记录、返回。 动作选择路径将策略判定与请求风险结合。成功的
ask结果以及pipeline decide结果会在返回已审计结果前将决策追加到来源账本。响应包含路径元数据；它不会调度外部命令。
来源图和完整层描述
入口层
gen-zero-cli · gen-zero-service — CLI 启动 McpServer 或提交决策。服务通过 stdio 和 HTTP/SSE 接受 MCP，并提供 REST 路径。其 zero 路由器绑定不可变的挂载快照并按动词分派；这些是通过共享 crate 的不同路径。
位于 /ebs/pj/gen-zero/crates/: gen-zero-cli/src/main.rs; gen-zero-service/src/server.rs; gen-zero-service/src/zero.rs
门控与安全
gen-zero-gate — PolicyGate 支持形式化约束、确认注册、熵和语义风险层级。其默认配置没有已注册的约束或确认动作。文本 ask、route 和 imagine 使用 Python 语义风险桥接；缺失或格式错误的风险会升级。Shell AST 解析和 Linux 进程能力强制尚未接入此 Rust 门控。
位于 /ebs/pj/gen-zero/crates/: gen-zero-gate/src/policy.rs; gen-zero-gate/src/risk.rs; gen-zero-service/src/bridge.rs
规划与动力学
gen-zero-planner · gen-zero-worldmodel — 数值潜请求可以使用 MCTS、MPC-CEM 或 A*。服务暴露未经训练的残差或辛动力学，并进行有限输入检查和终止状态危险处理。规划会过滤被门控硬停止的候选；固定规划仿真仍会执行被阻断的动作步骤并记录其门控层级。这是离线动力学过滤，而非经过验证的物理碰撞检查。此 Rust 路径未接入持久的故障关闭执行锁存。
位于 /ebs/pj/gen-zero/crates/: gen-zero-service/src/worldsim.rs; gen-zero-planner/src/pipeline.rs; gen-zero-worldmodel/src/dynamics.rs
决策核心
gen-zero-model — ActionETFChoiceHead 按稳定的 ActionId 排序，将共享表示投影到正则单纯形上，将分数散射回调用方顺序并应用 softmax。核心具有确定性的近似平局规则。服务通过显式头选项暴露 ETF；普通文本决策使用语义桥接，因此 ETF 不是每个请求的默认头。
位于 /ebs/pj/gen-zero/crates/: gen-zero-model/src/choice_head.rs; gen-zero-service/src/zero.rs
验证与审计
gen-zero-provenance — DecisionAuditEntry 包含前一个 MMR 根。带密钥的 BLAKE3 Merkle Mountain Range 提交决策历史并支持包含证明。成功的 ask 结果以及带决策追加的 pipeline decide 结果都会被记录。通过 GENZERO_MMR_PERSIST_PATH 持久化是可选的；最后 4,096 个叶子保留包含证明，并且必须在外部保留可信根；这不是执行审计，不能证明外部 shell 命令或电机动作已经运行。
位于 /ebs/pj/gen-zero/crates/: gen-zero-provenance/src/entry.rs; gen-zero-provenance/src/mmr.rs; gen-zero-service/src/zero.rs
相关运行时基础设施包括 gen-zero-core （共享类型）、 gen-zero-lod （图事实）、 gen-zero-storage （快照）以及可选的 gen-zero-nanocore 路径。上下文中的论文实验是研究证据，不能替代这张运行时图。