01 · A
问题
完整布局的输出维度会随桥长与桥墩数量变化。项目把布跨重构为有限序列中的“下一跨径”决策，并在动作进入求解器前移除不可能选项。
全部项目06 / 09
带硬约束的序列决策
桥梁布跨组合优化
一个面向变桥长的共享布跨模型，把可解释成本、经典基线与带动作掩码的强化学习求解器放在同一比较框架中。
- 时间
- 2024 — 2026
- 方向
- Reinforcement Learning · Combinatorial Optimization · Research Engineering
- 核心技术
- Python · PyTorch · Beam-DP · DQN
三行摘要
- 问题
- 完整布局的输出维度会随桥长与桥墩数量变化。项目把布跨重构为有限序列中的“下一跨径”决策，并在动作进入求解器前移除不可能选项。
- 我做了什么
- 把有限时域桥跨问题重构为 MDP/DAG，并设计合法动作掩码。
- 结果 / 限制
- 建立可复现的训练与推理路径；耗时、成本与最优性比较仍需要完整且一致的评估设置。
01 · B
背景
Random、成本感知 Greedy、有限 Beam-DP、表格控制与 DQN 共用同一个领域模型，并具备面向 HPC/Slurm 的离线训练路径。
为什么重要
桥梁布跨同时包含绝对禁设区与相互竞争、依赖历史的成本。共享约束和可解释基线能够暴露非法方案，并为学习策略提供参照，但不构成桥梁设计认证。
展开技术细节真正的难点 · 系统路径 · 关键取舍
真正的难点
- 01
桥型、桥长、跨径目录与空间分辨率共同改变搜索空间。
- 02
河流、公路等区域可能成为绝对禁区或分级成本区。
- 03
完整目标依赖历史，因此 beam-pruned DP 不是一般意义上的精确全局最优。
- 04
探索与 Bellman target 都必须屏蔽非法动作。
问题重构
一次预测完整布局会把模型与桥长绑定
序列决策保持一个稳定动作词表：选择下一条合法跨径，或者结束回合。
01强耦合
完整布局输出
输出维度随桥墩数量和桥长变化
02依赖初始布局
移动桥墩动作
细粒度移动导致很长决策链
03可复用
下一跨径动作
稳定的离散跨径目录
04支持变桥长
结束动作
只改变回合长度，不改变输出契约
我的方案
系统路径
建模
编码桥梁问题、区域、合法跨径与分解成本
参照
让 Random、Greedy 与有限 Beam-DP 共用统一求解契约
学习
用经验回放、目标网络和掩码训练表格控制与 DQN
验证
加载版本化策略，并在留出问题目录上比较
带掩码的决策步骤
非法跨径在策略选择前就被移除
掩码由当前位置、剩余长度、跨径目录与禁设区共同推导，并同时用于探索和 Bellman target。
01已观察
状态
问题、当前位置与完整跨径历史
02动作词表
候选动作
离散下一跨径加结束动作
03硬规则
可行性掩码
移除禁区与不可完成剩余区间
04共享契约
求解器选择
Greedy、Beam-DP、表格 RL 或 DQN
05状态转移
更新状态
追加跨径并分解成本
关键取舍
序列化重构
逐步选择下一跨让动作词表保持稳定，桥长变化主要改变回合长度。
同时保留 DP 与 RL
有限 Beam-DP 提供可解释的强基线，RL 在同一模型下探索摊销推理。
动作掩码属于正确性
非法动作在选择与 bootstrap 前被移除，而不是执行后才惩罚。
04 · A
我的贡献
- 把有限时域桥跨问题重构为 MDP/DAG，并设计合法动作掩码。
- 构建共享 Python 求解契约，以及 Random、Greedy、有限 Beam-DP、表格 RL 与 DQN 路径。
- 加入版本化策略制品、训练/验证/测试问题目录与回归测试。
04 · B
已实现结果
- 在算法求解器与学习求解器之间实现同一个可审查领域模型。
- 建立可复现的训练与推理路径；耗时、成本与最优性比较仍需要完整且一致的评估设置。
经验与反思
01学习策略只有在完全相同的约束与成本定义下比较才有意义。
02更快推理代表一种权衡，并不证明布局更优或更安全。
我能公开的内容
我实现了共享模型、求解器族、动作掩码、DQN 经验回放/目标网络路径与版本化制品。当前求解器使用 DQN，而不是 Double DQN；早期 benchmark 的评估设置不完整，因此我不将其作为结论展示。
公开来源