Repository navigation
add connection - #926
add connection#926awu0403 wants to merge 5 commits into
Conversation
seafile-dev
left a comment
There was a problem hiding this comment.
结论:建议修改后合并。
阻塞问题:
- 秒级时间戳相等时会跳过同一秒内的后续修改。
- worker 中断后 syncing 状态无法自动恢复。
- 公式及选项元数据变化不一定更新来源行时间戳,增量同步会遗漏变化。
建议增加对应的增量同步和中断恢复回归测试。隔离探针已复现相关分支,但未验证真实 Redis、MySQL 或 SeaDB 端到端行为。
seafile-dev
left a comment
There was a problem hiding this comment.
结论:仍建议修改后合并;不再沿用旧总结中的三个阻塞结论。
阻塞:同步所有权与中断恢复仍不完整。正常重启已能恢复,但终态落库短暂失败会留下 syncing;多个后台实例重叠启动时,无条件恢复还能抢占活跃任务,允许旧值和 checkpoint 回退。已在原行内线程补充精确触发、生产函数隔离复现及租约/attempt fencing 修复方向:#926 (comment) 。
跨仓阻塞:Web 已加来源出口限制,本仓 seatable_sync.py:209–232 仍直接 requests 请求,创建后的 DNS 变化可绕过 Web 校验。本地 HTTP/DNS 探针已确认请求可达;共享根因及修复建议统一保留在原线程:https://github.com/seafileltd/dtable-web/pull/6416#discussion_r4490793847 。
范围更正:按本次明确需求,同秒二次修改及派生值/选项重命名不触发增量均不再作为合并条件,已在对应旧线程更正;它们是被排除的边界,不是代码修复。
隔离探针覆盖分页、多来源身份、增量更新、部分写入后重试及上述故障分支;替换了持久层和传输,不能视为 MySQL/Redis/SeaDB 集成通过。当前 head 的 GitHub Actions 为成功,但现有 SQL/webhook 流程不能替代新增同步恢复回归。设计建议补充租约所有权、周期回收及失效 attempt 写入隔离;两仓发布前先执行 connections 建表升级。
seafile-dev
left a comment
There was a problem hiding this comment.
结论:仍建议修改后合并;当前仅保留同步恢复/所有权阻塞,不再沿用旧 worker 出口限制结论。
阻塞:终态保存遇到一次数据库异常、进程继续运行时,持久状态仍为 syncing,恢复数据库后的连续三次重投均被拒绝。另一实例启动还会无条件重置活跃 claim;暂停旧 attempt、让新 attempt 完成后再恢复旧 attempt,生产函数隔离探针再次复现目标值被旧值覆盖、checkpoint 从 2026-01-02 回退至 2026-01-01。原行内线程已经完整覆盖同一根因,本轮不重复开立:#926 (comment) 。
建议修复:引入带 owner/attempt、到期时间和续租的租约,只周期回收过期任务;进度/终态按 attempt 条件更新,并阻止失去所有权的任务继续写入目标。补充终态落库失败与两个实例重叠启动的回归测试。
已解除:鉴权、元数据、SQL 查询及刷新认证均接入 source_transport,每次校验解析结果并固定目标 IP、禁用跳转。本地真实 HTTP 接收器在私网/DNS 变化控制中收到 0 次请求;公地址连接池与 TLS 参数采用替代边界验证,不代表真实公网 TLS 集成通过。原跨仓出口线程:https://github.com/seafileltd/dtable-web/pull/6416#discussion_r4490793847 。
验证:实际生产函数隔离执行覆盖分页、多来源相同行 ID 隔离、增量更新、新增、部分写入后重试和上述恢复故障。替代了持久层与来源/目标传输,未完成 MySQL 行锁、Redis、SeaDB 集成。当前 head 的 Actions 成功,但现有 SQL/webhook 测试不能替代同步租约回归;本地原 SQL 测试因缺 sqlalchemy 未启动。
设计主体符合可读取文档的多来源汇总、稳定复合键及增量要求,可靠恢复仍未完整实现,建议设计补充租约回收与失效 attempt 写隔离。另一份设计内容 API 500,核对仍属部分。同秒二次修改、派生值/选择项重命名仍按明确范围排除,不作为合并条件,也不称为已修复。
seafile-dev
left a comment
There was a problem hiding this comment.
结论:仍建议修改后合并;本轮已按最新任务范围收窄旧结论。
阻塞:单实例正常运行时,completed/failed 终态落库的一次短暂异常仍使连接永久停在 syncing,后续重投被拒绝。沿用原线程并已补充当前证据和最小修复方向:#926 (comment) 。
警告:首次同步未按设计限制最近三年,会同步全部历史数据;详见本轮行内意见。建议先固定本轮 UTC 上界,首次及首次失败后的重试均设置三年下界,增量保留上次成功截止时间减一小时。
范围更正:多实例重叠启动抢占、同秒二次修改、派生值/选项重命名未更新行时间均已明确延后,不再作为合并条件,亦不称为已修复。来源出口保护仍有效。
验证:当前 head 的 16 项生产函数隔离探针执行完成,包含正常分页、多来源身份、增量与部分写入重试,以及成功复现的终态故障和首次范围不符;真实 worker 线程和回环 HTTP 接收器参与执行,数据库、Redis、SeaDB 与公网连接池仍为替代边界,不是服务集成通过。
设计核对基于 416253fe-5f29-4f67-958e-caa0eeeaf157 的实际内容;4d0e590e-ba1a-4681-afdb-e4d036340d87 内容 API 返回 500,评估仍属部分。多来源、稳定复合键和映射主体符合设计,但首次时间范围偏离文档;建议设计补充单实例终态写入确认与失败恢复。上线前先执行 connections 建表升级,再协调两仓发布。
seafile-dev
left a comment
There was a problem hiding this comment.
结论:按本次明确验收范围,当前 dtable-events 可合并;不再沿用此前的阻塞结论。
已验证修复:首次同步已固定 UTC 上界并设置三年下界。生产同步隔离探针中,201 条范围内记录分页完成,2000 年记录未写入;首批写入后丢失确认再重试,仍仅保留 201 条且没有重复。旧警告不再代表当前缺陷:#926 (comment) 。
范围更正:当前任务明确暂不考虑终态落库失败及多实例重叠启动;对应恢复风险不再作为本版合并条件,原线程已更正:#926 (comment) 。这些是接受/延后的边界,不是代码修复;同秒修改、派生值及选项重命名仍按明确范围排除。
验证:当前 head 574e9c5 的 14 项生产模块隔离检查通过,覆盖启动恢复、多来源身份、增量、部分写入重试及来源出口保护;另外独立的 10 项隔离检查通过。持久层与传输有替代边界,不代表真实 MySQL、Redis、SeaDB 集成通过;现有 CI 不覆盖新增连接同步的完整流程,建议将首次时间范围及重试探针纳入正式回归。
设计核对基于 416253fe-5f29-4f67-958e-caa0eeeaf157 实际正文;另一份 4d0e590e-ba1a-4681-afdb-e4d036340d87 内容 API 500,评估仍属部分。多来源、稳定复合键和首次时间范围符合已读取设计;建议设计明确初版重启恢复边界。上线前先执行 connections 建表升级,再协调两仓发布。
No description provided.