Skip to content

add connection - #926

Open
awu0403 wants to merge 5 commits into
masterfrom
add-seadb-connection
Open

awu0403 wants to merge 5 commits into
masterfrom
add-seadb-connection

Conversation

@awu0403

@awu0403 awu0403 commented Nov 6, 2026

Copy link
Copy Markdown

No description provided.

@seafile-dev seafile-dev left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

结论:建议修改后合并。

阻塞问题:

  1. 秒级时间戳相等时会跳过同一秒内的后续修改。
  2. worker 中断后 syncing 状态无法自动恢复。
  3. 公式及选项元数据变化不一定更新来源行时间戳,增量同步会遗漏变化。

建议增加对应的增量同步和中断恢复回归测试。隔离探针已复现相关分支,但未验证真实 Redis、MySQL 或 SeaDB 端到端行为。

@seafile-dev seafile-dev left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

结论:仍建议修改后合并;不再沿用旧总结中的三个阻塞结论。

阻塞:同步所有权与中断恢复仍不完整。正常重启已能恢复,但终态落库短暂失败会留下 syncing;多个后台实例重叠启动时,无条件恢复还能抢占活跃任务,允许旧值和 checkpoint 回退。已在原行内线程补充精确触发、生产函数隔离复现及租约/attempt fencing 修复方向:#926 (comment) 。

跨仓阻塞:Web 已加来源出口限制,本仓 seatable_sync.py:209–232 仍直接 requests 请求,创建后的 DNS 变化可绕过 Web 校验。本地 HTTP/DNS 探针已确认请求可达;共享根因及修复建议统一保留在原线程:https://github.com/seafileltd/dtable-web/pull/6416#discussion_r4490793847 。

范围更正:按本次明确需求,同秒二次修改及派生值/选项重命名不触发增量均不再作为合并条件,已在对应旧线程更正;它们是被排除的边界,不是代码修复。

隔离探针覆盖分页、多来源身份、增量更新、部分写入后重试及上述故障分支;替换了持久层和传输,不能视为 MySQL/Redis/SeaDB 集成通过。当前 head 的 GitHub Actions 为成功,但现有 SQL/webhook 流程不能替代新增同步恢复回归。设计建议补充租约所有权、周期回收及失效 attempt 写入隔离;两仓发布前先执行 connections 建表升级。

@seafile-dev seafile-dev left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

结论:仍建议修改后合并;当前仅保留同步恢复/所有权阻塞,不再沿用旧 worker 出口限制结论。

阻塞:终态保存遇到一次数据库异常、进程继续运行时,持久状态仍为 syncing,恢复数据库后的连续三次重投均被拒绝。另一实例启动还会无条件重置活跃 claim;暂停旧 attempt、让新 attempt 完成后再恢复旧 attempt,生产函数隔离探针再次复现目标值被旧值覆盖、checkpoint 从 2026-01-02 回退至 2026-01-01。原行内线程已经完整覆盖同一根因,本轮不重复开立:#926 (comment) 。

建议修复:引入带 owner/attempt、到期时间和续租的租约,只周期回收过期任务;进度/终态按 attempt 条件更新,并阻止失去所有权的任务继续写入目标。补充终态落库失败与两个实例重叠启动的回归测试。

已解除:鉴权、元数据、SQL 查询及刷新认证均接入 source_transport,每次校验解析结果并固定目标 IP、禁用跳转。本地真实 HTTP 接收器在私网/DNS 变化控制中收到 0 次请求;公地址连接池与 TLS 参数采用替代边界验证,不代表真实公网 TLS 集成通过。原跨仓出口线程:https://github.com/seafileltd/dtable-web/pull/6416#discussion_r4490793847 。

验证:实际生产函数隔离执行覆盖分页、多来源相同行 ID 隔离、增量更新、新增、部分写入后重试和上述恢复故障。替代了持久层与来源/目标传输,未完成 MySQL 行锁、Redis、SeaDB 集成。当前 head 的 Actions 成功,但现有 SQL/webhook 测试不能替代同步租约回归;本地原 SQL 测试因缺 sqlalchemy 未启动。

设计主体符合可读取文档的多来源汇总、稳定复合键及增量要求,可靠恢复仍未完整实现,建议设计补充租约回收与失效 attempt 写隔离。另一份设计内容 API 500,核对仍属部分。同秒二次修改、派生值/选择项重命名仍按明确范围排除,不作为合并条件,也不称为已修复。

@seafile-dev seafile-dev left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

结论:仍建议修改后合并;本轮已按最新任务范围收窄旧结论。

阻塞:单实例正常运行时,completed/failed 终态落库的一次短暂异常仍使连接永久停在 syncing,后续重投被拒绝。沿用原线程并已补充当前证据和最小修复方向:#926 (comment) 。

警告:首次同步未按设计限制最近三年,会同步全部历史数据;详见本轮行内意见。建议先固定本轮 UTC 上界,首次及首次失败后的重试均设置三年下界,增量保留上次成功截止时间减一小时。

范围更正:多实例重叠启动抢占、同秒二次修改、派生值/选项重命名未更新行时间均已明确延后,不再作为合并条件,亦不称为已修复。来源出口保护仍有效。

验证:当前 head 的 16 项生产函数隔离探针执行完成,包含正常分页、多来源身份、增量与部分写入重试,以及成功复现的终态故障和首次范围不符;真实 worker 线程和回环 HTTP 接收器参与执行,数据库、Redis、SeaDB 与公网连接池仍为替代边界,不是服务集成通过。

设计核对基于 416253fe-5f29-4f67-958e-caa0eeeaf157 的实际内容;4d0e590e-ba1a-4681-afdb-e4d036340d87 内容 API 返回 500,评估仍属部分。多来源、稳定复合键和映射主体符合设计,但首次时间范围偏离文档;建议设计补充单实例终态写入确认与失败恢复。上线前先执行 connections 建表升级,再协调两仓发布。

@seafile-dev seafile-dev left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

结论:按本次明确验收范围,当前 dtable-events 可合并;不再沿用此前的阻塞结论。

已验证修复:首次同步已固定 UTC 上界并设置三年下界。生产同步隔离探针中,201 条范围内记录分页完成,2000 年记录未写入;首批写入后丢失确认再重试,仍仅保留 201 条且没有重复。旧警告不再代表当前缺陷:#926 (comment) 。

范围更正:当前任务明确暂不考虑终态落库失败及多实例重叠启动;对应恢复风险不再作为本版合并条件,原线程已更正:#926 (comment) 。这些是接受/延后的边界,不是代码修复;同秒修改、派生值及选项重命名仍按明确范围排除。

验证:当前 head 574e9c5 的 14 项生产模块隔离检查通过,覆盖启动恢复、多来源身份、增量、部分写入重试及来源出口保护;另外独立的 10 项隔离检查通过。持久层与传输有替代边界,不代表真实 MySQL、Redis、SeaDB 集成通过;现有 CI 不覆盖新增连接同步的完整流程,建议将首次时间范围及重试探针纳入正式回归。

设计核对基于 416253fe-5f29-4f67-958e-caa0eeeaf157 实际正文;另一份 4d0e590e-ba1a-4681-afdb-e4d036340d87 内容 API 500,评估仍属部分。多来源、稳定复合键和首次时间范围符合已读取设计;建议设计明确初版重启恢复边界。上线前先执行 connections 建表升级,再协调两仓发布。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants