Skip to content

Latest commit

 

History

History
18 lines (14 loc) · 608 Bytes

File metadata and controls

18 lines (14 loc) · 608 Bytes

Encoder-Decoder Transformer

项目概述

在NVIDIA RTX 4090 显卡上,2小时内完成Encoder-Decoder Transformer模型的完整训练。

核心特性

  • 🚀 高效训练: 1.5小时内完成50个epoch训练
  • 💾 显存优化: 混合精度训练 + 梯度检查点
  • 📊 轻量模型: 5M参数,适配小数据集
  • 📈 稳定收敛: AdamW + 学习率热身 + 梯度裁剪
  • 🔍 高级推理: 支持Beam Search解码
  • ⚡ 可选优化: 支持Flash Attention(长序列)

快速开始

环境安装

pip install -r requirements.txt