中文AI写作分享
文章目录1.架构2.数据来源3.模型下载和使用1.架构2021监督学习方案，自己从头训练基于Transformer的encoder-decodertransformer使用keras-transformerlib2022迁移学习方案，使用T5finetune预训练使用澜舟科技的孟子T5理论上可以把诗歌和对联两个合起来作为multi-task下游任务，但是对联有很多是现代白话文，古文我只用了唐诗宋词，所以最后还是分开只训练了3-4个epoch，看loss的下降速度应该还有很大提升空间2.数据来源唐诗宋词https://github.com/chinese-poetry/chinese-poetry2021transformer只训练标题->诗歌2022T5方案考虑了标题->诗歌，或者标题+诗人->诗歌标题长度限制12token，诗人4token，诗歌64token，结尾用句号，具体参考training下面的notebook对联https://github.com/wb14123/couplet-dataset标准输入输出，T5使用对联：前缀，长度限制32字符参考链接为：https://github.com/hululuzhu/chinese-ai-writing-share
3.模型下载和使用推荐参考inference下面的notebook来参考使用，模型下载地址也在notebook介绍重要：模型文件存在GoogleDrive，推荐用Google账号打开，点击Addtoshortcut，之后在你Drive的主页面sharedwithme看到目录后选择addshortcuttoDrive，这样可以mount后本地可以操作文件模型参数大小2021Transformer对联~80M2021Transformer写诗~10M2022T5~250M