GPT2实现考公申论文章生成
向AI转型的程序员都关注了这个号????????????
人工智能大数据与深度学习 公众号：datayx
近几年来，考公的人数越来越多，而申论作为考公非常重要的一部分，也是另很多人头痛的一部分。很多人在考试之前都会背一些优秀范文或句段，以便在考试时派上用场。这里我用GPT2预训练很多篇申论范文，使之能在某个话题的提示下自动申成一片范文或句段。话不多说，直接上代码。
代码 获取方式：
分享本文到朋友圈
关注微信公众号datayx 然后回复 GPT 即可获取。
AI项目体验地址 https://loveai.tech
数据预处理这里我找了500篇申论范文，不是很多，当然也可以多找点，最好是各类话题都有，越多越好。
造字典将所有文章中的字，符号提取出来，去重后存入一个txt文档中
代码实现
对文章进行编码利用字典对文章进行编码，如字典中第12个字是“我”，则在原文中的“我”就用数字11代替，然后保存每篇文章的编码。
代码实现：
网络模型我搭建的是带多头注意力的GPT模型，由于电脑GPU显存不大，所以头数设的12，模块数设的6，字的维数为768，最多可生成500字
网络训练生成训练数据训练测试比如，输入“人工智能”，则会生成如下片段：
人工智能，网上购物，物联网，各种新兴技术层出不穷，各种创新思想不断迸发，国家政策环境需求都为创新提供了丰富的土壤，这也是最坏的时代，自主品牌创新能力薄弱，山寨产品盛行，核心技术被外方意志很大程度上削减了我国的竞争力，究其原因，一方面是企业缺乏竞争意识，创新意识目光短浅所致，而另一方面在于人才的流失，由于学术界浮躁的氛围，以及体制的不完善等，许多科研人员面临工资低，没有项目的窘境，为了改善环境，降低生存压力，转而流向其他的领域，因此想要中国品牌走出国门，提升竞争力，创新是关键。打造中国品牌提升国家竞争力，融入民族精神是重点。中国品牌之所以被称为中国品牌，关键在于其拥有独特的魅力，不同于其他国家，必须有中国的特色，必须有中国的文化，与文化紧密结合，故宫博物院的文创产品，就是将这一融合发挥到极致的典范，将文物蕴含的文化内容融入到产品设计当中，设计出具有中国特色的独一无二的文创产品，不仅能够吸引大量的游客，更传承了中国文化之道，不仅打造了品牌，更将这一品牌销往国外，可见，打造中国品牌，还必须要将中国文化结合其中，方能够让中国品牌脱颖而出，与众不同，方能体现中国竞争力。
阅读过本文的人还看了以下文章：
TensorFlow2.0深度学习案例实战
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《基于深度学习的自然语言处理》中/英PDF
DeepLearning中文版初版-周志华团队
【全套视频课】最全的目标检测算法系列讲解，通俗易懂！
《美团机器学习实践》_美团算法团队.pdf
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
特征提取与图像处理(第二版).pdf
python就业班学习视频，从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
《Python数据分析与挖掘实战》PDF+完整源码
汽车行业完整知识图谱项目实战视频(全23课)
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！
《神经网络与深度学习》最新2018版中英PDF+源码
将机器学习模型部署为RESTAPI
FashionAI服装属性标签图像识别Top1-5方案分享
重要开源！CNN-RNN-CTC实现手写汉字识别
yolo3检测出图像中的不规则汉字
同样是机器学习算法工程师，你的面试为什么过不了？
前海征信大数据算法：风险概率预测
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
VGG16迁移学习，实现医学图像识别分类工程项目
特征工程(一)
特征工程(二):文本数据的展开、过滤和分块
特征工程(三):特征缩放,从词袋到TF-IDF
特征工程(四):类别特征
特征工程(五):PCA降维
特征工程(六):非线性特征提取和模型堆叠
特征工程(七)：图像特征提取和深度学习
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
MachineLearningYearning中文翻译稿
蚂蚁金服2018秋招-算法工程师（共四面）通过
全球AI挑战-场景分类的比赛源码(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
机大数据技术与机器学习工程
搜索公众号添加： datanlp
长按图片，识别二维码