人工智能
基于transformer的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。
在本文中，对基于transformer的工作成果做了一个简单的总结，将最新的transformer研究成果(特别是在2021年和2022年发表的研究成果)进行详细的调研。
这张图与一篇调查论文[Tay2022]中的图相似，但被调transformers会更新并且它们的整体分类也有很大的不同。
如图所示，主要类别包括计算复杂度、鲁棒性、隐私性、近似性和模型压缩等等。本文文字和专业术语较多，并且均翻译自论文原文，如有错误（很可能）请谅解。
计算复杂度一些研究方向是以各种方式解决transformer的O(N2)计算复杂度。transformer的关键问题之一是它与输入序列长度相关的二次复杂度。这意味着我们必须为每一层和注意头计算N*N个注意矩阵。人们尝试了各种方法来降低这种O(N2)复杂度，包括使用缓存体系结构。
Sparsetransformer是解决这种复杂性的流行方法之一。每个输出位置从输入位置的一个子集计算权重。如果子集是√(N)，那么transformer的复杂度降低到O(N*√(N))，并允许它处理更大范围的依赖关系。
Longformer使用了带窗口的局部注意力(对于窗口大小为w的窗口，每个令牌会注意到两边的w/2个令牌，而不是整个输入)并且使用特殊令牌的任务驱动的全局注意力进行组合。
另一项被称为BigBird[Manzil2020]的工作使用了图稀疏化技术。它使用一种称为Watts-Strogatz图的特殊图，它近似于一个完整的图可以实现输入序列的线性复杂度。作者表明在标准精度假设下，BigBird是图灵完备的。他们还评估BigBird在远距离依赖的任务上的表现，特别是在提取基因组序列(如DNA)和预测结果染色质谱方面
Linformer使用线性投影和低秩因子分解的组合逼近点积注意运算[Wang2020]。
上面许多基于稀疏矩阵操作的transformer可能需要稀疏矩阵乘法操作，这种方式并不是在所有体系结构上都可用。他们也倾向于堆叠更多的注意力层来弥补稀疏性，从而导致总体上的算力的增加。对于某些操作，如softmax操作也可能不容易;还有多项式probit运算也不容易稀疏化。
谷歌提出了一个广义注意框架Performer，可以根据不同的相似性度量或内核来指定广泛的注意力机制。他们通过积极的正交随机特征（Favor+）算法来实现注意力的机制。他们还表明可以通过指数函数和随机高斯投影的组合来近似普通的softmax注意。Performer在蛋白质序列预测任务等方面优于标准模型。
Wang等[Wang2021]提出了一种用于无卷积的密集预测的金字塔视觉transformer(PVT)。这一问题克服了基于VIT的模型在将密集的预测任务时遇到了困难，PVT有助于各种像素级密度预测，并且不需要卷积和非最大抑制，如目标检测方法。采用渐进式收缩金字塔和空间减少注意力可以很容易地连接transformer。最后在图像分类、目标检测、实例和语义分割等任务中PVT也是可用的。
Liu等人[Liu2021]讨论了transformer从语言领域到视觉领域的适应问题，方法包括大量视觉实体的差异和与文本中的文字相比的图像的高分辨率像素差异。为了解决这个问题，作者提出了SwinTransformer[Lui2021]，这是一种分层方法，其表示是使用移位窗口计算。该技术更有效地克服了自注意力局部窗口不重叠的问题。
Chu等人[Chu2021]讨论了空间注意对于transformer在各种任务中的性能成功的重要性。作者提出了两个简单而高效的体系结构:twin-pcpvt和twin-svt。twin-pcpvt使用可分离的深度卷积注意机（depth-wiseconvolutionattentionmachine），又被称为空间分离自注意力（spatial-separableself-attention-SSSA）。SSSA使用两种类型的注意力操作：本地分组的自注意力（LSA）和全局次采样的注意力（GSA）。LSA处理细粒度和短距离信息，而GSA则处理长距离序列和全局信息。另一个方法twin-svt同时使用LSA和带有矩阵乘法的GSA。
光谱的复杂性通过将自注意网络替换为混合输入令牌的线性转换，可以设计高效的transformer来加速编码器架构。transformer的自注意层被参数化的傅里叶变换(Fnet)取代[Lee-Thorp2022]，然后是一个非线性和前馈网络。与BERT相比，该网络速度快80%，可以达到传统transformer性能的92%到97%。
TheGlobalFrequencynetwork(GFnet)[Rao2022]提出了一种用于令牌混合的深度全局卷积。GFnet涉及三个步骤:通过快速傅里叶变换(FFT)进行空间令牌混合、频率门控和反FFT进行令牌分解。GFnet不涉及信道混合，随着序列长度的增加，对于高像素的图像来说消耗非常大，而且不具有自适应能力。
Guibias等人[Guibias2022]将令牌混合任务定义为一种操作符学习任务，该任务是学习在无限尺寸空间中连续函数之间的映射。Li等人[Li2020]讨论了使用傅里叶神经算符(FNO)求解偏微分方程(PDE)。FNO在连续域中工作良好。
将FNO应用于高分辨率图像输入的视觉域，需要对PDE的FNO设计体系结构进行修改。这是因为高分辨路图像由于边缘和其他结构而具有不连续性。信道混合FNO与信道大小有关，具有二次复杂度。信道混合权重采用块对角线结构来解决信道混合问题。作者在MLP层的令牌之间共享权重以提高参数效率，并使用软阈值在频域引入稀疏性以进行泛化。这些解决方案结合称为自适应傅里叶神经算子(AFNO)。
Bai等人[Bai2022]提出了HAT方法(High-frequencycomponentsviaAdversarialTraining)，该方法在训练阶段对组件进行高频扰动。HAT方法通过添加对抗性扰动改变训练图像的高频成分，然后用改变后的图像训练ViT[Bai2022]模型，这样可以提高模型性能，使模型更鲁棒。
鲁棒性Shao等[Shao2021]利分析了transformer模型的鲁棒性。作者使用白盒攻击进行了一个实验。他们观察到与卷积神经网络(CNNs)相比，ViT具有更好的对抗鲁棒性。ViT特征包含低层信息，对对抗攻击提供了优越的鲁棒性，并指出与增加尺寸或增加层数的纯transformer模型相比，cnn和transformer的组合具有更好的鲁棒性。他们还发现预训练更大的数据集并不能提高鲁棒性。对于一个稳健的模型，情况正好相反。
Bhojanapalli等人[Bhojanapalli2021]调查了ViT模型和resnet模型针对对抗实例、自然实例和常见破坏的各种鲁棒性度量。作者研究了对输入和模型扰动的鲁棒性。无论是从输入还是从模型中去除任何一层，transformer都是鲁棒的。
Paul等人[Paul2022]研究了ViT[Dosovitskiy2020]、cnn和BigTransformer[Kolesnikov2020]方法的鲁棒性。Paul等人[Paul2022]在ImageNet数据集上对ViTs的鲁棒性进行了基准测试。结果在表r中。通过6个实验，作者验证了与CNN和BigTransformer相比，ViT在鲁棒性方面有了提高。这些实验的结果包括:
实验1:注意力是提高鲁棒性的关键。实验2:预训练的作用很重要。实验3:ViT对图像遮蔽具有较好的鲁棒性。实验4:傅里叶频谱分析显示ViT的灵敏度较低。实验5:对抗性扰动在能量谱中扩散得更广。实验6:ViT对输入扰动有更平滑的损失。根据Park等人[Park2022]的研究，与cnn相比ViT[Dosovitskiy2020]在捕获图像高频成分方面的效率较低。HAT[Bai2022]是对现有transformer模型在频率角度的影响进行进一步研究的结果。HAT使用RandAugment方法对输入图像的进行高频分量扰动。Wu等人[Wu2022]研究了易受对抗实例影响的transformer模型的问题。这个问题(对对抗性噪声的脆弱性)在cnn中是通过对抗性训练来处理的。但在transformer中，由于自注意计算的二次复杂度，对抗训练的计算成本很高。AGAT方法采用了一种有效的注意引导对抗机制，在对抗训练过程中使用注意引导下降策略去除每一层嵌入的确定性补丁。
隐私预训练的transformer模型部署在云上。基于云的模型部署中的一个主要问题与数据中隐私问题有关。主要的隐私问题是用户数据(如搜索历史、医疗记录和银行账户)的暴露。目前的研究重点是在transformer模型推理中保护隐私。
论文[Huang2020]介绍了TextHide，一种保护隐私的联邦学习技术，但这种方法适用于基于句子的任务，如机器翻译、情绪分析、转述生成任务)，而不是基于令牌的任务(如名称实体识别和语义角色标记)。
DP-finetune[Kerrigan2020]差分隐私(DP)方法允许量化保护数据敏感性的程度。但是训练DP算法会降低模型的质量，但是可以在私有数据集上使用公共基础模型进行调优来部分解决。
Gentry等人[Gentry2009]提出了一种用homomorphicencryption(HE)中的密文保护隐私的方法。但是transformer的模型中GELU[Hendrycks2016]激活的计算复杂性，HE解决方案只支持加法和乘法。
论文[Chen2022]在transformer中基于HE[Boemer2019,Boemer2020]的解上提出了一种通过级数逼近的The-x方法。the-x方法在SoftMax和GELU等层的帮助下，用一系列近似代替非多项式操作，去掉池器层，添加归一化层，使用知识蒸馏技术。THE-X方法使用BERT-TinyModel进行评估[Wang2018]，并对CONLL2003[Sang2003]任务进行了基准测试。
Li等人[Li2022]使用差分隐私算法解决了性能下降和高计算开销的问题。这样可以使用更大的预训练语言模型来处理，也可以通过在中等语料库上使用DP优化进行微调的对齐预训练过程来进行微调。
近似性论文[Ruthotto2019]是最早为ResNets等深度神经网络提供基于偏微分方程(PDEs)的理论基础的论文之一。更具体地说，作者证明了残差cnn可以解释为时空微分方程的离散化。在理论表征的基础上，Ruthotto还提出了具有特殊性质的双曲和抛物线cnn等新模型。
残差网络也被解释为常微分方程的欧拉离散化。但欧拉法求解精度不高，由于是一阶方法，存在截断误差。ODETransformers[Bei2022]的作者使用了经典的高阶方法(RungeKutta)来构建Transformer块。他们在三个序列生成任务上评估了ODETransformers。这些任务证明了ODE是有效的，包括抽象摘要、机器翻译和语法纠正。在这个方向上的另一项努力是TransEvolve[Dutta2021]，它提供了一个Transformer架构，与ODE类似，但以多粒子动态系统为模型。
Transformers已经被证明相当于通用计算引擎[Kevin2022]。作者提出了一种称为Frozenpretraintransformer(FPT)的结构，它可以在单一模态(如用于语言建模的文本数据)上进行训练，并识别跨模态有用的抽象(如特征表示)。他们采用GPT，只对自然语言数据进行预训练，并对其输入和输出层以及层归一化参数和位置嵌入进行微调。这使得FPT在完成蛋白质折叠预测、数值计算甚至图像分类等各种任务时，可以与完全从零开始训练的transformer进行比较。
模型压缩Touvron等人[Touvron2021]提出了一种基于蒸馏技术(Deit)的高效transformer模型。它使用一种依赖于蒸馏令牌的师生策略，以确保学生通过注意力从老师那里学习。
Bao等人[Bao2021]向预训练的VIT提出了一个遮蔽图像模型任务。作者提出了一种基于自监督的视觉表示模型，即来自图像transformer的双向编码器表示(BEiT)，它遵循了为自然语言处理领域开发的BERT[Kenton2019]方法。在这种方法中，每个图像被认为是两个视图:一个是大小为16x16像素的图像补丁，另一个是离散的可视标记。将原始图像标记为可视标记，并对部分图像补丁进行随机掩码，然后将其馈送给预训练的骨干transformer。训练BEiT后，模型可以针对下游任务进行微调。
引用
[Alexey2021]Dosovitskiy,Alexey,LucasBeyer,AlexanderKolesnikov,DirkWeissenborn,XiaohuaZhai,ThomasUnterthiner,MostafaDehghani,MatthiasMinderer,GeorgHeigold,SylvainGelly,JakobUszkoreitandNeilHoulsby.“AnImageisWorth16x16Words:TransformersforImageRecognitionatScale.”,InternationalConferenceonLearningRepresentation,2021.
[Ashish2017]AshishVaswani,NoamShazeer,NikiParmar,JakobUszkoreit,LlionJones,AidanN.Gomez,ŁukaszKaiser,andIlliaPolosukhin.2017.Attentionisallyouneed.InProceedingsofthe31stInternationalConferenceonNeuralInformationProcessingSystems(NIPS’17).CurranAssociatesInc.,RedHook,NY,USA,6000–6010.
[Bai2022]Bai,Jiawang,LiuliangYuan,ShutaoXia,ShuichengYan,ZhifengLiandW.Liu.“ImprovingVisionTransformersbyRevisitingHigh-frequencyComponents.”AcceptedtoEuropeanConferenceonComputerVision2022,availablefromhttps://arxiv.org/abs/2204.00...
[Beltagy2020]Beltagy,I.,Peters,M.E.,andCohan,A.,“Longformer:TheLong-DocumentTransformer”,arXive-prints,2020.
[Bei2022]BeiLi,QuanDu,TaoZhou,YiJing,ShuhanZhou,XinZeng,TongXiao,JingboZhu,XueboLiu,MinZhang,“ODETransformer:AnOrdinaryDifferentialEquation-InspiredModelforSequenceGeneration”,60thAnnualMeetingoftheAssociationofComputationalLinguistics(ACL)(1)2022:8335–835.
[Bhojanapalli2021]Bhojanapalli,S.,Chakrabarti,A.,Glasner,D.,Li,D.,Unterthiner,T.,Veit,A.:Understandingrobustnessoftransformersforimageclassification.In:ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pp.10231–10241(2021).
[Boemer2019]Boemer,F.,Lao,Y.,Cammarota,R.,Wierzynski,C.:ngraph-HE:agraphcompilerfordeeplearningonhomomorphicallyencrypteddata.In:Proceedingsofthe16thACMInternationalConferenceonComputingFrontiers,pp.3–13(2019).
[Boemer2020]Boemer,F.,Cammarota,R.,Demmler,D.,Schneider,T.,Yalame,H.:Mp2ml:Amixed-protocolmachinelearningframeworkforprivateinference.In:Proceedingsofthe15thInternationalConferenceonAvailability,ReliabilityandSecurity,pp.1–10(2020).
[Chen2022]Chen,T.,Bao,H.,Huang,S.,Dong,L.,Jiao,B.,Jiang,D.,Zhou,H.,Li,J.,Wei,F.:The-x:Privacy-preservingtransformerinferencewithhomomorphicencryption.In:FindingsoftheAssociationforComputationalLinguistics:ACL2022,pp.3510–3520(2022)
[Chu2021]Chu,Xiangxiang&Tian,Zhi&Wang,Yuqing&Zhang,Bo&Ren,Haibing&Wei,Xiaolin&Xia,Huaxia&Shen,Chunhua.(2021).Twins:RevisitingSpatialAttentionDesigninVisionTransformers,NeurIPS2021.
[Dosovitskiy2020]Dosovitskiy,A.,Beyer,L.,Kolesnikov,A.,Weissenborn,D.,Zhai,X.,Unterthiner,T.,Dehghani,M.,Minderer,M.,Heigold,G.,Gelly,S.,etal.:Animageisworth16x16words:Transformersforimagerecognitionatscale.In:InternationalConferenceonLearningRepresentations(2020).
[Dutta2021]SubhabrataDutta,TanyaGautam,SoumenChakrabarti,TanmoyChakraborty:RedesigningtheTransformerArchitecturewithInsightsfromMulti-particleDynamicalSystems.NeurIPS2021:5531–5544.
[Gentry2009]Gentry,C.:Fullyhomomorphicencryptionusingideallattices.In:ProceedingsoftheForty-firstAnnualACMSymposiumonTheoryofComputing,pp.169–178(2009)
[Guibas2021]Guibas,J.,Mardani,M.,Li,Z.,Tao,A.,Anandkumar,A.,Catanzaro,B.:EfficienttokenmixingfortransformersviaadaptiveFourierNeuraloperators.In:InternationalConferenceonLearningRepresentations(2021).
[Hendrycks2016]Hendrycks,D.,Gimpel,K.:Bridgingnonlinearitiesandstochasticregularizerswithgaussianerrorlinearunits(2016).
[Huang2020]Huang,Y.,Song,Z.,Chen,D.,Li,K.,Arora,S.:Texthide:Tacklingdataprivacyinlanguageunderstandingtasks.In:FindingsoftheAssociationforComputationalLinguistics:EMNLP2020,pp.1368–1382(2020).
[Hugo2021]Touvron,H.,Cord,M.,Douze,M.,Massa,F.,Sablayrolles,A.&Jegou,H.(2021).Trainingdata-efficientimagetransformersdistillationthroughattention,Proceedingsofthe38thInternationalConferenceonMachineLearning,inProceedingsofMachineLearningResearch,139:10347–10357Availablefromhttps://proceedings.mlr.press...
[Kevin2022]KevinLu,AdityaGrover,PieterAbbeel,IgorMordatch,“FrozenPretrainedTransformersasUniversalComputationEngines,”AssociationforAdvancementofArtificialIntelligence,AAAI2022.
[Kerrigan2020]Kerrigan,G.,Slack,D.,Tuyls,J.:Differentiallyprivatelanguagemodelsbenefitfrompublicpre-training.In:ProceedingsoftheSecondWorkshopSpringerNature2021LATEXtemplateSurveyonEfficientTransformers:Model,Datasets,andEvalutionmethods25onPrivacyinNLP,pp.39–45(2020).
[Kolesnikov2020]Kolesnikov,A.,Beyer,L.,Zhai,X.,Puigcerver,J.,Yung,J.,Gelly,S.,Houlsby,N.:Bigtransfer(bit):Generalvisualrepresentationlearning.In:EuropeanConferenceonComputerVision,pp.491–507(2020).Springer.
[Lee-Thorp2022]Lee-Thorp,J.,Ainslie,J.,Eckstein,I.,Ontanon,S.:Fnet:MixingtokenswithFourierTransforms,ProceedingsoftheNorthAmericalChapterofAssociationforComputationalLinguisticsNAACL,2022.
[Li2020]Li,Z.,Kovachki,N.B.,Azizzadenesheli,K.,Bhattacharya,K.,Stuart,A.,Anandkumar,A.,etal.:Fourierneuraloperatorforparametricpartialdifferentialequations.In:InternationalConferenceonLearningRepresentations(2020).
[Li2022]Li,X.,Tramer,F.,Liang,P.,Hashimoto,T.:Largelanguagemodelscanbestrongdifferentiallyprivatelearners.In:InternationalConferenceonLearningRepresentations(2022).
[Liu2021]Liu,Ze,YutongLin,YueCao,HanHu,YixuanWei,ZhengZhang,StephenLin,andBainingGuo.“Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows.”InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pp.10012–10022.2021.
[Manzil2020]ManzilZaheer,GuruGuruganesh,AvinavaDubey,JoshuaAinslie,ChrisAlberti,SantiagoOntanon,PhilipPham,AnirudhRavula,QifanWang,LiYang,andAmrAhmed.2020.Bigbird:transformersforlongersequences.InProceedingsofthe34thInternationalConferenceonNeuralInformationProcessingSystems(NIPS’20).CurranAssociatesInc.,RedHook,NY,USA,Article1450,17283–17297.
[Park2022]Park,NamukandSongkukKim.“HowDoVisionTransformersWork?”ArXivabs/2202.06709(2022),proceedingsofInternationalConferenceonLearningRepresentations(ICLR2022).
[Paul2022]Paul,S.,Chen,P.-Y.:Visiontransformersarerobustlearners.In:ProceedingsoftheAAAIConferenceonArtificialIntelligence,vol.36,pp.2071–2081(2022).
[Rao2021]Rao,Y.,Zhao,W.,Zhu,Z.,Lu,J.,Zhou,J.:Globalfilternetworksforimageclassification.AdvancesinNeuralInformationProcessingSystems34,980–993(2021).
[Ruthotto2019]Ruthotto,L.,&Haber,E.(2019).DeepNeuralNetworksMotivatedbyPartialDifferentialEquations.JournalofMathematicalImagingandVision,62,352–364.
[Sang2003]Sang,E.T.K.,DeMeulder,F.:Introductiontotheconll-2003sharedtask:Language-independentnamedentityrecognition.In:ProceedingsoftheSeventhConferenceonNaturalLanguageLearningatHLT-NAACL2003,pp.142–147(2003).
[Shao2022]Shao,Rulin,ZhouxingShi,JinfengYi,Pin-YuChenandCho-JuiHsieh.“OntheAdversarialRobustnessofVisionTransformers.”ArXivabs/2103.15670(2021).
[Sinong2020]SinongWang,BelindaZ.Li,MadianKhabsa,HanFang,HaoMa:Linformer:Self-AttentionwithLinearComplexity.CoRRabs/2006.04768(2020).
[Stanislaw2020]StanislawJastrzebski,MaciejSzymczak,StanislavFort,DevanshArpit,JacekTabor,KyunghyunCho,KrzysztofJ.Geras:TheBreak-EvenPointonOptimizationTrajectoriesofDeepNeuralNetworks.CoRRabs/2002.09572(2020).
[Tay2021a]Tay,Yi,MostafaDehghani,SamiraAbnar,YikangShen,DaraBahri,PhilipPham,JinfengRao,LiuYang,SebastianRuder,andDonaldMetzler.“Longrangearena:Abenchmarkforefficienttransformers.”InternationalConferenceonLearningRepresentations(2021).
[Tay2022]YiTay,MostafaDehghani,DaraBahri,andDonaldMetzler.2022.EfficientTransformers:ASurvey.ACMComputingSurveys,JustAccepted(April2022).https://doi.org/10.1145/3530811
[Wang2018]Wang,A.,Singh,A.,Michael,J.,Hill,F.,Levy,O.,Bowman,S.R.:Glue:Amulti-taskbenchmarkandanalysisplatformfornaturallanguageunderstanding.In:InternationalConferenceonLearningRepresentations(2018).
[Wang2021]Wang,Wenhai,EnzeXie,XiangLi,Deng-PingFan,KaitaoSong,DingLiang,TongLu,PingLuo,andLingShao.“Pyramidvisiontransformer:Aversatilebackbonefordensepredictionwithoutconvolutions.”InProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision,pp.568–578.2021.
[Wei2022]Wei,J.,Tay,Y.,Bommasani,R.,Raffel,C.,Zoph,B.,Borgeaud,S.,Yogatama,D.,Bosma,M.,Zhou,D.,Metzler,D.,Chi,E.,Hashimoto,T.,Vinyals,O.,Liang,P.,Dean,J.,&Fedus,W.(2022).EmergentAbilitiesofLargeLanguageModels.ArXiv,abs/2206.07682.
[Wu2022]Wu,B.,Gu,J.,Li,Z.,Cai,D.,He,X.,Liu,W.:Towardsefficientadversarialtrainingonvisiontransformers.arXivpreprintarXiv:2207.10498(2022).
[Yu2022]Yu,D.,Naik,S.,Backurs,A.,Gopi,S.,Inan,H.A.,Kamath,G.,Kulkarni,J.,Lee,Y.T.,Manoel,A.,Wutschitz,L.,etal.:Differentiallyprivatefine-tuningoflanguagemodels.In:InternationalConferenceonLearningRepresentations(2022).
[Ze2021]ZeLiu,YutongLin,YueCao,HanHu,YixuanWei,ZhengZhang,StephenLin,andBainingGuo.Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows.InProc.IEEEInternationalConferenceComputerVision,pages10012–10022,2021.
https://avoid.overfit.cn/post/5f3133d94003428d95c54ef8ef8b2cda
作者：Dr.VijaySrinivasAgneeswaran
人工智能编程：4个最流行的人工智能编程语言
人工智能编程是一种技术的提升，它为不同公司的运营和人们的生活带来了效率和最佳利益。人工智能为不同行业带来了另一个层次的智能技术，其潜力的前景仍在增长，有望达到人类智能。本文旨在阐明合适的人工智能编程语言，以及人工智能编程如何为各个行业带来优势
什么是人工智能编程开发人员愿意探索、试验和实施AI功能，以满足更多的人类和组织需求。毕竟，需求是开发之母。因此，由于人工智能编程的广泛采用，我们可以体验到令人印象深刻的技术进步。人工智能已经覆盖了众多领域的需求（虽然目前国内的企业、生活中大多还没有使用这些）。
个人虚拟助手的可用性，提供有关个人日常生活的信息，从而促进他们的日常目标和需求。多个基于语音的小工具的可用性。这就是定制汽车和电视等大多数基本物品的地方，以允许他们倾听并为个人提供解决方案。借助生物识别功能，用面部识别技术取代信用卡。人工智能创建了媒体平台，观众或听众可以在其中选择他们需要的规格，例如要收听的音乐类型。有同理心的计算机，即所谓的智能设备，不再提供单一、简单的问题和离散的回答；相反，他们提供类似人类的反应。这些是对查询和问题的全面反馈，甚至是明智的解决方案。提供医疗保健的人工智能；医疗保健采用人工智能系统，例如，在诊断专业。人工智能提供新闻和其他报道；这就是系统为个人提供所需的全面信息工作的地方。越来越多的公司计划在各个业务领域采用人工智能。他们有机会提出新的解决方案并更新现有方法。随着产品的创建，他们有机会优化开发流程、简化规划、获取新知识并改善用户体验。这无疑会带来更高的生产率、更高的质量和更快的速度。
就像在定制开发，开发人员可以使用多种语言来编写AI。但是，没有完美的编程语言可以指出人工智能中使用的最佳编程语言。开发过程取决于开发的AI应用程序所需的功能。人工智能已经实现了生物识别智能、自动驾驶汽车的自动驾驶仪，以及其他需要不同人工智能编码语言开发项目的应用。因此，让我们一起继续探索最流行的AI编程语言。
流行的人工智能编程语言关于人工智能最佳编程语言的争论从未停止。因此，我们比较人工智能项目常用的语言，以概述每种语言的优缺点。
Java、Python、Lisp、Prolog和C++是用于人工智能的主要AI编程语言，能够满足开发和设计软件的不同需求。开发人员可以选择哪些AI语言可以满足应用程序要求的所需功能和特性。
PYHTONPython由于其语法简单和通用性，它是开发人员最喜欢的开发中的AI编程语言之一。Python非常适合开发人员进行机器学习，因为与C++和Java相比，它不那么复杂。它也是一种在包括Linux、Windows、MacOS和UNIX在内的平台上使用的非常便携的语言。它的可交互性、解释性、模块化、动态性、可移植性、高级性等特点使它比Java更具特色。
此外，Python是支持面向对象、过程和函数式编程风格的多范式编程。PythonAI编程支持神经网络和NLP解决方案的开发，这得益于其简单的函数库和理想的结构。
优点
Python有各种各样的库和工具。支持算法测试，无需实现。支持面向对象设计的Python提高了程序员的生产力。与Java和C++相比，Python的开发速度更快。缺点
习惯于使用Python的开发人员在尝试使用其他语言进行AI编码时，很难适应完全不同的语法。与C++和Java不同，Python是在解释器的帮助下工作的，这使得AI开发中的编译和执行速度较慢。不适合移动计算。Python不适合用于移动应用程序的AI，因为它的移动计算语言较弱。C++C++是最快的计算机语言。对于时间敏感的AI编程项目，它的速度受到赞赏。它提供更快的执行速度和更少的响应时间，适用于搜索引擎和计算机游戏的开发。此外，C++允许广泛使用算法，并且可以高效地使用统计AI技术。另一个重要的因素是C++由于继承和数据隐藏而支持开发中程序的重用，从而节省时间和成本。C++适用于机器学习和神经网络。
优点
适合为复杂的AI问题寻找解决方案。丰富的库函数和编程工具集合。C++是支持面向对象原则的多范式编程，因此有助于实现有组织的数据。缺点
多任务处理能力差；C++只适用于实现核心或特定系统或算法的基础。它遵循自下而上的方法，因此非常复杂，使得新手开发人员很难使用它来编写AI程序。JAVAJAVA是另一种编程语言来回答“哪种计算机语言用于人工智能？” Java也是一种多范式语言，遵循面向对象的原则和一次编写，随处可读(WORA)的原则。它是一种无需重新编译即可在任何支持它的平台上运行的人工智能编程语言。
Java是最常用的语言之一，而不仅仅是在AI开发中。除了较少的工具外，它的大部分语法都源自C和C++。Java不仅适用于NLP和搜索算法，也适用于神经网络。
优点
非常便携；由于虚拟机技术，它很容易在不同的平台上实现。与C++不同，Java易于使用甚至调试。Java有一个自动内存管理器，可以简化开发人员的工作。缺点
然而，Java比C++慢；它的执行速度较慢，响应时间较长。尽管具有高度可移植性，但Java需要对软件和硬件进行重大更改才能在旧平台上提供便利。Java是一种普遍不成熟的编程AI语言，因为仍有一些开发正在进行中。LISPLISP是另一种用于人工智能开发的语言。它是一个计算机编程语言家族，是仅次于Fortran的第二古老的编程语言。随着时间的推移，Lisp已经发展成为一种强大而动态的编码语言。
一些人认为Lisp是AI的最佳编程语言，因为它为开发人员提供了便利的自由。Lisp之所以被用于AI，是因为它具有快速原型设计和实验的灵活性，这反过来又促进了Lisp成长为一种标准的AI语言。例如，Lisp有一个独特的宏系统，便于探索和实现不同层次的IntellectualIntelligence。
与大多数AI编程语言不同，Lisp可以更有效地解决特定问题，因为它可以适应开发人员正在编写的解决方案的需求。它非常适合归纳逻辑项目和机器学习。
优点
编码快速高效，因为编译器而不是解释器支持它。为Lisp发明了一个自动内存管理器；因此，它有一个垃圾收集。Lisp提供对系统的特定控制，从而最大限度地利用它们。缺点
很少有开发人员熟悉Lisp编程。作为一种古老的人工智能编程语言，Lisp需要配置新的软件和硬件来适应它的使用。人工智能编程给软件开发带来什么好处？随着企业对人工智能编程语言越来越感兴趣，人工智能肯定会对软件开发产生影响。毫无疑问，它会影响团队构建应用程序的方式以及用户与应用程序交互的方式。AI帮助开发人员处理各种活动并建立新技能来改进产品。明显的好处仍然是支持开发人员高效工作的机会。
探索AI如何为开发人员带来优势以及它如何帮助应对常见的软件开发挑战将会很有趣。
准确的项目估算软件开发中的常见挑战之一是提供准确的估计。它需要丰富的专业知识、上下文意识和项目熟悉度。因此，AI允许开发人员应用以前项目的历史数据，并促进预算和截止日期的估算。考虑到各种场景和可能的挑战，他们能够包括更好的评估、用户故事、功能描述等。它使开发人员能够预测所需的预算和工作量。
创新设计项目规划还需要专门的软件设计经验和知识。有时，将客户需求转化为具有出色用户体验的美观产品是一项挑战。然而，人工智能工具可以帮助自动化有关软件设计及其实施步骤的不同任务。例如，使用AI设计助手和其他技术创新可以更轻松地呈现可视化界面。它极大地帮助了解客户偏好并将其转化为功能强大且设计良好的软件。
质量代码代码的质量影响软件的实施及其长期维护。每个团队都意识到需要了解最新信息并应用最新的技术方法。人工智能编程绝对是这里的头把交椅。开发人员使用人工智能来生成更好的代码、优化操作并获得新知识。此外，人工智能解决方案非常适合提高编码过程的准确性和速度。例如，启用AI的编码支持在错误发生时进行错误检测。它可以提高生产力并增加软件价值。
自动化安全软件安全是许多开发团队关注的主要问题之一。他们寻找新的方法来辨别不当行为、避免延迟通知、发出提前警告等。因此，结合人工智能工具变得非常必要。由于更易于访问和更快地检测安全问题，它们被用于研究数据和推进AI编码。同时，它有助于节省查看可执行文件的时间。
质量评估重要的是要提到人工智能在软件测试中的重要性以及确保质量评估程序的能力。质量保证专家极大地受益于人工智能工具的参与。它大大提高了测试、错误查找和修复的质量。此外，它通常在产品投放市场之前完成。这使团队能够简化开发过程并展示高质量的产品。
分析自动化基于人工智能的技术还涵盖了数据分析的自动化。它帮助团队自动化、加速和简化数据分析过程。这支持有价值的数据洞察力和战略决策。AI/ML算法用于自主监控和分析大量数据。此外，它还为用户参与、软件优化和洞察生成提供了新的解决方案。
战略决策无论是创建新产品还是改进现有解决方案，团队都必须做出许多战略决策。为了提高效率，他们可以应用人工智能平台来积累以前的经验，以减少项目误解并确定需求的优先级。不断审查软件性能使他们能够增强软件性能以满足不断增长的业务需求。
人工智能编程已经成为软件行业不可避免的一部分。各种AI支持的工具有助于简化开发过程、与团队高效协作、获得有价值的见解并创造出色的市场产品。
结论学的头皮发麻，同行卷的我人麻，点赞吧~
本文正在参加人工智能创作者扶持计划