人工智能主流框架简介
参考:https://www.zhihu.com/question/52668301
推荐:https://www.jianshu.com/p/39561bdeac0d
一、TensorFlow:
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。TensorFlow可被用于语音识别或图像识别等多项机器学习和深度学习领域。CNN,卷及神经网络。其实TensorFlow大部分内核并不是用Python编写的:它是高度优化了C++和CUDA(Nvidia用于编程GPU的语言)的组合。相反,通常它是使用了Eigen(高性能C++和CUDA库)和NVidia的cuDNN(用于NVidiaGPU的非常优化的DNN库,用于卷积等功能)。TensorFlow的模型是程序员用“一种语言”(很可能是Python!)来表达。
所以说,我们再说一下这个问题:为什么TensorFlow选择Python作为表达和控制模型训练而且支持的非常好的语言?答案很简单:Python可能是大量数据科学家和机器学习专家用的最舒适的语言,也是易于集成和控制C++后端的语言,同时也是广泛使用与谷歌的公司内外和他们的开源产品。鉴于使用TensorFlow的基本模型,Python的性能并不重要,这是一个很自然的契合。NumPy也是一个巨大的加分,它可以很容易地在Python中进行预处理(也是高性能),然后将它们提供给TensorFlow,以获得真正CPU-heavy的东西。
二、Caffe(卷积神经网络框架,ConvolutionalArchitectureforFastFeatureEmbedding)
caffe是一个清晰,可读性高,快速的深度学习框架。作者是贾扬清,加州大学伯克利的ph.D,现就职于Facebook。
Caffe的全称应该是ConvolutionalArchitectureforFastFeatureEmbedding,它是一个清晰、高效的深度学习框架,它是开源的,核心语言是C++,它支持命令行、Python和Matlab接口,它既可以在CPU上运行也可以在GPU上运行。它的license是BSD2-Clause。
DeepLearning比较流行的一个原因,主要是因为它能够自主地从数据上学到有用的feature。特别是对于一些不知道如何设计feature的场合,比如说图像和speech。
Caffe的设计:基本上,Caffefollow了神经网络的一个简单假设----所有的计算都是以layer的形式表示的,layer做的事情就是take一些数据,然后输出一些计算以后的结果,比如说卷积,就是输入一个图像,然后和这一层的参数(filter)做卷积,然后输出卷积的结果。
三、MXNet
亚马逊将MXNet指定为官方深度学习平台
目前支持以下的语言:
python
R
C++
Julia
Scala
比较项CaffeTorchTheanoTensorFlowMXNet主语言C++/cudaC++/Lua/cudaPython/c++/cudaC++/cudaC++/cuda从语言Python/Matlab--PythonPython/R/Julia/Go硬件CPU/GPUCPU/GPU/FPGACPU/GPUCPU/GPU/MobileCPU/GPU/Mobile分布式NNNY(未开源)Y速度快快中等中等快灵活性一般好好好好文档全面全面中等中等全面适合模型CNNCNN/RNNCNN/RNNCNN/RNNCNN/RNN?操作系统所有系统Linux,OSX所有系统Linux,OSX所有系统命令式NYNNY声明式YNYYY接口protobufLuaPythonC++/PythonPython/R/Julia/Go网络结构分层方法分层方法符号张量图符号张量图?人工智能领域常用的开源框架和库(含机器学习/深度学习/强化学习/知识图谱/图神经网络)
【说在前面】本人博客新手一枚,象牙塔的老白,职业场的小白。以下内容仅为个人见解,欢迎批评指正,不喜勿喷![认真看图][认真看图]
【补充说明】本文主要讨论人工智能领域中常用的支持Python编程语言的开源框架和库,因此全面性肯定有限!
一、机器学习常用的开源框架和库1.Scikit-learn作为专门面向机器学习的Python开源框架,Scikit-learn内部实现了多种机器学习算法,容易安装和使用,样例丰富。
2. Mahout在大数据分布式框架Hadoop下使用,包含了机器学习中常用的算法(含推荐算法)。
3.MLlib/spark.ml在大数据分布式框架Spark下使用,同样包含了机器学习中常用的算法,可采用Java/Sacala/Python/R语言作为编程语言。
4.其他例如针对计算机视觉的SimpleCV、针对自然语言处理的NLTK等,这里不再拓展。
二、深度学习常用的开源框架和库1.TensorFlow由GoogleBrain团队开发,能够实现各种深度神经网络的搭建。为初学者和专家提供了各种API,以便对桌面、移动终端、Web和云进行开发。但是,计算图必须构建为静态图,这让很多计算变得难以实现,尤其是序列预测中经常使用的beamsearch。
2.Keras由Python编写的高级神经网络API,相当于Tensorflow、Theano、CNTK的上层接口。强调极简主义,降低了编程和阅读别人代码时的理解开销, 目前封装有全连接网络、CNN、RNN和LSTM等算法。但是,封装得太高级,细节很难修改,无法直接使用多GPU。
3.PyTorch由Facebook团队基于Torch开发的深度学习框架。与TensorFlow不同的是,PyTorch是基于动态图的,目前也非常火热。
4.Caffe在TensorFlow出现之前,一直是深度学习领域Githubstar最多的项目。Caffe的优势在于容易上手(网络结构都是以配置文件形式定义,不需要用代码设计网络)、训练速度快(组件模块化,可以方便的拓展到新的模型和学习任务上)。但是,Caffe不好安装,且最开始设计时的目标只针对于图像,因此对CNN的支持非常好(例如AlexNet、VGG、Inception等),但是对RNN、LSTM等的支持不是特别充分。
5.其他例如百度提出的深度学习框架PaddlePaddle、华为最新开源的深度学习框架MindSpore、阿里的X-DeepLearning等,这里不再拓展。
三、强化学习常用的开源框架和库1. OpenAIGym提供了非常多的虚拟环境,具体强化学习算法的代码需要自己来写,可以很好验证强化学习算法,众多强化学习环境都为其提供接口。
2.OpenAIBaseline基于Tensorflow和OpenAIGym开发的,封装了许多强化学习算法(例如DQN/PPO/TRPO/DDPG等)。但是,代码规范性不好。
3.RLlib支持TensorFlow和PyTorch,可通过简单的PythonAPI使用,目前附带了许多流行的RL算法。
4.HorizonFacebook基于PyTorch、Caffe和Spark构建的强化学习框架,是首个使用应用强化学习在大规模生产环境中优化系统的端到端开源平台。
5.天授:最近了解的,应该比较新吧清华大学人工智能研究院自研的深度强化学习算法平台,支持TensorFlow和PyTorch。可以完整支持PG、DQN、DDQN、A2C、DDPG、PPO、TD3、SAC等主流强化学习算法。对比既有主流强化学习平台,大佬给出了天授的性能对比图:
未来大佬团队将从三个维度拓展“天授”平台,算法层面将更加全面支持地支持主流强化学习算法(包括model-basedRL,imitationlearning等),任务层面将进一步支持包括Atari、VizDoom等复杂任务,性能层面将进一步提升平台在模型性能、训练速度、鲁棒性等方面的核心指标,更好的为学术界服务。
6.其他例如知乎有人提到的tf-agents(与工业紧密连接)、tensorlayer、百度PaddlePaddle发布的PARL等,这里不再拓展。
四、图神经网络常用的开源框架和库1.四大图神经网络框架deepgraphlibrary(DGL):支持pytorch、tensorflowpytorchgeometric(PyG):基于pytorchantgraphmachinelearningsystem:蚂蚁金服团队推出的大规模图机器学习系统tf_geometric:借鉴pytorchgeometric,创建了tensorflow版本2.CogDL :最近了解的,应该比较新吧清华大学知识工程研究室推出了一个大规模图表示学习工具包CogDL,可以让研究者和开发者更加方便地训练和对比用于节点分类、链路预测以及其他图任务的基准或定制模型。该工具包采用PyTorch实现,集成了Deepwalk、LINE、node2vec、GraRep、NetMF、NetSMF、ProNE等非图神经网络和GCN、GAT、GraphSage、DrGCN、NSGCN、GraphSGAN等图神经网络模型基准模型的实现。
与其他图表示学习工具包相比,CogDL具有以下特点:
稀疏性:在具有数千万节点的大规模网络上实现快速网络嵌入。任意性:能够处理属性化、多路和异构等不同图结构的网络。并行处理:在多个GPU上实现不同种子和模型的并行训练并自动输出结果表格。可扩展性:轻松添加新的数据集、模型和任务并在所有现有的模型/数据集上测试。3.Graph-Learn(原AliGraph):一个工业级的图神经网络平台阿里巴巴提出的AliGraph涵盖了从原始图数据到GNN应用的整体链路。根据阿里巴巴的介绍:系统层面:数据种类:支持同构图、异构图、属性图,有向图、无向图,可方便与任意分布式文件系统对接。数据规模:支持千亿级边、十亿级顶点的超大规模图(原始存储TB级)。算子种类:支持几十种可与深度学习相结合的图查询、采样算子,支持向量检索,支持算子按需自定义。性能指标:支持分钟级超大规模图构建,毫秒级多跳异构图采样,毫秒级大规模向量检索。用户接口:纯Python接口,与TensorFlow构成一体化IDE,开发成本相比一般TF模型无异。算法层面:
已支持业界主流的GraphEmbedding算法,包括:DeepWalk、Node2Vec、GraphSAGE、GATNE等。4.其他图神经网络研究者和工业界在Github上开源了很多算法的具体实现及其框架,包括GCN、GAT、GraphNets框架等,这里不再拓展。
五、知识图谱常用的开源框架和库1.开源的知识库主要包括WikiData、DBPedia、WordNet、YAGO、ConceptGraph、BabelNet、CN-DBPeidia、OpenKG等,这里不再拓展。
2.开源的构建工具斯坦福大学医学院生物信息研究中心提出的Protege是基于Java语言开发的本体编辑和知识获取软件。Protege提供本体概念类、关系、属性和实例的构建,不基于具体的本体描述语言,因此用户可以在概念层次上构建领域本体模型。除了Protege,还有其他应用于知识图谱构建的开源软件,而且完整的知识图谱构建还包括知识的存储、知识融合等。我想后续单独写一个专题来介绍知识图谱的构建问题,这里不再拓展。
3.DGL-KE:亚马逊提出的知识图谱嵌入表示框架亚马逊AI团队继DGL之后,又开源了一款专门针对大规模知识图谱嵌入表示的新训练框架DGL-KE,旨在能让研究人员和工业界用户方便、快速地在大规模知识图谱数据集上进行机器学习训练任务。相比于已有的开源框架,DGL-KE的亮点如下:支持各种主流知识图谱表示学习算法,包括TransE、ComplEx、DistMult、TransR、RESCAL、RotatE等。已有开源框架中唯一支持多核CPU,多卡GPU,CPU-GPU混合训练,以及分布式训练的知识图谱嵌入表示框架。简单易用,用户无需编写代码,直接将知识图谱数据作为输入即可。高性能且可扩展。4.其他知识图谱研究者和工业界在Github上应该开源了很多方法的具体实现及其框架,博主有看到再分享,这里不再拓展。
六、智能推荐常用的开源框架和库1.DeepMatch:用于广告和推荐的深度召回匹配算法库提供了若干主流的深度召回匹配算法的实现,并支持快速导出用户和物品向量进行ANN检索。非常适合同学们进行快速实验和学习。
2.其他智能推荐研究者和工业界在Github上应该开源了很多方法的具体实现及其框架,博主有看到再分享,这里不再拓展。
如果你对智能推荐感兴趣,欢迎先浏览我的另几篇随笔:智能推荐算法演变及学习笔记、CTR预估模型演变及学习笔记、基于图模型的智能推荐算法学习笔记(含知识图谱/图神经网络,不止于智能推荐)
如果您对数据挖掘感兴趣,欢迎浏览我的另几篇博客:数据挖掘比赛/项目全流程介绍、从中国农业银行“雅典娜杯”数据挖掘大赛看金融行业数据分析与建模方法
如果您对人工智能算法感兴趣,欢迎浏览我的另一篇博客:人工智能新手入门学习路线和学习资源合集(含AI综述/python/机器学习/深度学习/tensorflow)
如果你是计算机专业的应届毕业生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的应届生,你如何准备求职面试?
如果你是计算机专业的本科生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的本科生,你可以选择学习什么?
如果你是计算机专业的研究生,欢迎浏览我的另外一篇博客:如果你是一个计算机领域的研究生,你可以选择学习什么?
如果你对金融科技感兴趣,欢迎浏览我的另一篇博客:如果你想了解金融科技,不妨先了解金融科技有哪些可能?
之后博主将持续分享各大算法的学习思路和学习笔记:helloworld:我的博客写作思路
人工智能常用10大开发框架和AI库
人工智能常用框架
人工智能是未来发展的一个新方向,从金融服务至医疗保健,再到运输,未来各行各业都会使用到人工智能,这是21世纪又一次的革命性创新。
人工智能的实现离不开开发框架和AI库,以下是汇总的10大高质量人工智能开发框架和AI库,以便于更深入的了解并探索人工智能的世界!
TensorFlowTensorFlow是人工智能领域最常用的框架,是一个使用数据流图进行数值计算的开源软件,该框架允许在任何CPU或GPU上进行计算,无论是台式机、服务器还是移动设备都支持。该框架使用C++和Python作为编程语言,简单易学。
2.微软的CNTK
CNTK是一款开源深度学习工具包,是一个提高模块化和维护分离计算网络,提供学习算法和模型描述的库,可以同时利用多台服务器,速度比TensorFlow快,主要使用C++作为编程语言。
TheanoTheano是一个强大的Python库,该库使用GPU来执行数据密集型计算,操作效率很高,常被用于为大规模的计算密集型操作提供动力。
4.Caffe
Caffe是一个强大的深度学习框架,主要采用C++作为编程语言,深度学习速度非常快,借助Caffe,可以非常轻松地构建用于图像分类的卷积神经网络。
5.Keras
Keras是一个用Python编写的开源的神经网络库,与TensorFlow、CNTK和Theano不同,它是作为一个接口,提供高层次的抽象,让神经网络的配置变得简单。
6.Torch
Torch是一个用于科学和数值的开源机器学习库,主要采用C语言作为编程语言,它是基于Lua的库,通过提供大量的算法,更易于深入学习研究,提高了效率和速度。它有一个强大的n维数组,有助于切片和索引之类的操作。除此之外,还提供了线性代数程序和神经网络模型。
Accord.NETAccord.NET框架是一个.NET机器学习框架,主要使用C#作为编程语言,该框架可以有效地处理数值优化、人工神经网络,甚至是可视化,除此之外,Accord.NET对计算机视觉和信号处理功能非常强大,同时也使得算法的实现变得简单。
SparkMLlibApacheSparkMLlib是一个可扩展的机器学习库,可采用Java、Scala、Python、R作为编程语言,可以轻松插入到Hadoop工作流程中,提供了机器学习算法,如分类,回归和聚类,在处理大型数据时非常快速。
Sci-kitLearnSci-kitLearn是一个非常强大的机器学习Python库,主要用于构建模型,对于统计建模技术非常有效,其特性包括监督学习算法、无监督学习算法和交叉验证。
MLPackMLPack是一个用C++实现的可扩展的机器学习库,其运行速度快,轻松易学!
以上是人工智能领域值得推荐的高质量的框架和AI库,对于想从事或正在从事相关工作的人员来说,最好都可以尝试使用一下,相信必定会有所收获!作者:lmseo5hy来源:CSDN原文:https://blog.csdn.net/lmseo5hy/article/details/82463741版权声明:本文为博主原创文章,转载请附上博文链接!