talkGPT4All: 基于GPT4All的智能语音聊天程序
1.概述TL;DR:talkGPT4All是一个在PC本地运行的基于talkGPT和GPT4All的语音聊天程序，通过OpenAIWhisper将输入语音转文本，再将输入文本传给GPT4All获取回答文本，最后利用发音程序将文本读出来，构建了完整的语音交互聊天过程。
实际使用效果：talkGPT4All:基于Whisper+GPT4All的语音聊天机器人
实际上，它只是几个工具的简易组合，没有什么创新的地方（甚至不支持多轮聊天，只支持英文），但talkGPT4All有下面几个比较好的特点：
所有算法本地运行，不涉及API的调用，避免了国内无法访问OpenAIAPI的问题CPU运行，无须GPU显卡占内存小，实测8G内存就可以跑起来速度还可以，测试8GWindows一轮聊天小于1分钟，16GMacM1一轮聊天小于30秒集成的AI还算智能，至少答能对题，回答看起来是符合英语语法的目前支持平台和验证的情况如下:
MacM1，已经验证可用Windows，已经验证可用MacIntel，未验证Linux，未验证接下来对为什么造轮子和安装过程进行一步步地说明。如果不想了解细节的话，可以直接跳转到第3部分开始上手安装。
2.为什么造这个轮子聊天机器人是我比较喜欢的一个应用，机器+人类的思维是一个很有意思的场景。另一方面，通过一个智能机器人来练习英语口语，也是一个很实际的应用。
一直以来，想要做一个含有智能的聊天机器人应用都是难度很大的，尤其是智能化的程度，受学术研究进展的制约，没法做到很高。然而近期的AILLM大爆发，让开发一个真正智能的AI聊天机器人越来越容易。
最早看到的是基于whisper.cpp的talk.wasm,一个基于Whisper+GPT-2的浏览器对话机器人，实际测试后发现GPT-2还不够智能，回答很多时候都答非所问。
然后是在ChatGPT出来后，我在想能不能做一个Whisper+ChatGPT的智能聊天机器人呢，搜索后发现whisper.cpp的讨论区已经有人在讨论这个事情，不过没看到成品。
在ChatGPT开放API后，有人做了一个MacOS上的基于OpenAIAPI的语音聊天机器人talkGPT，简单好用，唯一的问题是需要借助OpenAIAPI，目前国内是不太好访问的。
再然后是llama.cpp，通过量化和大量工程优化，让原本参数量很大的LLaMA模型可以跑在普通的笔记本上（现在甚至支持在Android上运行！)，但实际测试经过量化后LLaMA7B模型智能程度不太高，有时候会出错，而更大的LLaMA15B和30B在8GB内存的Windows机器上跑起来就比较难了（最新进展：大小20GB的30B模型可以在8G的系统上运行了，参见这个优化和这里的讨论)。
这周又出现了gpt4all，基于LLaMA7B模型，采集近80万的GPT-3.5-Turbo对话数据进行finetune，效果看起来比LLaMA7B要好。作者发布了他们训练好的经过量化的模型，大小3.9G，以及可以直接在PC上运行的二进制聊天程序，可以直接在各个平台运行。
然后长久以来的TODO可以实现了，在缝合了talkGPT和GPT4All后，就有了talkGPT4All。简单来说，是把talkGPT的OpenAIAPI换成了GPT4All提供的本地可以运行的量化模型，也可以说是在GPT4All的基础上添加了语音转文本和文本转语音的功能。
那下面我们来看看怎么安装和运行这个缝合怪吧。
3.构建环境由于整个程序设计到Python代码环境的搭建、Whisper语音转文本模型的下载、GPT4All语言模型的下载、GPT4All聊天程序的下载、文本转语音程序的下载，整体链路略长，下面分步骤分平台分别进行详细说明。
3.1Python环境的搭建在不同平台Python代码环境的搭建是一致的。
推荐使用>=3.8的Python版本，因为新版本的Python有一定的速度提升。低版本可能一些功能不支持。首先clone代码:
gitclonehttps://github.com/vra/talkGPT4All.git复制代码后面假设代码仓库的根目录为来进行命令说明。
基于Python自带的venv来搭建隔离的环境，并进行依赖安装:
cdpython-mvenvtalkgpt4allsourcetalkgpt4all/bin/activatepipinstall-Upippipinstall-rrequirements.txt复制代码3.2Whisper语音转文本模型下载Whisper模型在调用时会自动下载，但有时候在命令行下载速度比较慢，我们可以在浏览器中提前下载后放置到对应目录，解决这个问题。Whisper的所有模型地址参见这里，我们用的是base.pt，地址是openaipublic.azureedge.net/main/whispe…，放置的目录是$HOME/.cache/whisper（Windows上是C:Usersusername.cachewhisper),通过浏览器或wget下载base.pt到这个目录就行。
3.3GPT4All语言模型的下载语言模型放置目录是/models，根据GPT4All文档，下载方式包括+链接直接下载+torrent下载
选择其中一种方式，将下载后的模型放置到/models目录下。
3.3GPT4All聊天程序下载GPT4All的作者打包了多平台的二进制聊天程序，可以下载后直接使用，不用从源码编译C++文件。
聊天程序的放置目录是/bin，不同平台的下载地址如下：
MacM1:raw.githubusercontent.com/nomic-ai/gp…MacIntel:raw.githubusercontent.com/nomic-ai/gp…Linux:raw.githubusercontent.com/nomic-ai/gp…Windows:raw.githubusercontent.com/nomic-ai/gp…下载你的平台的文件，放置到/bin。
3.4文本转语音程序下载在Mac下，自带say命令，可以将文本转语音，因此不需要额外安装工具。
在Linux下，有espeak命令可以来完成文本转语音，但需要额外安装，Ubuntu下的安装命令为sudoaptinstallespeak，别的发行版也可以用包管理安装。如果不行的话，尝试下载源码自行编译安装。
Windows下有一个say命令的替代wsay,可以在这里下载wsay.exe，放置到/bin目录下。
4.使用安装完成后，进入目录，启用虚拟环境，使用pythonchat.py--platform运行程序，分别是mac-m1,mac-intel,linux,windows。
MacM1:
pythonchat.py--platformmac-m1复制代码MacIntel:
pythonchat.py--platformmac-intel复制代码Linux:
pythonchat.py--platformlinux复制代码Windows:
pythonchat.py--platformwindows复制代码⚠️注意：目前只测试过MacM1和Windows，别的平台未测试，如有问题，欢迎提issue和PR。
在Mac上使用效果如下:
编辑切换为居中
添加图片注释，不超过140字（可选）
也可以参见本文开头的视频或这里。
5.后续改进思路目前实现还是比较粗糙，计划后续会增加下面的功能（按实现难度从低到高排列）：
验证Linux，MacIntel和WSL2下能否正常运行增加多轮对话支持增加中文支持去掉编译好的二进制程序，包含llama.cpp源码，自行编译，支持更灵活的使用更多效果更好模型的添加欢迎基于这个仓库进行修改和代码分发，期待创造出更有新意、更有应用价值的东西～
本文正在参加人工智能创作者扶持计划
【人工智能app】人工智能软件有哪些
阿里智能2021-11-24/51.8M查看推荐理由:阿里智能是一款阿里巴巴旗下阿里小智物联网平台官方推出阿里智能app应用，用户可以通过阿里只能来操作家里的智能设备，智能生活，一步开启版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装
咪咕灵犀2021-07-31/95.8M查看推荐理由:咪咕灵犀app是一款超懂你的自助式智能语音助手，利用咪咕灵犀app用户可操作智能手机打电话、发短信、播放音乐等等，咪咕灵犀app不仅能查话费、查流量、查天气，咪咕灵犀app还可以听音乐、听新闻、查影讯、听笑话、聊八卦等各种奇葩啥都行版本：安卓版扫二维码安装苹果版扫二维码安装
QQ2023-02-23/293.5M查看推荐理由:QQ小冰是一个可以和小伙伴们进行聊天的机器人，QQ小冰机器人不仅能帮助群主进行管理自己的群，和自己群里的小伙伴进行聊天，QQ群小冰还支持语音和图像的多感官交流哦，感兴趣的小伙伴赶紧下载体验一下吧版本：安卓版扫二维码安装
智能3602017-07-12/28.3M查看推荐理由:智能360语音机器人是一款智能语音移动应用，智能360语音助手可成为用户真正的生活助理，实现你当霸道总裁的所有愿望。你只要对智能360说出你的需求，智能360就好想方设法帮您找到解决的办法并搞定。版本：安卓版扫二维码安装
人工智障爱酱2017-06-04/32.7M查看推荐理由:人工智障爱酱表情包是一个新推出来的日版小太妹，人工智障爱酱软件形象清纯可爱，身材和穿着又火爆大方，人工智障爱酱就是是新时代宅男偶像！人工智障爱酱在B站推出来之后，爱酱人气值暴涨，还不知道人工智障的各位就out了，赶快过来学习学习版本：安卓版扫二维码安装
Prisma中文版2020-05-08/30.7M查看推荐理由:prisma安卓版是一款来自开挂民族的滤镜App，prisma中文版可将照片转换成油画等各种艺术风格，prisma通过人工智能，将用户上传的照片以名画家，例如梵高、莫奈、毕加索的笔触“重新”画了一遍，prisma使得照片看起来非常酷炫版本：安卓版扫二维码安装苹果版扫二维码安装
彩云小译2022-09-05/43.5M查看推荐理由:彩云小译app是一款在线翻译软件，彩云小译app为用户提供便捷的实时翻译功能，让用户出国旅行更方便版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装Mac版扫二维码安装
微软识花2018-09-28/151M查看推荐理由:微软识花app是微软官方新上线的一款智能识别应用APP，微软识花app支持一键识别25万种花卉，微软识花app这个智能花朵识别系统让你只需要通过手机拍摄一张图片，就可以辨别出这是什么花了。微软识花app，一位可以随身携带的植物专家版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装
讯飞语记2022-12-25/64.3M查看推荐理由:讯飞语记app是一款说话就能秒变文字记录的云笔记应用，讯飞语记app是记灵感、记待办事项、写日记、写文章必备神器，还可配合QQ阅读、追书神器、起点读书等语音朗读小说哦，欢迎下载体验版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装Mac版扫二维码安装
AI千问2023-04-20/25M查看推荐理由:AI千问是一款由阿里推出的人工智能ai服务软件，提供多种实用功能，可以快速的解决生活中的问题，能在线提问，AI千问会智能为你解决问题。版本：安卓版扫二维码安装
BOE移动健康ios2023-01-09/22M查看推荐理由:BOE移动健康app权威专家打造孕婴课程，让妈妈美丽、宝宝健康!BOE移动健康app硬件互联精确获取体征数据，轻松破解健康密码!下一页健康新纪元，BOE移动健康，用心书写!版本：安卓版扫二维码安装苹果版扫二维码安装
当当鱼智能2022-12-26/108.5M查看推荐理由:当当鱼智能app是一款非常好用的养鱼智能助手，不仅可以提供鱼塘成分分析，环境检测，实时数据报表等功能，还能进行全方位的托管服务，解放人工，出现异常会立刻通知用户，安全、方便！快来下载试用吧！版本：安卓版扫二维码安装
小度2022-10-23/180.6M查看推荐理由:小度APP是百度打造的一款智能助手APP，小度APP能够连接多款百度旗下智能设备及合作设备（智能音箱、智能平板电脑、蓝牙车载设备、蓝牙音箱及耳机等）。用户可以通过小度APP与设备的连接，实现以自然语言方便流畅的与设备或手机对话，获得丰富的AI体验。版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装
优巡2022-10-09/62.4M查看推荐理由:优巡App是一款基于AI技术的移动智能监考系统，这款软件主要通过考生的手机作为监考设备，考生在考试时需要通过手机摄像头来完成人脸识别认证，避免替考的现象发生，并可以实时的监控考生考生过程中的一举一动，保证考试的公平和公正。版本：PC版扫二维码安装安卓版扫二维码安装苹果版扫二维码安装
小米小爱智能闹钟2022-09-02/141.4M查看推荐理由:小米小爱闹钟是一款集日常常用功能于一体的设备，小米小爱闹钟相当于智能闹钟+收音机+生活助手+智能家庭，通过小米小爱智能闹钟app操控入口就可以打造您的智能家居生活啦，欢迎大家下载体验小米小爱智能闹钟app版本：安卓版扫二维码安装苹果版扫二维码安装
网易智造2022-09-02/109.1M查看推荐理由:网易智造app是一款智能硬件管理应用App，网易智造app不仅连接网易的智能产品，同时网易智造app也开放接入第三方智能硬件，还有精品生活电商及新鲜酷玩资讯，网易智造app为用户提供智能生活整体解决方案版本：安卓版扫二维码安装苹果版扫二维码安装
国寿AI健康机器人2022-08-30/99.1M查看推荐理由:国寿AI健康机器人是为您私人订制的智能健康小秘书。国寿爱健康机器人app为用户提供了丰富实用的健康功能，包括权威专家健康知识、心率测试、疾病自测等，满足您对健康管理的多种需求，国寿爱健康机器人app还能根据您的需求，主动推送你需要的内容。欢迎下载体验版本：安卓版扫二维码安装苹果版扫二维码安装
PicoVR助手2022-08-24/46.3M查看推荐理由:PicoVR助手app是一款多功能超专业巨使用的智能VR辅助软件，用户只需在手机安装下载PicoVR助手app，即可抢先一步获悉最新的游戏活动和资讯内容，实时推送消息提醒。版本：安卓版扫二维码安装
麦琪同学2022-08-01/16.7M查看推荐理由:麦琪同学app，为你带来智慧生活的服务软件。麦琪同学app是麦琪同学智能AI音箱的组合软件，通过麦琪同学软件你可一键链接设备远程操控，享受贴心的生活辅助服务版本：安卓版扫二维码安装
AIBook2022-03-27/162.4M查看推荐理由:AIbook―一本可互动的5维智能图书！AI图书助理―李肖帅，给图书直接升级到：可扫、可听、可聊、可变、可互动的5D智读时代。这已经不是一本普通的图书，而是一本可生长的活的书。通过AIBOOK，AI图书助理李肖帅，未来将成为智能油田领域越来越智能的专家，承担教育培训、操作指导等更多的工作。版本：安卓版扫二维码安装
奇遇VR2022-02-22/40.8M查看推荐理由:奇遇VRApp是面向广大奇遇玩家们打造的移动综合社区交流平台，奇遇VRApp由北京爱奇艺科技有限公司开发，最新资讯动态一手掌握，畅所欲言。版本：安卓版扫二维码安装
度小镜2022-01-08/8.8M查看推荐理由:度小镜是一款为用户朋友们打造的智能车载助手app，这款度小镜可以通过手机连接智能倒车镜，它可以为用户提供更加高端的驾驶体验，是每一个司机必不可少的助手软件。版本：安卓版扫二维码安装
智能云曦灵2021-12-28/0KB查看推荐理由:智能云曦灵是百度推出的智能ai平台，采用最新的高科技，覆盖多个方便，智能云曦灵通过智能运算，可以降低交通事故的发生。版本：安卓版扫二维码安装
蛋壳当家2021-12-06/48.5M查看推荐理由:蛋壳当家app是蛋壳科技推出的机器人配套软件，可以快速的连接智能机器人，同步设备信息，蛋壳当家可以根据机器人指令做出指示，在电量低的时候还会自动报警。版本：安卓版扫二维码安装
腾讯慧眼2021-10-21/43.8M查看推荐理由:腾讯慧眼app是一款人工智能软件，这款腾讯慧眼app拥有图像识别、声音识别、大数据分析等能力，腾讯慧眼app不仅可以帮助用户轻松办理各种服务，腾讯慧眼app还可以更便捷诸多用户生活版本：安卓版扫二维码安装
车萝卜小蜜2021-10-18/107.6M查看推荐理由:车萝卜小蜜app，让你生活更方便的智慧软件。通过车萝卜小蜜app你可享受语言导航服务，快速语音智能搜歌、接电话等。同时车萝卜小蜜app还支持连接汽车安全隐患预测仪，及时发现潜在健康隐患等版本：安卓版扫二维码安装
小Biu音箱2021-09-30/117.1M查看推荐理由:小Biu音箱app是一款人工智能助手，小Biu音箱app拥有多种功能，只需手机下载一个小Biu音箱app就能随时控制音箱的开关及所有功能版本：安卓版扫二维码安装苹果版扫二维码安装
WIFIVisible2021-07-05/10.0M查看推荐理由:WIFIVisible是一款专为耳勺打造的智能app，WIFIVisible软件中有着海量的智能功能，能够一键搜索到最新的设备，同时WIFIVisibleapp还能无间断的查看到耳勺摄影到的场景！版本：安卓版扫二维码安装
yeedi2021-06-06/56.2M查看推荐理由:yeediapp是一款专为yeedi扫地机器人购买者量身打造的智能操控软件，通过yeediapp打开手机即可智能连接家里的扫地机器人，非常的便捷简单好操作。版本：PC版扫二维码安装安卓版扫二维码安装
TA来了2021-06-03/41.8M查看推荐理由:TA来了app是一款功能超全的人工智能助手应用，TA来了软件具备多种服务，是你随声携带的好助手，对TA来了说出你需要的可以马上获得服务版本：安卓版扫二维码安装