AI语音唤醒方案的设计与实现
现在无论是智能音箱还是手机或者平板，都可以在不管cpu是否休眠的时候喊一声“小爱同学”或者“小布小布”就可以唤醒了。那么哪些实现是比较好的呢，或者存在哪些未知的坑呢？今年从过完年后就一直在做语音唤醒这块，一款好的，有价值的项目，会有很多的问题需要去解决。
1.前言这里先抛出几个问题。
1.语音唤醒的实现放在android哪一层处理会比较好？肯定是放在系统的framework层，应用存在各种crash以及被强杀等，即使是系统应用，其存活和优越性完全不能和系统服务相比。放在系统中的缺点在于更新不方便，包括唤醒语音训练库等，不能像应用可以可以自升级，系统升级麻烦，测试周期大。
2.需不需要回声消除去处理音频？这个也是需要的，AEC可以比较大的降低误唤醒率影响。这里我吐槽下我的小米mix2s手机，这个误唤醒率实在太高了。看视频的时候经常误唤醒，及其烦人，所以我把整个语音唤醒都关了。我们是把AEC放在hal层下，通过AudioRecord提供到上层实现
3.为了降低误唤醒，还有哪些比较好的办法？可以对一级唤醒后的唤醒词做二级校验，降低误唤醒率。
4.ASR放在哪一层处理？这个放在应用层做识别处理即可
5.framework层如何拉起应用？唤醒后，拉起应用应该快速，如果等了2，3秒，屏幕才亮起来，这个体验就会很差，所以不建议使用广播的方式，因为framework层通过广播通知应用起来的话，在连接wifi或者开机时，系统会收到大量的广播事件，android会一个一个处理广播事件，这里会导致应用起来的比较慢。所以可以选择直接拉起应用的activity或者service来实现拉起应用。
Slog.d(TAG,"notifyWakeup");Intentintent=newIntent();......intent.putExtra("topPackage",getTopPackage());intent.putExtra("topActivity",getTopActivity());mContext.startService(intent);2.唤醒方案实现2.1.低功耗语音唤醒方案实现所谓的低功耗语音唤醒方案无非就是加语音唤醒芯片，确保在cpu休眠的时候它还在继续工作，当用户说唤醒词时，会将唤醒事件通知到framework层，从而唤醒cpu，触发整个唤醒流程。
但是低功耗唤醒方案存在的问题是，如果不加以对唤醒词的数据校验的话误唤醒率相对较高。这样就会让用户很难接受。所以需要加二级唤醒校验，譬如如果使用dspg的话，会从soundtrigger获取到唤醒词数据，再将唤醒词数据送给二级语音模型训练库，从而降低唤醒率。
privateSoundTriggerDetector.CallbackmSoundTriggerDetectorCallback=newSoundTriggerDetector.Callback(){@OverridepublicvoidonAvailabilityChanged(intstatus){Slog.d(TAG,"SoundTriggerDetectorCallbackonAvailabilityChangedstatus="+status);}@OverridepublicvoidonDetected(SoundTriggerDetector.EventPayloadeventPayload){Slog.d(TAG,"SoundTriggerDetectorCallbackonDetected");if(mAuthDUI.isAvailable()&&startWakeupApp()){byte[]triggeraudio=eventPayload.getTriggerAudio();if(triggeraudio!=null){mSingleEngine.feed(triggeraudio,triggeraudio.length);Slog.d(TAG,"feedtriggertosingleengineend");}}}@OverridepublicvoidonError(){Slog.d(TAG,"SoundTriggerDetectorCallbackonError");}@OverridepublicvoidonRecognitionPaused(){Slog.d(TAG,"SoundTriggerDetectorCallbackonRecognitionPaused");}@OverridepublicvoidonRecognitionResumed(){Slog.d(TAG,"SoundTriggerDetectorCallbackonRecognitionResumed");}};2.2.二级唤醒实现二级唤醒的实现其实就是在cpu没有休眠，或者没有灭屏的时候通过audiorecord获取音频数据送给语音唤醒模型库来实现。如果是在cpu没有休眠时，走二级唤醒，可以让内核加个事件上报机制，告诉framework层系统没有休眠，继续二级唤醒，这里需要说下为什么要走二级唤醒？因为二级唤醒会有AEC，会降低误唤醒率。
二级唤醒的实现其实也就是在framework层开一个录音机，在系统服务一起来的时候就打开录音机，然后只要没有切换到cpu休眠状态时，都走二级唤醒，录音机不断地将唤醒数据喂给语音唤醒训练库。当检测到有唤醒事件时，可以选择拉起service的方式拉起应用。
这里在预言阶段就测试了，在cpu没有休眠的时候存在一个audiorecord的话，对功耗影响并不会很多，完全可以接受。这里需要修改audio这块，让android支持多录音，不然上层的app无法正常录音。
privatevoidstartSingleRecord(){startSingleRecord(MediaRecorder.AudioSource.VOICE_RECOGNITION,AudioFormat.CHANNEL_IN_MONO);}需要注意的是多验证audiorecord，防止存在创建了多个audiorecord但是没有销毁导致功耗降不下去的问题。
我一般都是直接dumpsysaudio_flinger来查看当前的录音数量和pid。
adbshelldumpsysmedia.audio_flinger2.3.状态切换中导致的唤不醒在一级切换二级，或者二级切换一级过程中，会存在你喊“小布小布”时，第一个小布在二级中，第二个小布在一级中，导致一级和二级都没有唤醒。所以如果在亮灭屏时判断的时候，可以不要去监听亮灭屏广播去实现，直接在Notifier中去监听亮灭屏，去避免切换的这200多毫秒。
privatevoidhandleEarlyInteractiveChange(){synchronized(mLock){if(mInteractive){//Wakingup...mHandler.post(newRunnable(){@Overridepublicvoidrun(){EventLog.writeEvent(EventLogTags.POWER_SCREEN_STATE,1,0,0,0);mPolicy.startedWakingUp();if(mAIManagerInternal!=null){mAIManagerInternal.startedWakingUp();}else{Slog.d(TAG,"AIManagerInternalisnull");}}});//Sendinteractivebroadcast.mPendingInteractiveState=INTERACTIVE_STATE_AWAKE;mPendingWakeUpBroadcast=true;updatePendingBroadcastLocked();}else{//Goingtosleep...//Tellthepolicythatwestartedgoingtosleep.finalintwhy=translateOffReason(mInteractiveChangeReason);mHandler.post(newRunnable(){@Overridepublicvoidrun(){mPolicy.startedGoingToSleep(why);if(mAIManagerInternal!=null){mAIManagerInternal.startedGoingToSleep(why);}else{Slog.d(TAG,"AIManagerInternalisnull");}}});}}}在自定义系统服务中去实现这俩个函数。
finalclassLocalServiceextendsAIManagerInternal{@OverridepublicvoidstartedGoingToSleep(intwhy){synchronized(AIManagerService.this){AIManagerService.this.startedGoingToSleep(why);}}@OverridepublicvoidstartedWakingUp(){synchronized(AIManagerService.this){AIManagerService.this.startedWakingUp();}}}3.如何避免丢音当你通过语音去唤醒时，如果你快速的说，譬如“小布小布，打开设置”。不管在亮屏还是灭屏的时候可能都会存在丢音，最后送给到上层去做识别的音频数据只有“设置”，那么如何避免丢音呢。做缓存，无论是一级唤醒还是二级唤醒，framework层都应该做音频数据的缓存，缓存足够的数据，不管应用什么时候来取，都应该缓存足量的数据，确保避免丢音问题的存在。
privateArrayBlockingQueuemBlockingQueue;......mBlockingQueue=newArrayBlockingQueue(1024);对于dspg，则应该做oneshot来缓存唤醒点前面1-2秒的音频数据，确保在从dspg唤醒后，开一个audiorecord拿到的音频数据是缓存了唤醒点前1-2秒的。
4.测试指标开发完毕后需要指导测试进行测试方案的制定。同时我们需要做好测试和数据处理，例如对dspg唤醒的音频数据保存以及亮屏唤醒时的唤醒词数据保存等，便于问题分析。
通过上面几种场景我们可以知道关键的几个指标有哪些？
误唤醒唤醒率自唤醒唤醒时间上面这几个又包含在不同场景下的测试，譬如家庭环境下的唤醒，公共场所下的唤醒等，唤醒时间和算法耗时以及芯片cpu的耗时都存在一定关系。
5.其他点整个语音唤醒中还有很多点和坑。
在系统中加入三方公司的so库，由于是黑盒的，对稳定性等可能存在一定影响。以上是目前想到的几点。
下面是项目中用到的一些地方，方便借鉴。
1.判断系统有无应用在录音,譬如在灭屏但是有应用在录音时，这个时候可以不用切成一级唤醒，为了充分利用aec，可以走二级唤醒，如何去判断应用录音以及录音结束后收到通知呢？
判断系统中有无应用录音
publicbooleanisAppRecording(){Listconfigs=mAudioManager.getActiveRecordingConfigurations();Slog.d(TAG,"recordingconfigs.size="+configs.size());if(configs.size()>1){Slog.d(TAG,"hasotherapprecording");returntrue;}Slog.d(TAG,"noappisrecording");returnfalse;}注册监听，在录音状态改变是收到回调通知
AudioManager.AudioRecordingCallbackmAudioRecordingCallback=newAudioManager.AudioRecordingCallback(){@OverridepublicvoidonRecordingConfigChanged(Listconfigs){super.onRecordingConfigChanged(configs);Slog.d(TAG,"onRecordingConfigChangedconfigs.size:"+configs.size());if(configs.size()==1&&!isScreenOn()){Slog.d(TAG,"onRecordingConfigChangedswitchtodspgwakeup");//stopsoftwarewakeup,startdspgwakeupmWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEOFF_MIC);mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEOFF_MIC);}}};判断系统中有无应用在放音
publicbooleanisAudioPlayback(){Listconfigs=mAudioManager.getActivePlaybackConfigurations();for(AudioPlaybackConfigurationconfig:configs){if(config.isActive()){Slog.d(TAG,"hasotherappaudioplaing,pidis:"+config.getClientPid());returntrue;}}Slog.d(TAG,"noappaudioisplaying");returnfalse;}应用放音结束时收到系统放音变化的注册回调
AudioManager.AudioPlaybackCallbackmAudioPlaybackCallback=newAudioManager.AudioPlaybackCallback(){@OverridepublicvoidonPlaybackConfigChanged(Listconfigs){super.onPlaybackConfigChanged(configs);{booleanactive=false;Slog.d(TAG,"AudioPlaybackConfiguration.size"+configs.size());for(AudioPlaybackConfigurationconfig:configs){if(config.isActive()){active=true;}}Slog.d(TAG,"active:"+active);if(!active&&!isScreenOn()){Slog.d(TAG,"onPlaybackConfigChangedswitchtodspgwakeup");//stopaispeechwakeup,startdspgwakeupmWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEOFF_MIC);mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEOFF_MIC);}if(active&&!isScreenOn()){Slog.d(TAG,"onPlaybackConfigChangedswitchtoaispeechwakeup");//stopdspgwakeupandstartaispeechwakeupmWorkHandler.removeMessages(MSG_SWITCH_TO_SINGLEON_MIC);mWorkHandler.sendEmptyMessage(MSG_SWITCH_TO_SINGLEON_MIC);}}}};