android 用WebRTC做回音消除

之前使用speex做回音消除,不知道是没有用对还是其他什么原因,导致回音消除的效果非常差。

好在在GitHub找到了一个使用WebRTC做回音消除的例子Android-Audio-Processing-Using-WebRTC

经过一顿改吧改吧的,终于在自己的项目中使用成功。 回音消除的效果比之前好了不止百倍。


/**
 * AudioTrack音频播放,录音
 *
 * @author Robbie
 */
public class Tracker extends JobHandler {

    private static AudioTrack audioTrack;

    private Apm _apm;
    private ApmViewModel vm;
    private AudioRecord audioRecord;
    int framSize = 80;
    // 音频大小
    private int inAudioBufferSize;
    // 音频大小
    private static int outAudioBufferSize;
    // 播放标志
    private boolean isPlaying = true;


    public Tracker(Handler handler) {
        super(handler);
        outAudioBufferSize = Constants.inAudioBufferSize;
        inAudioBufferSize =Constants.inAudioBufferSize;
        this.init();
        initAudioTrace(AudioManager.AUDIO_SESSION_ID_GENERATE);
    }

    public static void initAudioTrace(int sessionId) {
        audioTrack = new AudioTrack((new AudioAttributes.Builder())
                .setLegacyStreamType(Constants.streamType)
                .build(),
                (new AudioFormat.Builder())
                        .setChannelMask(Constants.outputChannelConfig)
                        .setEncoding(Constants.audioFormat)
                        .setSampleRate(Constants.sampleRateInHz)
                        .build(),
                outAudioBufferSize,
                Constants.trackMode, sessionId);



    }

    public boolean isPlaying() {
        return isPlaying;
    }

    public void setPlaying(boolean playing) {
        isPlaying = playing;
    }

    public void init() {
       
        // 初始化音频录制
        audioRecord = new AudioRecord(Constants.audioSource,
                Constants.sampleRateInHz, Constants.inputChannelConfig, Constants.audioFormat, inAudioBufferSize);


    }

    private void initApm() throws Exception {
        int ret;
        vm = ApmViewModel.getInstance();
        try {

            _apm = new Apm(vm.getAecExtendFilter(), vm.getSpeechIntelligibilityEnhance(), vm.getDelayAgnostic(), vm.getBeamForming(),
                    vm.getNextGenerationAEC(), vm.getExperimentalNS(), vm.getExperimentalAGC());

            ret = _apm.HighPassFilter(vm.getHighPassFilter());

            if (vm.getAecPC()) {
                ret = _apm.AECClockDriftCompensation(false);
                ret = _apm.AECSetSuppressionLevel(Apm.AEC_SuppressionLevel.values()[2]);
                ret = _apm.AEC(true);
            } else if (vm.getAecMobile()) {
                ret = _apm.AECMSetSuppressionLevel(Apm.AECM_RoutingMode.values()[2]);
                ret = _apm.AECM(true);
            }

            ret = _apm.NSSetLevel(Apm.NS_Level.values()[1]);
            ret = _apm.NS(vm.getNs());

            ret = _apm.VAD(vm.getVad());


            if (vm.getAgc()) {
                ret = _apm.AGCSetAnalogLevelLimits(0, 255);
                ret = _apm.AGCSetMode(Apm.AGC_Mode.values()[2]);
                ret = _apm.AGCSetTargetLevelDbfs(vm.getAgcTargetLevelInt());
                ret = _apm.AGCSetcompressionGainDb(vm.getAgcCompressionGainInt());
                ret = _apm.AGCEnableLimiter(true);
                ret = _apm.AGC(true);
            }
        } catch (Exception ex) {
//            new AlertDialog.Builder(context).setTitle("System hint")
//                    .setMessage(ex.getMessage())
//                    .show();
            return;
        }


    }


    @Override
    public void run() {
        AudioData currentAudioData;

        try {
            initApm();
        } catch (Exception e) {
            e.printStackTrace();
        }

        while ((currentAudioData = MessageQueue.getInstance(MessageQueue.TRACKER_DATA_QUEUE).take()) != null) {

            if(currentAudioData.isClose()){
                MessageQueue.getInstance(MessageQueue.TRACKER_DATA_QUEUE).clear();
                break;
            }
            if (!IntercomService.connecting) {
                break;
            }

            if (audioTrack == null) {
                continue;
            }
            try {
                if (audioTrack.getPlayState() != AudioTrack.PLAYSTATE_PLAYING) {
                    audioTrack.play();
                }
                short[] bytesPkg = currentAudioData.getRawData();
                if (bytesPkg != null) {


                    for(int i = 0 ; i < bytesPkg.length/framSize ; i++) {

                        try {
                            _apm.ProcessRenderStream(bytesPkg, i * framSize);

                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                    }
                    audioTrack.write(bytesPkg, 0, bytesPkg.length);
                }
                this.reacord(bytesPkg);


            } catch (Exception e) {
                e.printStackTrace();
            }

        }
    }

    private void reacord(short[] bytesPkg) throws Exception {
        if(audioRecord == null){
            this.init();
        }
        if (audioRecord.getRecordingState() == AudioRecord.RECORDSTATE_STOPPED) {
            audioRecord.startRecording();
        }

        AudioData audioData = new AudioData();
        // 实例化音频数据缓冲
        short[] rawData = new short[inAudioBufferSize / 2];

        int size = audioRecord.read(rawData, 0, inAudioBufferSize / 2);

        if (bytesPkg != null) {

            int out_analog_level = 200;
            for(int i = 0 ; i < rawData.length/framSize ; i++) {

                short delay = Short.valueOf(ApmViewModel.getInstance().getAceBufferDelay());

                _apm.SetStreamDelay(delay);
                try {
                    if (vm.getAgc()) {
                        _apm.AGCSetStreamAnalogLevel(out_analog_level);
                    }

                    _apm.ProcessCaptureStream(rawData,i*framSize);
                    if (vm.getAgc()) {
                        out_analog_level = _apm.AGCStreamAnalogLevel();
                        Log.i("AGC", out_analog_level + "");
                    }

                    if (vm.getVad()) {
                        if (!_apm.VADHasVoice()) continue;
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }

            audioData.setRawData(rawData);
        } else {
            audioData.setRawData(rawData);
        }
        audioData.setClose(!IntercomService.connecting);
        MessageQueue.getInstance(MessageQueue.ENCODER_DATA_QUEUE).put(audioData);
    }

   
}

其中的 Apm和ApmViewModel照抄Demo的。

但是回音消除的部分使用Demo中的方法,导致声音出现问题。

播放声音之前执行:

int framSize = 80
  for(int i = 0 ; i < bytesPkg.length/framSize ; i++) {

                        try {
                            _apm.ProcessRenderStream(bytesPkg, i * framSize);

                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                    }

录音之后执行:

int framSize = 80
 int out_analog_level = 200;
            for(int i = 0 ; i < rawData.length/framSize ; i++) {

                short delay = Short.valueOf(ApmViewModel.getInstance().getAceBufferDelay());

                _apm.SetStreamDelay(delay);
                try {
                    if (vm.getAgc()) {
                        _apm.AGCSetStreamAnalogLevel(out_analog_level);
                    }

                    _apm.ProcessCaptureStream(rawData,i*framSize);
                    if (vm.getAgc()) {
                        out_analog_level = _apm.AGCStreamAnalogLevel();
                        Log.i("AGC", out_analog_level + "");
                    }

                    if (vm.getVad()) {
                        if (!_apm.VADHasVoice()) continue;
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }

至于Android中使用到的库文件,可以按照GitHub上的步骤编译。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容