「Android - SoundPool使用」

一、语音播放

Android开发过程中或多或少的都会接触到一些音效的播放,自带组件就有MediaPlayerSoundPoolMediaPlayer有着自身的不足,资源占用大,并不能支持多音频同时播放等。

SoundPool则更适合短时、急促、密集的提示音播放。如支付收款的到账通知的,SoundPool支持异步初始化,可以导入本地音频文件并解码。而这也同样伴随一个缺点,如果资源未加载完全时播放则不全。

二、HandlerThread

在使用SoundPool之前有必要了解一下HandlerThread,以游戏中音效为例。主线程不占用,但是音效的播放是较为密集的,HandlerThread是个不错的选择。为什么不普通的Thread?如果使用普通的Thread,则需要自己去实现线程的唤醒,等待以及通知主线程更新等操作。繁琐也不容易管理。

1.HandlerThread是什么?

顾名思义,它是Handler同时也是Thread,熟悉Handler机制的一定不会很陌生,线程切换,消息处理、更新UI等。而Thread类无非就是开启子线程处理耗时任务。来看看HandlerThread具体实现源码。

  • 继承自Thread
public class HandlerThread extends Thread {
  int mPriority;
  int mTid = -1;
  Looper mLooper;
  private @Nullable Handler mHandler;
} 

1.可以看到内部包含Looper、Handler实例

  • 构造函数
public HandlerThread(String name) {
  super(name);
  mPriority = Process.THREAD_PRIORITY_DEFAULT;
}

public HandlerThread(String name, int priority) {
  super(name);
  mPriority = priority;
}
Process.THREAD_PRIORITY_DEFAULT = 0; 

1.线程的默认优先级为0,当然这里要区别Java的线程优先级,在Java中线程的优先级范围为[1-10],值越大优先级越高。在Android开发过程可以通过Process来指定线程的优先级[-20-19],具体可以在Process类中查看。当然Google还是比较推荐使用第二种方式来确定优先级。-20为最高优先级。

  • 关键方法run()
@Override
public void run() {
  mTid = Process.myTid();
  Looper.prepare();
  synchronized (this) {
    mLooper = Looper.myLooper();
    notifyAll();
  }
  Process.setThreadPriority(mPriority);
  onLooperPrepared();
  Looper.loop();
  mTid = -1;
} 

1.实现很简单,仅仅是自己维护一套消息循环,简单的理解就是那个经典的面试题(子线程中如何创建Handler)的具体实现。

比较疑惑的地方就是同步机制notifyAll(),这里为什么会这么写?稍微思考一下,既然是HandlerThread,那么第一反应是可以支持Handler的能力的,拿到这个Handler对象就可以处理一些UI更新的能力。在源码中提供了获取当前线程Handler实例对象的方法:

@NonNull
public Handler getThreadHandler() {
 if (mHandler == null) {
   mHandler = new Handler(getLooper());
 }
 return mHandler;
} 

在线程存活的前提下,要使mHandler对象不为空那么Looper对象必须不为空,看getLooper():

public Looper getLooper() {
  if (!isAlive()) {
     return null;
  }
  synchronized (this) {
     while (isAlive() && mLooper == null) {
          try {
           wait();
         } catch (InterruptedException e) {
       }
     }
  }
  return mLooper;
} 

在线程已经启动的情况下,mLooper的初始化是在 run() 方法中:

public void run() {
  ....
  synchronized (this) {
    mLooper = Looper.myLooper();
    notifyAll();
  }
  ....
} 

如果不使用等待唤醒机制,那么在外部调用getThreadHandler时是无法保证同步的问题的,因此这里就解释通了,使用等待唤醒机制来处理同步的问题。

  • 安全退出
public boolean quitSafely() {
  Looper looper = getLooper();
  if (looper != null) {
     looper.quitSafely();
     return true;
  }
 return false;
} 

等到消息队列中所有的消息处理完全后,才会退出循环。这里需要注意的是,quitSafely同样会清除队列里的延迟消息,而处理非延迟消息。quit则是清除所有的消息。

2.HandlerThread能干嘛?

首先可以明确的是,这是一个单线程且具有Handler能力的类,那么它能干什么呢?单线程+异步操作,很明显能想到这个模型。对于小文件的下载、较为简单的I/O操作,简单数据库内容读取并刷新UI,这些场景都是很适合。但是它并不适合大文件的下载,为什么?因为是单个线程,较大文件的下载显然是不合适的。当然在这里要讨论另外的场景,搭配SoundPool进行密集型语音播报。

三、SoundPool
1.使用基本流程

以播报收款金额为例,金额的构成很简单,无非就是数字加上小数点外加一个中文字符“元”,而我们需要做的就是将目标的金额分解为一个个数字(单个小数点)加上“元”,通过SoundPool循环播放出每个音节即可以满足需求,而SoundPool的一般使用流程为:

  • 将音频源文件引入到res/raw目录下;
  • 根据需求定制SoundPool,加入语音队列;
  • 实例化SoundPool并通过play进行播放。
2.基本构建参数
public SoundPool(int maxStreams, int streamType, int srcQuality) {
this(maxStreams,
  new AudioAttributes.Builder().setInternalLegacyStreamType(streamType).build());
        PlayerBase.deprecateStreamTypeForPlayback(streamType, "SoundPool", "SoundPool()");
}

private SoundPool(int maxStreams, AudioAttributes attributes) {
 super(attributes, AudioPlaybackConfiguration.PLAYER_TYPE_JAM_SOUNDPOOL);
 //do native setup
   if (native_setup(new WeakReference<SoundPool>(this), maxStreams, attributes) != 0) {
    throw new RuntimeException("Native setup failed");
 }
 mAttributes = attributes;
 baseRegisterPlayer();
}

public static class Builder {
  private int mMaxStreams = 1;
  private AudioAttributes mAudioAttributes;
  //...
} 
  • maxStreams:最大同时支持音频播放数;
  • streamType:音频流类型,一般为AudioManager.STREAM_MUSIC
  • srcQuality:采样的转换的质量,目前没有作用,以0为默认值。
  • 在版本为21以上时,推荐使用Builder去构建SoundPool,默认的构造方法已经过时。
3.加载资源文件
public int load(Context context, int resId, int priority) {
  AssetFileDescriptor afd = context.getResources().openRawResourceFd(resId);
  int id = 0;
  if (afd != null) {
      id = _load(afd.getFileDescriptor(), afd.getStartOffset(), afd.getLength(), priority);
      try {
         afd.close();
      } catch (java.io.IOException ex) {
        //Log.d(TAG, "close failed:", ex);
    }
  }
 return id;
} 
  • context:应用上下文;
  • resId:资源的id,一般就是res/raw目录下的文件,R.raw.test
  • priority:音频文件的优先级,没有实际意义,默认是1,为了兼容与扩展。
4.播放配置
public final int play(int soundID, float leftVolume, float rightVolume,
  int priority, int loop, float rate) {
  baseStart();
  return _play(soundID, leftVolume, rightVolume, priority, loop, rate);
} 
  • soundID:load函数中返回的资源ID
  • leftVolume:左声道音量,范围为 [0.0 - 1.0]
  • rightVolume:右声道音量,范围为 [0.0 - 1.0]
  • priority:音频流的优先级,0为最低优先级;
  • loop:播放的循环模式,0表示播放一次,大于0的数,则对应相应的循环次数,-1则表示无限循环;
  • rate:播放速率,1.0为正常播放速度,取值范围为 [0.5 - 2.0]

音量的设置一般做法需要AudioManager来做一次计算:

AudioManager audioManager = (AudioManager) this.getSystemService(AUDIO_SERVICE);
//获取最大音量(当前媒体类型,这里使用的是STREAM_MUSIC)
int maxVolume = audioManager.getStreamMaxVolume(AudioManager.STREAM_MUSIC);
//获取当前音量(当前媒体类型,这里使用的是STREAM_MUSIC)
int currentVolume = audioManager.getStreamVolume(AudioManager.STREAM_MUSIC);
//声音音量比值
float volumeRatio = (float) (currentVolume / maxVolume); 
四、以SoundPool实现播放组件

一般都会设计成aar引入的形式,原因主要有:

1.更加通用,可以复用组件,易于扩展;

2.本地的音频文件过多的话,占用包体积就比较大,不利用于Apk体积优化;

3.按需加载音频文件。

现在思考一下设计成简单SDK的功能,应该包含哪些需求,首先对应不同的播放支持,有的需要很多资源文件,而有的模块需要的音频文件很少。那么按照需要应提供load策略按需下载对应的音频文件到本地。存在不需要拼接的音频,那么理想的是可以直接播放,那么就需要通用的播放util。对于拼接的音频,需要搭配handlerThread来处理连续播放,不过这属于具体的实现细节了。另外最重要的就是需要AIDL支持(将aar的文件导入到本地项目)。大概思路有了,那么就是技术方案的制定了。以播放金额为例,主要音频应该包含数字 [0 - 9],小数点 .、成功以及失败音频等。

  • 音频工具类,主要梳理对应关系,例如数字0对应字符串 "0",以及音频对应的时长
object SourceUtil {
  //数字0到9
  const val NUM_0 = "0"
  const val NUM_1 = "1"
  const val NUM_2 = "2"
  const val NUM_3 = "3"
  //....
  const val SUCCESS = "success"
  //...
  
  //音频对应播放的时长
  val SOURCE_TO_DURATION = mapOf(
    NUM_0 to 300L,
    NUM_1 to 300L,
    //...
    SUCCESS to 1000L
  )
} 
  • 加载对应音频资源策略接口
interface ILoadSource {
  fun loadSource(): List<String>
} 
  • 默认的加载实现,加载全部资源
class DefaultLoadAllSource : ILoadSource {
  override fun loadSource() : List<String> {
    return listOf(
      SourceUtil.NUM_0,
      SourceUtil.NUM_1,
      SourceUtil.NUM_2,
      //....
      SourceUtil.SUCCESS
    )
  }
} 
  • 按需加载资源,例如只加载数字
class LoadNumSource : ILoadSource {
  override fun loadSource() : List<String> {
    return listOf(
      SourceUtil.NUM_0,
      SourceUtil.NUM_1,
      SourceUtil.NUM_2,
      //....
    )
  }
} 
  • 播放核心类SoundPlayer

1.需要根据资源别名加载指定的文件;

2.支持循环播放单个音节(金额拼接);

3.load资源,以及unload资源

class SoundPlayer {
  //SoundPool播放组件
  private lateinit var mSoundPool : SoundPool
  //播放音量
  private var mVolume : Float? = 0f
  //是否正在播放
  private var mPlaying = false
  //当前正在播放的资源id
  private var mCurrentSourceId = -1
  //根据加载策略加载的资源文件alis与duration
  private val mSourcePoolMap = mutableMapOf<String, SoundDTO>()
  //播放队列
  private val mSourceQueue = LinkedList<String>
  //通过HandlerThread控制循环播放
  private val mHandler : Handler 
    get() {
      val handlerThread = HandlerThread("coustom handlerThread name")
      //启动线程
      handlerThread.start()
      return Handler(handlerThread.looper)
    }

  //数据DTO,仅包含名称alis,与播放时长
  private data class SoundDTO(val sourceId: Int, val duration: Long)
} 

初始化操作,需要兼容低版本的情况,并且在初始化操作时应根据对应的加载策略将音频的资源文件load到本地。

companion object {
  private const val AUDIO_PREFIX = "tts_"
  private const val MAX_STREAMS = 5
  private const val STREAM_TYPE = AudioManager.STREAM_MUSIC
}

fun initSoundPlayer(context: Context, iLoadSource: ILoadSource) {
  //高版本
  mSoundPool = if(Build.VERSION.SDK_INT >= 21) {
    SoundPool.Builder()
                     .setMaxStreams(MAX_STREAMS)
                 .setAudioAttributes(
                        AudioAttributes.Builder()
                                 .setLegacyStreamType(STREAM_TYPE)
                                 .build()
             )
                    .build()
  } else {
    SoundPool(MAX_STREAMS, STREAM_TYPE, 0)
  }
  mPlaying = false
  if (mSourcePoolMap.isNotEmpty()) {
     mSourcePoolMap.clear()
  }
  calculateVolume(context)
}

private fun calculateVolume(context: Context) {
 val audioManager: AudioManager? = (context.getSystemService(AUDIO_SERVICE) as   AudioManager?)
 val maxVolume = audioManager?.getStreamMaxVolume(STREAM_TYPE)
 val currentVolume = audioManager?.getStreamVolume(STREAM_TYPE)
 mVolume = if (currentVolume != null) {
    maxVolume?.let { currentVolume.div(it).toFloat() }
 } else {
    0.8f
 }
} 

要想实现对队列的音频逐一播放,那么需要借助Handler来告诉当前的播放结果,也即是当前播放结束,并队列中仍然有待播放文件,则继续下一个音频播放。

fun playSource(sourceList: MutableList<String>) {
  sourceList.forEach {
    //添加到播放对列,添加前缀并拼接
    mSourceQueue.add("$AUDIO_PREFIX$it")
  }
  takeIf {!mPlaying}?.let {
    playNext()
  }
}

fun playNext() {
  takeIf {mSourceQueue.isNotEmpty()} ?.let {
    val sourceAlias = mSourceQueue.poll()
    val soundDTO = sourceAlias?.let {
      mSourcePoolMap[sourceAlias]
    }
    soundDTO?.let { _soundDTO ->
      mCurrentSourceId = mSoundPool.play(_soundDTO.id, mVolume, mVolume, 1, 0, 1.0f)           
      mPlaying = true
      //当前播放完毕,通过handler发送消息播放下一条,延迟duration则为当前音频的时长
      mHandler.postDelayed(mNextRunnable, _soundDTO.duration)
    }? : run{
      mHandler.postDelayed(mNextRunnable, 0)
    }
  }?: run {
    stopPlay()
  }
}

private val mNextRunnable = Runnable {
  mSoundPool.stop(mCurrentSourceId)
  playNext()
}

private fun stopPlay() {
  mPlaying = false
  mSourceQueue.clear()
  mSoundPool.stop(mCurrentSourceId)
  mHandler.removeCallbacks(mNextRunnable)
} 

对于资源的加载,通过不同的加载策略比对alias并构建SoundDTO对象存入map容器中即可,具体实现比较简单,就不贴代码了,当然还包括AIDL的定义,基本上主要实现播放组件的开启与关闭等根据具体业务来实现。

er.android.com%2Freference%2Fandroid%2Fmedia%2FSoundPool "https://developer.android.com/reference/android/media/SoundPool")

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,482评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,377评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,762评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,273评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,289评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,046评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,351评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,988评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,476评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2 324
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,712评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,261评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2 345

推荐阅读更多精彩内容