HTML5 录音的踩坑之旅

2017/12/25 · HTML5 ·
录音

原文出处:
翁旺   

详解HTML5 录音的踩坑之旅,详解html5坑之旅

开篇闲扯

前一段时间的一个案子是开发一个有声课件,大致就是通过导入文档、图片等资源后,页面变为类似
PPT
的布局,然后选中一张图片,可以插入音频,有单页编辑和全局编辑两种模式。其中音频的导入方式有两种,一种是从资源库中导入,还有一种就是要提到的录音。

说实话,一开始都没接触过 HTML5 的 Audio
API,而且要基于在我们接手前的代码中进行优化。当然其中也踩了不少坑,这次也会围绕这几个坑来说说感受(会省略一些基本对象的初始化和获取,因为这些内容不是这次的重点,有兴趣的同学可以自行查找
MDN 上的文档):

  1. 调用 Audio API 的兼容性写法
  2. 获取录音声音的大小(应该是频率)
  3. 暂停录音的兼容性写法
  4. 获取当前录音时间

录音前的准备

开始录音前,要先获取当前设备是否支持 Audio API。早期的方法
navigator.getUserMedia 已经被 navigator.mediaDevices.getUserMedia
所代替。正常来说现在大部分的现代浏览器都已经支持
navigator.mediaDevices.getUserMedia 的用法了,当然 MDN
上也给出了兼容性的写法

const promisifiedOldGUM = function(constraints) {
 // First get ahold of getUserMedia, if present
 const getUserMedia =
 navigator.getUserMedia ||
 navigator.webkitGetUserMedia ||
 navigator.mozGetUserMedia;

 // Some browsers just don't implement it - return a rejected promise with an error
 // to keep a consistent interface
 if (!getUserMedia) {
 return Promise.reject(
 new Error('getUserMedia is not implemented in this browser')
 );
 }

 // Otherwise, wrap the call to the old navigator.getUserMedia with a Promise
 return new Promise(function(resolve, reject) {
 getUserMedia.call(navigator, constraints, resolve, reject);
 });
};

// Older browsers might not implement mediaDevices at all, so we set an empty object first
if (navigator.mediaDevices === undefined) {
 navigator.mediaDevices = {};
}

// Some browsers partially implement mediaDevices. We can't just assign an object
// with getUserMedia as it would overwrite existing properties.
// Here, we will just add the getUserMedia property if it's missing.
if (navigator.mediaDevices.getUserMedia === undefined) {
 navigator.mediaDevices.getUserMedia = promisifiedOldGUM;
}

因为这个方法是异步的,所以我们可以对无法兼容的设备进行友好的提示

navigator.mediaDevices.getUserMedia(constraints).then(
 function(mediaStream) {
 // 成功
 },
 function(error) {
 // 失败
 const { name } = error;
 let errorMessage;
 switch (name) {
 // 用户拒绝
 case 'NotAllowedError':
 case 'PermissionDeniedError':
 errorMessage = '用户已禁止网页调用录音设备';
 break;
 // 没接入录音设备
 case 'NotFoundError':
 case 'DevicesNotFoundError':
 errorMessage = '录音设备未找到';
 break;
 // 其它错误
 case 'NotSupportedError':
 errorMessage = '不支持录音功能';
 break;
 default:
 errorMessage = '录音调用错误';
 window.console.log(error);
 }
 return errorMessage;
 }
);

一切顺利的话,我们就可以进入下一步了。

(这里有对获取上下文的方法进行了省略,因为这不是这次的重点)

开始录音、暂停录音

这里有个比较特别的点,就是需要添加一个中间变量来标识是否当前是否在录音。因为在火狐浏览器上,我们发现一个问题,录音的流程都是正常的,但是点击暂停时却发现怎么也暂停不了,我们当时是使用
disconnect
方法。这种方式是不行的,这种方法是需要断开所有的连接才可以。后来发现,应该增加一个中间变量
this.isRecording 来判断当前是否正在录音,当点击开始时,将其设置为 true
,暂停时将其设置为 false 。

当我们开始录音时,会有一个录音监听的事件 onaudioprocess ,如果返回 true
则会将流写入,如果返回 false 则不会将其写入。因此判断 this.isRecording
,如果为 false 则直接 return

// 一些初始化
const audioContext = new AudioContext();
const sourceNode = audioContext.createMediaStreamSource(mediaStream);
const scriptNode = audioContext.createScriptProcessor(
 BUFFER_SIZE,
 INPUT_CHANNELS_NUM,
 OUPUT_CHANNELS_NUM
);
sourceNode.connect(this.scriptNode);
scriptNode.connect(this.audioContext.destination);
// 监听录音的过程
scriptNode.onaudioprocess = event => {
 if (!this.isRecording) return; // 判断是否正则录音
 this.buffers.push(event.inputBuffer.getChannelData(0)); // 获取当前频道的数据,并写入数组
};

当然这里也会有个坑,就是无法再使用,自带获取当前录音时长的方法了,因为实际上并不是真正的暂停,而是没有将流写入罢了。于是我们还需要获取一下当前录音的时长,需要通过一个公式进行获取

const getDuration = () => {
    return (4096 * this.buffers.length) / this.audioContext.sampleRate // 4096为一个流的长度,sampleRate 为采样率
}

这样就能够获取正确的录音时长了。

结束录音

结束录音的方式,我采用的是先暂停,之后需要试听或者其它的操作先执行,然后再将存储流的数组长度置为
0。

获取频率

getVoiceSize = analyser => {
 const dataArray = new Uint8Array(analyser.frequencyBinCount);
 analyser.getByteFrequencyData(dataArray);
 const data = dataArray.slice(100, 1000);
 const sum = data.reduce((a, b) => a + b);
 return sum;
};

具体可以参考

其它

  1. HTTPS:在 chrome 下需要全站有 HTTPS 才允许使用
  2. 微信:在微信内置的浏览器需要调用 JSSDK 才能使用
  3. 音频格式转换:音频格式的方式也有很多了,能查到的大部分资料,大家基本上是互相
    copy,当然还有一个音频质量的问题,这里就不赘述了。

结语

这次遇到的大部分问题都是兼容性的问题,因此在上面踩了不少坑,尤其是移动端的问题,一开始还有出现因为获取录音时长写法错误的问题,导致直接卡死的情况。这次的经历也弥补了
HTML5 API 上的一些空白,当然最重要的还是要提醒一下大家,这种原生的 API
文档还是直接查看 MDN 来的简单粗暴!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持帮客之家。

录音的踩坑之旅,详解html5坑之旅
开篇闲扯
前一段时间的一个案子是开发一个有声课件,大致就是通过导入文档、图片等资源后,…

>
db.user.update({“parentuser”:”wyt1314″},{$set:{“parentuser”:”1234″}},false,true)

最近写东西用到了MediaRecorder.一切就绪,运行出现这个错误~程序一直崩溃

git是个好东西,但是用混了,稍不注意,就会出大事。

开篇闲扯

前一段时间的一个案子是开发一个有声课件,大致就是通过导入文档、图片等资源后,页面变为类似
PPT
的布局,然后选中一张图片,可以插入音频,有单页编辑和全局编辑两种模式。其中音频的导入方式有两种,一种是从资源库中导入,还有一种就是要提到的录音。
说实话,一开始都没接触过 HTML5 的 Audio
API,而且要基于在我们接手前的代码中进行优化。当然其中也踩了不少坑,这次也会围绕这几个坑来说说感受(会省略一些基本对象的初始化和获取,因为这些内容不是这次的重点,有兴趣的同学可以自行查找
MDN 上的文档):

  • 调用 Audio API 的兼容性写法
  • 获取录音声音的大小(应该是频率)
  • 暂停录音的兼容性写法
  • 获取当前录音时间

 

db.user.update({“level”:0},{$set:{“level”:NumberInt(1)}},false,true)//更新某个字段

图片 1Paste_Image.png

这一周的基本上都没什么任务,在开发完财务分支后,交于测试就没管了,完全忘记基于何分支开发,该分支上线时间等等。上午测试那边提出让财务分支在今天一并上线,我是看到了,心里只是觉得还好没什么其他bug,可以直接上线还不错。加上昨天被提bug时候,同事说给我个P1事故算了,心里于此仍存芥蒂,所以根本就没注意到版本管理出现的问题。

录音前的准备

开始录音前,要先获取当前设备是否支持 Audio API。早期的方法
navigator.getUserMedia 已经被 navigator.mediaDevices.getUserMedia
所代替。正常来说现在大部分的现代浏览器都已经支持navigator.mediaDevices.getUserMedia
的用法了,当然MDN上也给出了兼容性的写法

JavaScript

const promisifiedOldGUM = function(constraints) { // First get ahold of
getUserMedia, if present const getUserMedia = navigator.getUserMedia ||
navigator.webkitGetUserMedia || navigator.mozGetUserMedia; // Some
browsers just don’t implement it – return a rejected promise with an
error // to keep a consistent interface if (!getUserMedia) { return
Promise.reject( new Error(‘getUserMedia is not implemented in this
browser’) ); } // Otherwise, wrap the call to the old
navigator.getUserMedia with a Promise return new
Promise(function(resolve, reject) { getUserMedia.call(navigator,
constraints, resolve, reject); }); }; // Older browsers might not
implement mediaDevices at all, so we set an empty object first if
(navigator.mediaDevices === undefined) { navigator.mediaDevices = {}; }
// Some browsers partially implement mediaDevices. We can’t just assign
an object // with getUserMedia as it would overwrite existing
properties. // Here, we will just add the getUserMedia property if it’s
missing. if (navigator.mediaDevices.getUserMedia === undefined) {
navigator.mediaDevices.getUserMedia = promisifiedOldGUM; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
const promisifiedOldGUM = function(constraints) {
// First get ahold of getUserMedia, if present
const getUserMedia =
navigator.getUserMedia ||
navigator.webkitGetUserMedia ||
navigator.mozGetUserMedia;
 
// Some browsers just don’t implement it – return a rejected promise with an error
// to keep a consistent interface
if (!getUserMedia) {
return Promise.reject(
new Error(‘getUserMedia is not implemented in this browser’)
);
}
 
// Otherwise, wrap the call to the old navigator.getUserMedia with a Promise
return new Promise(function(resolve, reject) {
getUserMedia.call(navigator, constraints, resolve, reject);
});
};
 
// Older browsers might not implement mediaDevices at all, so we set an empty object first
if (navigator.mediaDevices === undefined) {
navigator.mediaDevices = {};
}
 
// Some browsers partially implement mediaDevices. We can’t just assign an object
// with getUserMedia as it would overwrite existing properties.
// Here, we will just add the getUserMedia property if it’s missing.
if (navigator.mediaDevices.getUserMedia === undefined) {
navigator.mediaDevices.getUserMedia = promisifiedOldGUM;
}

因为这个方法是异步的,所以我们可以对无法兼容的设备进行友好的提示

JavaScript

navigator.mediaDevices.getUserMedia(constraints).then(
function(mediaStream) { // 成功 }, function(error) { // 失败 const {
name } = error; let errorMessage; switch (name) { // 用户拒绝 case
‘NotAllowedError’: case ‘PermissionDeniedError’: errorMessage =
‘用户已禁止网页调用录音设备’; break; // 没接入录音设备 case
‘NotFoundError’: case ‘DevicesNotFoundError’: errorMessage =
‘录音设备未找到’; break; // 其它错误 case ‘NotSupportedError’:
errorMessage = ‘不支持录音功能’; break; default: errorMessage =
‘录音调用错误’; window.console.log(error); } return errorMessage; } );

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
navigator.mediaDevices.getUserMedia(constraints).then(
function(mediaStream) {
// 成功
},
function(error) {
// 失败
const { name } = error;
let errorMessage;
switch (name) {
// 用户拒绝
case ‘NotAllowedError’:
case ‘PermissionDeniedError’:
errorMessage = ‘用户已禁止网页调用录音设备’;
break;
// 没接入录音设备
case ‘NotFoundError’:
case ‘DevicesNotFoundError’:
errorMessage = ‘录音设备未找到’;
break;
// 其它错误
case ‘NotSupportedError’:
errorMessage = ‘不支持录音功能’;
break;
default:
errorMessage = ‘录音调用错误’;
window.console.log(error);
}
return errorMessage;
}
);

一切顺利的话,我们就可以进入下一步了。
(这里有对获取上下文的方法进行了省略,因为这不是这次的重点)

db.user.update({},{$set:{gwb:NumberInt(0)}},{multi:1})//添加某个地段

错误指向我的这一行:

九点多突然被老大@,说我没有提醒测试在marge分支时候各个分支的版本,一脸懵逼的我完全不明白发生了什么,只是隐隐觉得版本发布不顺利。后问同事具体情况,说版本回滚了。回滚真不是个好词。

开始录音、暂停录音

这里有个比较特别的点,就是需要添加一个中间变量来标识是否当前是否在录音。因为在火狐浏览器上,我们发现一个问题,录音的流程都是正常的,但是点击暂停时却发现怎么也暂停不了,我们当时是使用
disconnect
方法。这种方式是不行的,这种方法是需要断开所有的连接才可以。后来发现,应该增加一个中间变量
this.isRecording
来判断当前是否正在录音,当点击开始时,将其设置为true,暂停时将其设置为false
当我们开始录音时,会有一个录音监听的事件 onaudioprocess ,如果返回
true 则会将流写入,如果返回 false
则不会将其写入。因此判断this.isRecording,如果为 false 则直接
return

JavaScript

// 一些初始化 const audioContext = new AudioContext(); const sourceNode
= audioContext.createMediaStreamSource(mediaStream); const scriptNode =
audioContext.createScriptProcessor( BUFFER_SIZE, INPUT_CHANNELS_NUM,
OUPUT_CHANNELS_NUM ); sourceNode.connect(this.scriptNode);
scriptNode.connect(this.audioContext.destination); // 监听录音的过程
scriptNode.onaudioprocess = event => { if (!this.isRecording) return;
// 判断是否正则录音
this.buffers.push(event.inputBuffer.getChannelData(0)); //
获取当前频道的数据,并写入数组 };

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// 一些初始化
const audioContext = new AudioContext();
const sourceNode = audioContext.createMediaStreamSource(mediaStream);
const scriptNode = audioContext.createScriptProcessor(
BUFFER_SIZE,
INPUT_CHANNELS_NUM,
OUPUT_CHANNELS_NUM
);
sourceNode.connect(this.scriptNode);
scriptNode.connect(this.audioContext.destination);
// 监听录音的过程
scriptNode.onaudioprocess = event => {
if (!this.isRecording) return; // 判断是否正则录音
this.buffers.push(event.inputBuffer.getChannelData(0)); // 获取当前频道的数据,并写入数组
};

当然这里也会有个坑,就是无法再使用,自带获取当前录音时长的方法了,因为实际上并不是真正的暂停,而是没有将流写入罢了。于是我们还需要获取一下当前录音的时长,需要通过一个公式进行获取

JavaScript

const getDuration = () => { return (4096 * this.buffers.length) /
this.audioContext.sampleRate // 4096为一个流的长度,sampleRate 为采样率
}

1
2
3
const getDuration = () => {
    return (4096 * this.buffers.length) / this.audioContext.sampleRate // 4096为一个流的长度,sampleRate 为采样率
}

这样就能够获取正确的录音时长了。

db.user.update({},{$unset:{‘refree_number’:”}},false,
true)//删除某个字段

图片 2Paste_Image.png

担责倒不是问题,主要是影响版本发布还顺带坑了一把测试,有些尴尬,明天还得被老大约谈,心疼略崩。只不过吃一堑长一智,许多坑可能真的要去踩才会知道以后如何处理。

结束录音

结束录音的方式,我采用的是先暂停,之后需要试听或者其它的操作先执行,然后再将存储流的数组长度置为
0。

cnpm install forever -g

其他的也不报错,也不说错误原因是啥,结果我重头看半天代码,权限检查了好几遍都没发现哪里错了。最后还是海底捞针找到了:

不好意思,新司机翻车了。

获取频率

JavaScript

getVoiceSize = analyser => { const dataArray = new
Uint8Array(analyser.frequencyBinCount);
analyser.getByteFrequencyData(dataArray); const data =
dataArray.slice(100, 1000); const sum = data.reduce((a, b) => a + b);
return sum; };

1
2
3
4
5
6
7
getVoiceSize = analyser => {
const dataArray = new Uint8Array(analyser.frequencyBinCount);
analyser.getByteFrequencyData(dataArray);
const data = dataArray.slice(100, 1000);
const sum = data.reduce((a, b) => a + b);
return sum;
};

具体可以参考

db.getCollection(‘user’).find({teamId:{$exists:false}})//查询数据库没有某个字段

原来给mediaRecorder设置储存路径,按时间不同设置不同文件名,是这样的:

其它

  • HTTPS:在 chrome 下需要全站有 HTTPS 才允许使用
  • 微信:在微信内置的浏览器需要调用 JSSDK 才能使用
  • 音频格式转换:音频格式的方式也有很多了,能查到的大部分资料,大家基本上是互相
    copy,当然还有一个音频质量的问题,这里就不赘述了。

db.user.update({integral:{$exists:false}},{$set:{integral:NumberInt(0)}},{multi:1})//更新数据库的没有某个字段的添加上去

// 5设置保存路径mediaRecorder.setOutputFile ( Environment.getExternalStorageDirectory ().getAbsolutePath ()+SystemClock.currentThreadTimeMillis() +".amr");

结语

这次遇到的大部分问题都是兼容性的问题,因此在上面踩了不少坑,尤其是移动端的问题,一开始还有出现因为获取录音时长写法错误的问题,导致直接卡死的情况。这次的经历也弥补了
HTML5 API 上的一些空白,当然最重要的还是要提醒一下大家,这种原生的 API
文档还是直接查看 MDN 来的简单粗暴!

1 赞 3 收藏
评论

图片 3

db.getCollection(‘sheng_xiao’).aggregate([

我和代码四目相对了半天发现,。。。尼玛路径写错了,少了个斜杠,应该是:

                    {$group : {“_id” :
{uid:”$uid”,palaceid:”$palaceid”}, num_tutorial : {$sum : 1}}},

// 5设置保存路径mediaRecorder.setOutputFile ( Environment.getExternalStorageDirectory ().getAbsolutePath ()+"/"+SystemClock.currentThreadTimeMillis () + ".amr");

                    { $sort: { num_tutorial: -1 }
}])//查询某两个字段一样的值

愿后人小白们能以我为戒,不要再这种错误上浪费了大量时间~~~~

db.runCommand({“convertToCapped”:”access_record”,”size”:500000})//定长字段

db.auth(“futureCity”,”futureCity$2017.”)//登录数据库

db.getCollection(‘user’).aggregate([

                    {$group : {“_id” :
{user_name:”$user_name”,mobile:”$mobile”}, num_tutorial : {$sum :
1}}},

                    { $sort: { num_tutorial: -1 } }])

db.getCollection(‘goldRecord’).find({createTime:{$lte:1505836800000}})

U2FsdGVkX1/In/fsW4XSWYWzX1+IX3zR45Qi1F9U84Q=  //123456密文

db.getCollection(‘plant’).aggregate([

  { $group: {

    _id: { pond: “$pond”, userId: “$userId” },

    uniqueIds: { $addToSet: “$_id” },

    count: { $sum: 1 }

  }},

  { $match: {

    count: { $gt: 1 }

  }}

])

403权限不足,meng4180

404,找不到接口

15185239210

657202746

wky147258

C:\Users\Administrator>mongo

MongoDB shell version v3.4.4

connecting to: mongodb://127.0.0.1:27017

MongoDB server version: 3.4.4

> use lgsg

switched to db lgsg

> db.auth(“lgsg”,”lgsg$2018.”);

1

添加索引

db.growthRecord.ensureIndex({“userId”:1,friendId:1,createTime:1})

删除索引

db.growthRecord.dropIndex({“userId”:1,”friendId” : 1,”createTime” : 1})

查询索引

db.growthRecord.getIndexes()

支付宝查看是否签约

登录后-点击上边接近中部公司名称-账户管理-开发者中心-网页移动应用支付

db.getCollection(‘plant’).aggregate( { $group : 

                        { _id : null, 

                          number : { $sum : “$number” } }
});//统计某个字段的和

try_files $uri $uri/
/index.html;//niginx后台设置404问题,phpStudy-打开配置文件- vhosts-conf
25行,location内index.php

运行mstsc可以打开远程桌面连接

pm2有时候重启以后还是会端口占用,如果重启以后仍然不行的话,就任务管理器里边删除这个进程,然后再启动即可

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图