usergetmedia 如何在 chrome 中使用麦克风然后流式传输以获取原始音频？我需要在线性 16 中获取音频。
问问题
12292 次
4 回答
9
不幸的是，MediaRecorder 不支持原始 PCM 捕获。（在我看来，这是一个可悲的疏忽。）因此，您需要自己获取原始样本并缓冲/保存它们。
您可以使用ScriptProcessorNode执行此操作。通常，此节点用于以编程方式修改音频数据，用于自定义效果等等。但是，没有理由不能将其用作捕获点。未经测试，但请尝试以下代码：
const captureNode = audioContext.createScriptProcessor(8192, 1, 1);
captureNode.addEventListener('audioprocess', (e) => {
const rawLeftChannelData = inputBuffer.getChannelData(0);
// rawLeftChannelData is now a typed array with floating point samples
});
（您可以在MDN上找到更完整的示例。）
这些浮点样本以零为中心，0理想情况下将绑定到-1和1。转换为整数范围时，您需要将值限制在此范围内，剪除超出范围的任何内容。（这些值有时可能会超过-1，并且1如果在浏览器中混合了响亮的声音。理论上，浏览器还可以从外部声音设备记录 float32 样本，这也可能超过该范围，但我不知道有任何浏览器/platform 执行此操作。）
转换为整数时，值是有符号还是无符号很重要。如果有符号，对于 16 位，范围-32768为32767. 对于未签名的，它0是65535. 找出您要使用的格式并将值缩放-1到1该范围。
关于这种转换的最后一点……字节序很重要。另请参阅： https ://stackoverflow.com/a/7870190/362536
于 2018-08-04T17:29:38.683 回答
9
我发现的唯一两个清楚且有意义的例子如下：
AWS 实验室：https ://github.com/awslabs/aws-lex-browser-audio-capture/blob/master/lib/worker.js
AWS 资源非常好。它向您展示了如何将录制的音频导出为“编码为 PCM 的 WAV 格式”。Amazon Lex 是 AWS 提供的转录服务，要求音频经过 PCM 编码并包装在 WAV 容器中。您只需修改一些代码以使其适合您！AWS 有一些附加功能，例如“下采样”，它允许您在不影响记录的情况下更改采样率。
RecordRTC：https ://github.com/muaz-khan/RecordRTC/blob/master/simple-demos/raw-pcm.html
RecordRTC 是一个完整的库。您可以再次调整他们的代码或找到将音频编码为原始 PCM 的代码片段。您还可以实现他们的库并按原样使用代码。使用此库的音频配置“desiredSampleRate”选项会对录制产生负面影响。
它们都是极好的资源，您肯定能够解决您的问题。
于 2019-01-16T09:21:35.787 回答
1
您应该查看MediaDevices.getUserMedia() API的MediaTrackConstraints.sampleSize属性。使用约束，如果您的音频硬件允许，您可以将样本大小设置为 16 位。sampleSize
就实施而言，这就是链接和谷歌的用途......
于 2018-08-04T16:22:02.740 回答
0
这是一些 Web Audio API，它使用麦克风来捕获和播放原始音频（在运行此页面之前调低音量）...查看 PCM 格式的原始音频片段查看浏览器控制台...也可以踢它将此 PCM 发送到对 FFT 的调用中，以获取音频曲线的频域和时域
<html><head><meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<title>capture microphone then show time & frequency domain output</title>
<script type="text/javascript">
var webaudio_tooling_obj = function () {
var audioContext = new AudioContext();
console.log("audio is starting up ...");
var BUFF_SIZE_RENDERER = 16384;
var SIZE_SHOW = 3; // number of array elements to show in console output
var audioInput = null,
microphone_stream = null,
gain_node = null,
script_processor_node = null,
script_processor_analysis_node = null,
analyser_node = null;
if (!navigator.getUserMedia)
navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia ||
navigator.mozGetUserMedia || navigator.msGetUserMedia;
if (navigator.getUserMedia){
navigator.getUserMedia({audio:true},
function(stream) {
start_microphone(stream);
},
function(e) {
alert('Error capturing audio.');
}
);
} else { alert('getUserMedia not supported in this browser.'); }
// ---
function show_some_data(given_typed_array, num_row_to_display, label) {
var size_buffer = given_typed_array.length;
var index = 0;
console.log("__________ " + label);
if (label === "time") {
for (; index < num_row_to_display && index < size_buffer; index += 1) {
var curr_value_time = (given_typed_array[index] / 128) - 1.0;
console.log(curr_value_time);
}
} else if (label === "frequency") {
for (; index < num_row_to_display && index < size_buffer; index += 1) {
console.log(given_typed_array[index]);
}
} else {
throw new Error("ERROR - must pass time or frequency");
}
}
function process_microphone_buffer(event) {
var i, N, inp, microphone_output_buffer;
// not needed for basic feature set
// microphone_output_buffer = event.inputBuffer.getChannelData(0); // just mono - 1 channel for now
}
function start_microphone(stream){
gain_node = audioContext.createGain();
gain_node.connect( audioContext.destination );
microphone_stream = audioContext.createMediaStreamSource(stream);
microphone_stream.connect(gain_node);
script_processor_node = audioContext.createScriptProcessor(BUFF_SIZE_RENDERER, 1, 1);
script_processor_node.onaudioprocess = process_microphone_buffer;
microphone_stream.connect(script_processor_node);
// --- enable volume control for output speakers
document.getElementById('volume').addEventListener('change', function() {
var curr_volume = this.value;
gain_node.gain.value = curr_volume;
console.log("curr_volume ", curr_volume);
});
// --- setup FFT
script_processor_analysis_node = audioContext.createScriptProcessor(2048, 1, 1);
script_processor_analysis_node.connect(gain_node);
analyser_node = audioContext.createAnalyser();
analyser_node.smoothingTimeConstant = 0;
analyser_node.fftSize = 2048;
microphone_stream.connect(analyser_node);
analyser_node.connect(script_processor_analysis_node);
var buffer_length = analyser_node.frequencyBinCount;
var array_freq_domain = new Uint8Array(buffer_length);
var array_time_domain = new Uint8Array(buffer_length);
console.log("buffer_length " + buffer_length);
script_processor_analysis_node.onaudioprocess = function() {
// get the average for the first channel
analyser_node.getByteFrequencyData(array_freq_domain);
analyser_node.getByteTimeDomainData(array_time_domain);
// draw the spectrogram
if (microphone_stream.playbackState == microphone_stream.PLAYING_STATE) {
show_some_data(array_freq_domain, SIZE_SHOW, "frequency");
show_some_data(array_time_domain, SIZE_SHOW, "time"); // store this to record to aggregate buffer/file
}
};
}
}(); // webaudio_tooling_obj = function()
</script>
</head>
<body>
<p>Volume</p>
<input id="volume" type="range" min="0" max="1" step="0.1" value="0.0"/>
<p> </p>
<button onclick="webaudio_tooling_obj()">start audio</button>
</body>
</html>
注意 - 在您的浏览器中运行之前先调低音量，因为代码会监听您的麦克风并将实时输出发送到扬声器，因此您自然会听到反馈 --- 就像在 Jimmy Hendrix 反馈中一样
于 2018-08-04T21:30:23.357 回答