8

1-哪一个更适合用于流媒体视频？TCP 或 UDP 套接字，为什么？

2-在直播时，音频和视频分别来自服务器，那么我如何确保我显示的视频和我在设备上播放的音频是同步的？

4

3 回答 3

6

不久前我写了一个语音聊天应用程序，TCP 是不可能的，如果您正在寻找近乎实时的数据流，UDP 多播确实是唯一的方法。不过，通过 UDP 传输内容有两个主要问题：

  1. 丢弃的数据包。就音频而言，这是一个非常容易解决的问题。通常，丢弃的数据包不会产生明显的差异（数据包是单独解压缩的）。但是，在处理视频时，尤其是在视频被压缩的情况下（通常是压缩的），至少可以说，找出一个确保网络稳健性的适当传输协议是一项艰巨的任务，特别是如果您是从头开始执行此操作。视频帧被分成不同的数据包。弄清楚这些数据包丢失时该怎么做是很困难的。
  2. 音视频同步。这是一个非常棘手的问题，我建议阅读诸如 RTSP（实时流协议）之类的协议。这不是一件容易的事，但这里有一些介绍性信息：http ://www.cs.columbia.edu/~hgs/rtsp/ - 有时它是通过发送单独的同步数据包来完成的（一些协议通过 TCP 发送这些数据包）告诉播放器声音应该如何与视频匹配。
于 2010-10-29T04:46:05.740 回答
1

我会做UDP。但是，这取决于您想要什么。UDP 将丢弃数据包而不是等待 (TCP)。权衡是您是否想要一个稳定但有时缓慢且昂贵的，或者一个高效但有时可能无法交付的。当涉及到您希望如何实现它以及如何使用它时，您可以自行选择。

于 2010-10-29T04:32:19.307 回答
0

今天，甚至 youtube 通过 HTTP 流式传输......这是一个 nodejs 应用程序，它将文件流式传输到浏览器客户端......用作实时流式传输视频的起点，音频很好地同步

// usage 
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
//    http://localhost:8888
//
// of course your browser could be on your mobile or own custom app



var http = require('http'),
    fs = require('fs'),
    util = require('util');

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here

var port = 8888;
var host = "localhost";

http.createServer(function (req, res) {

  var stat = fs.statSync(path);
  var total = stat.size;

  if (req.headers.range) {   // meaning client (browser) has moved the forward/back slider
                                         // which has sent this request back to this server logic ... cool
    var range = req.headers.range;
    var parts = range.replace(/bytes=/, "").split("-");
    var partialstart = parts[0];
    var partialend = parts[1];

    var start = parseInt(partialstart, 10);
    var end = partialend ? parseInt(partialend, 10) : total-1;
    var chunksize = (end-start)+1;
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);

    var file = fs.createReadStream(path, {start: start, end: end});
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
    file.pipe(res);

  } else {

    console.log('ALL: ' + total);
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
    fs.createReadStream(path).pipe(res);
  }
}).listen(port, host);

console.log("Server running at http://" + host + ":" + port + "/");
于 2016-02-04T20:21:05.683 回答