我打算编写一些 java 测试实用程序，在应用程序的内存中生成一些图像，并将它们作为源推送到 gstreamer 管道，从而生成 mjpeg 流。AppSrc 的 gstreamer-java 使用的唯一示例是http://code.google.com/p/gstreamer-java/source/browse/trunk/gstreamer-java/src/org/gstreamer/example/AppSrcTest.java?r =480太简单了——放置到缓冲区的值只是增加的颜色值。如果我们要推送真正的 jpeg 图像怎么办。
当我尝试推送一些 jpeg 时，它被视为 BufferedImage 然后转换为 byte[] 我遇到了输出流的问题 - 显示了一些数字噪声而不是我作为缓冲的图像。我注意到的第一件事是，尽管 AppSrcTest 示例中的缓冲区具有相同的 640x480 图像大小，但在 BufferedImage 之后采用的字节数组大小较小。看起来我需要一种方法使其与缓冲区接受的大小完全相同。所以问题是我应该将什么样的数据推送到缓冲区，以及如何在java中获得这种格式。
UPD。由于代码是开始解释我的错误的好东西，这里是：
pom.xml：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>gstreamer</groupId>
<artifactId>gstreamer</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>com.googlecode.gstreamer-java</groupId>
<artifactId>gstreamer-java</artifactId>
<version>1.5</version>
</dependency>
</dependencies>
</project>
运行.java：
import org.gstreamer.Gst;
import java.awt.BorderLayout;
import java.awt.Dimension;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.util.Arrays;
import javax.imageio.ImageIO;
import javax.swing.JFrame;
import javax.swing.SwingUtilities;
import org.gstreamer.Buffer;
import org.gstreamer.Caps;
import org.gstreamer.Element;
import org.gstreamer.ElementFactory;
import org.gstreamer.Gst;
import org.gstreamer.Pipeline;
import org.gstreamer.State;
import org.gstreamer.TagList;
import org.gstreamer.elements.AppSrc;
import org.gstreamer.swing.VideoComponent;
public class Run {
private static Pipeline pipeline;
static TagList tags;
public static void main(String[] args) {
args = Gst.init("AppSrcTest", args);
final int width = 640, height = 480;
/* setup pipeline */
pipeline = new Pipeline("pipeline");
final AppSrc appsrc = (AppSrc) ElementFactory.make("appsrc", "source");
final Element srcfilter = ElementFactory.make("capsfilter", "srcfilter");
Caps fltcaps = new Caps("video/x-raw-rgb, framerate=2/1"
+ ", width=" + width + ", height=" + height
+ ", bpp=16, depth=16");
srcfilter.setCaps(fltcaps);
final Element videorate = ElementFactory.make("videorate", "videorate");
final Element ratefilter = ElementFactory.make("capsfilter", "RateFilter");
final Element autovideosink = ElementFactory.make("autovideosink", "autovideosink");
ratefilter.setCaps(Caps.fromString("video/x-raw-rgb, framerate=2/1"));
SwingUtilities.invokeLater(new Runnable() {
int widthF;
int heightF;
public void run() {
JFrame frame = new JFrame("FakeSrcTest");
VideoComponent panel = new VideoComponent();
panel.setPreferredSize(new Dimension(width, height));
frame.add(panel, BorderLayout.CENTER);
Element videosink = panel.getElement();
pipeline.addMany(appsrc, srcfilter, videorate, ratefilter, videosink);
Element.linkMany(appsrc, srcfilter, videorate, ratefilter, videosink);
//pipeline.addMany(appsrc, autovideosink);
//Element.linkMany(appsrc, autovideosink);
appsrc.set("emit-signals", true);
appsrc.connect(new AppSrc.NEED_DATA() {
byte color = 0;
byte[] data = new byte[width * height * 2];
public void needData(AppSrc elem, int size) {
System.out.println("NEED_DATA: Element=" + elem.getNativeAddress()
+ " size=" + size);
Arrays.fill(data, color++);
byte[] imageInByte=data;
///File img = new File("file.jpg");
BufferedImage originalImage = null;
try {
originalImage = ImageIO.read(new File("file.jpg"));
heightF=originalImage.getHeight();
widthF=originalImage.getWidth();
System.out.println(heightF+"x"+widthF);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
ImageIO.write( originalImage, "jpg", baos );
baos.flush();
//Arrays.fill(imageInByte,color);
for (int i=0;i<baos.toByteArray().length;i++)
{
imageInByte[i] = baos.toByteArray()[i];
}
//imageInByte = baos.toByteArray();
baos.close();
} catch (IOException e) {
}
//Buffer buffer = new Buffer(data.length);
//buffer.getByteBuffer().put(data);
//System.out.println(data.length);
//Buffer buffer = new Buffer(imageInByte.length);
Buffer buffer = new Buffer(614400);
System.out.println(imageInByte.length);
buffer.getByteBuffer().put(imageInByte);
appsrc.pushBuffer(buffer);
}
});
appsrc.connect(new AppSrc.ENOUGH_DATA() {
public void enoughData(AppSrc elem) {
System.out.println("NEED_DATA: Element=" + elem.getNativeAddress());
}
});
//frame.setSize(640, 480);
frame.setSize(widthF, heightF);
frame.pack();
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setVisible(true);
pipeline.setState(State.PLAYING);
}
});
}
}
请不要指出我的代码不好（我知道 :)），但请告诉我哪里错了。我认为应该推送的 Jpeg -> BuffredImage -> byte[] 的假设似乎是错误的。从屏幕截图中可以看出，到达videosink 元素的数据是错误的。我应该在那里放置什么？
UPD 2：如果我用文件接收器替换视频接收器，我可以记录一些看起来依赖于一些缓冲图像的文件；但是，它是不正确的 - vlc 将其播放为 10 秒单帧（显示来自 java 代码的唯一 BuffredImage；如果我在我的代码中交替图像，第一个缓冲图像仍显示为唯一帧），其他播放器不会根本认不出来。但是，看起来片段存储到了视频文件中 - 我看到缓冲区刷新工作增加了文件大小。
我认为问题在于我忽略了多路复用并将 avimux 添加到管道中，但是，在添加 avimux 之后需要数据（AppSrc elem，int size）不再被调用，并且没有任何内容写入文件。