1

我的问题:

  • 如何正确地将图像从 ios swift 客户端应用程序转换并发送到 java 服务器?(不使用大量外部 sdks)

  • 在 swift 中使用哪种类型的套接字(我是 swift 新手,真的找不到任何合适的套接字)?

  • 请给我一个示例代码,因为我完全不熟悉 swift 语法和库。

我的程序的预期结果 - ios swift 应用程序应该有效地连接到我的 java 服务器并将视频帧的图像实时发送给它。然后,图像应在 Java 服务器计算机上转换为 bufferedImage 并作为视频播放!

关于以前提出的问题 - 我只发现了一个类似的问题,但答案不是很丰富。

细节

  • 所以,我在我的 mac 上编写了一个 Java 服务器程序,我想添加一个功能,用户应该能够将实时视频源从他的 iPhone(ios 设备)发送到我的 Java 服务器程序。

  • ios 应用程序是在 xcode 上用 swift 编写的。

  • 为了做到这一点,我从 swift 程序中的视频帧中捕获CGImage并将其转换为UIImage;然后我将此 UIImage 转换为 byte[] 数据,如下所示:-

    let cgImage:CGImage = context.createCGImage(cameraImage, from: 
    cameraImage.extent)!     //cameraImage is grabbed from video frame
    image = UIImage.init(cgImage: cgImage)
    let data = UIImageJPEGRepresentation(image, 1.0)
    
  • 然后使用 SwiftSocket/TCPClient ( https://github.com/swiftsocket/SwiftSocket )将此字节 [] 数据发送到我的 Java 服务器运行的 IP 地址和端口

     client?.send(data: data!)
    
  • 这里的客户端是一个 TCPClient 类型的对象,它在 swift xcode 中声明如下:( https://github.com/swiftsocket/SwiftSocket/blob/master/Sources/TCPClient.swift )

        client = TCPClient(address: host, port: Int32(port))
        client?.connect(timeout: 10)
    
  • 连接成功,Java Server 程序生成一个 MobileServer 线程来处理这个客户端。DataInput 和 OutputStreams 使用 ServerSocket 打开。这是 Java 服务器生成的 MobileServer 线程的 run() 方法(其中“in”是从 ServerSocket 派生的 DataInputStream)

     public void run()
     {
      try{
    
    
    while(!stop)
    {
      int count=-1;
    
      count = in.available();
      if(count>0) System.out.println("LENGTH="+count);
      byte[] arr=new byte[count];
      System.out.println("byte="+arr);
      in.read(arr);
    
      BufferedImage image=null;
      try{
           InputStream inn = new ByteArrayInputStream(arr);
           image = ImageIO.read(inn);
           inn.close();
         }catch(Exception f){ f.printStackTrace();}
         System.out.println("IMaGE="+image);
    
       if(image!=null)
       appendToFile(image);
    
    
      }
    
    
    
    
    
          }catch(Exception l){ l.printStackTrace(); }
    
      }
    
  • 问题是我的 Java 服务器正在接收一些奇怪的字节序列,这些字节序列可能无法正确转换为 BufferedImage,因此在查看存储在文件中的“视频”时,我只能在 iPhone 正常捕获时看到一条“图像”的细条。(基本上图像没有正确地从 ios 应用程序传输到我的服务器!) 在此处输入图像描述

整个 Swift 程序用于视频捕获的 viewController.swift 来自这个 github 项目(https://github.com/FlexMonkey/LiveCameraFiltering

编辑 - 我已经找出了问题并将其发布为答案,但这仍然只是一种解决方法,因为服务器视频源仍然挂起很多,我不得不降低swift 客户端发送的图像字节数据的质量。肯定有更好的做事方式,我要求人们分享他们的知识。

4

1 回答 1

2

因此,我无法为上述问题找到一个完整且绝对完美的解决方案,但为了任何其他可能偶然发现类似的跨语言客户端-服务器程序问题的快速初学者的利益,这里是我的两分钱:

上述代码中的第一个也是最重要的错误是这一行:

 let data = UIImageJPEGRepresentation(image, 1.0)

1)在这里,我通过提供压缩因子为 1 将 UIImage 编码为尽可能高的质量。正如我后来检查的那样,这导致创建计数超过 100000 的字节数组,因此很难轻松快速地创建通过 TCPClient 套接字发送这么大的数据。

2)即使这么大的数组被TCPClient的socket高效的发送出去,服务器端的Java DataInputStream也很难一次性读取完整的数据。它可能一次只读取小块数据,因此在 java 服务器端生成的图像是部分和模糊的。

3)这条线是另一个问题:

   count = in.available();
   if(count>0) System.out.println("LENGTH="+count);
   byte[] arr=new byte[count];
   System.out.println("byte="+arr);
   in.read(arr);

in.available ()方法可能不会返回客户端发送的完整数据长度。这会导致读取不完整的字节数据,从而导致不完整的图像。

解决方案/解决方法(种类)

  • 我在 swift 客户端的 UIImageJPEGRepresentation() 方法中将压缩因子降低到大约 0.000005,这导致创建长度为 ~ 5000 的字节数组(这是可管理的)

  • 为了避免在服务器端读取不完整数据的问题,我将字节数组转换为 base64String,然后我只是在该字符串的末尾添加了一个终止字符“%”,它在服务器端将标记一个 base64 字符串的结尾.

  • 我将服务器端的 DataInputStream/DataOutputStream 更改为 InputStreamReader/OutputStreamWriter,因为我现在正在处理字符/字符串。

  • Java 服务器的 InputStreamReader 将一次接收一个字符并从中形成一个字符串,直到它遇到终止字符“%”,然后这个 base64string 将被转换为字节数组:

    imageBytes=javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
    //str is a String formed by concatenating characters received by the InputStreamReader 
    
  • 然后将这个 imageBytes 数组转换成 BufferedImage,然后在面板上一个接一个地绘制,从而再现原始 iPhone 实时视频

修改后的 Swift 代码(ios 客户端)

    func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!)
{


    var cameraImage: CIImage

    var image: UIImage ;
    let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)
    cameraImage = CIImage(cvPixelBuffer: pixelBuffer!)
    let context:CIContext = CIContext.init(options: nil)
    let cgImage:CGImage = context.createCGImage(cameraImage, from: cameraImage.extent)!
    image = UIImage(cgImage: cgImage)
    DispatchQueue.main.async
        {



            self.imageView.image = image //live video captured from camera streamed to the device's own UIImageView


    }





    let thumbnail = resizeImage(image: image, targetSize: CGSize.init(width: 400, height: 400)) // snapshot image from camera resized 

    let data = UIImageJPEGRepresentation(thumbnail,0.000005) //the snapshot image converted into byte data
    let base64String = data!.base64EncodedString(options: Data.Base64EncodingOptions(rawValue: 0))  
    // byte image data is encoded to a base64String

    var encodeImg=base64String.addingPercentEncoding(withAllowedCharacters:  .urlQueryAllowed  )


    encodeImg = encodeImg! + String("%") // termination char % is added at the end
    var sendData = String("0%")
    if(live)
     {
    sendData = encodeImg!
     }
    client?.send(string: sendData!) //sent as a String using TCPClient socket



}

修改了 MobileServer Thread 类的 Java 服务器端 run() 方法

        public void run()
        {
          try{

               boolean access_granted=false;
               while(!stop)
               {

                 char chr=(char)in.read();


                 if(chr!='%')  // read and append char by char from the InputStreamReader "in" until it encounters a '%'
                 str+=Character.toString(chr);

                 else terminate=true;

                 if(terminate)

                 {


                  if(entry)
                  {
                    int a=str.indexOf('&');
                    int b=str.indexOf('#');
                    String username=str.substring(0,a);
                    String password=str.substring((a+1),b);
                    String ip=str.substring((b+1),str.length());
                    System.out.println("IP ADDRESS: \""+ ip+"\"");
                    String usernameA[]=convertToArray(username);
                    String passwordA[]=convertToArray(password);
                    String user=decrypt(usernameA,portt);
                    String pass=decrypt(passwordA,portt);


                    boolean accessGranted=false;
                    int response=dbManager.verify_clientLogin(user,pass);

                if(response==RegisterInfo.ACCESS_GRANTED) { 
                System.out.println("access granted"); 
                 accessGranted=true;
                }
                   int retInt=-1;
                   if(accessGranted) retInt=1;

                   out.write(retInt);

                   entry=false;
                   terminate=false;


                  }
                  else
                  {
                     terminate=false;



                     try {
                  // str includes the original single base64String produced by the swift client app which is converted back to a byte array                              

  imageBytes = javax.xml.bind.DatatypeConverter.parseBase64Binary(str); 
}catch(ArrayIndexOutOfBoundsException l){ exception=true; }
str="";
                      if(!exception)
                       {


         //this byte array image data is converted to a image and played on the videoPlayer, and serial images played would be visible as a video stream
                         vidPlayer.playImage(imageBytes);

                          ioexcep=false;


                        }


                        else exception=false;



                   }
             }






         }





         }catch(Exception l){ l.printStackTrace(); }















        }
  • 这是正在播放的视频的截图: 在此处输入图像描述

  • 但是正如您所看到的,因为图像是从 swift 客户端以非常低质量发送的:生成的视频质量也很差。另外,视频仍然挂在两者之间..

  • 我相信会有更好的方法从 swift 套接字发送更高质量的图像数据,市场上所有这些视频聊天应用程序都证明了这一点,如果有人能对所涉及的高级方法有所了解以实现高清图像传输

  • 一种方法是在客户端和服务器端缓冲字节数据以传输和播放更高质量的 jpeg 数据

于 2017-09-06T17:09:35.763 回答