6

我正在尝试编写一个 128 像素 x 128 像素 x 122000 帧的 16 位无符号整数的多页 tiff 文件。ImageJ 或简短的 Python 脚本可以在快速机器上在一分钟内完成此操作。在同一台机器上,使用我尝试过的任何方法,MATLAB 都可能需要几天时间才能完成。这是我到目前为止所尝试的:

使用 imwrite 将 IMG 写入 test.tif(MATLAB 文档推荐)

    tic
    numframes=size(IMG,3);
    divider=10^(floor(log10(numframes))-1);
    imwrite(IMG(:,:,1),'test.tif');
    for i=2:numframes;
        imwrite(IMG(:,:,i),'test.tif','WriteMode','append');
        if (round(i/divider)==i/divider)
            fprintf('Frame %d written in %.0f seconds, %2d percent complete, time                 left=%.0f seconds \n', ...
                i, toc, i/numframes*100, (numframes - i)/(i/toc));
        end
    end

这导致以下输出:

第 10000 帧在 104 秒内写入,8.196721e+00% 完成,剩余时间=1163 秒第 20000 帧在 296 秒内写入,1.639344e+01% 完成,剩余时间=1509 秒第 30000 帧在 590 秒内写入,2.459016e+01%完成,剩余时间=1809 秒第 40000 帧在 1035 秒内写入,3.278689e+01% 完成,剩余时间=2121 秒第 50000 帧在 1682 秒内写入,4.098361e+01% 完成,剩余时间=2421 秒

请注意,随着更多帧的写入,时间呈指数增长。

直接使用 Tiff 类

    if bigtiff
        t = Tiff(fname,'w8');
    else
        t = Tiff(fname,'w');
    end
    tagstruct.ImageLength = size(image,1);
    tagstruct.ImageWidth = size(image,2);
    tagstruct.Photometric = Tiff.Photometric.MinIsBlack;
    if bitspersamp==16
        tagstruct.BitsPerSample = 16;
    end
    if bitspersamp==32
        tagstruct.BitsPerSample = 32;
    end
    tagstruct.SamplesPerPixel = 1;
    tagstruct.RowsPerStrip = 256;
    tagstruct.PlanarConfiguration = Tiff.PlanarConfiguration.Chunky;
    tagstruct.Software = 'MATLAB';
    t.setTag(tagstruct);
    t.write(image(:,:,1));
    numframes = size(image,3);
    divider = 10^(floor(log10(numframes))-1);
    tic
    for i=2:numframes
        t.writeDirectory();
        t.setTag(tagstruct);
        t.write(image(:,:,i));
        if (round(i/divider)==i/divider)
            fprintf('Frame %d written in %.0f seconds, %2d percent complete, time left=%.0f seconds \n', ...
                i, toc, i/numframes*100, (numframes - i)/(i/toc));
        end
    end
    t.close();

这导致以下输出:

Frame 10000 written in 66 seconds, 8.196721e+00 percent complete, time left=743 seconds 
Frame 20000 written in 225 seconds, 1.639344e+01 percent complete, time left=1145 seconds 
Frame 30000 written in 481 seconds, 2.459016e+01 percent complete, time left=1474 seconds 
Frame 40000 written in 915 seconds, 3.278689e+01 percent complete, time left=1877 seconds 
Frame 50000 written in 1512 seconds, 4.098361e+01 percent complete, time left=2177 seconds

尝试使用 BigTIFF 库不起作用

在此处讨论之后:http: //blogs.mathworks.com/steve/2013/08/07/tiff-bigtiff-and-blockproc/

我试图通过将第 73 行更改为:

    obj.TiffObject.setTag('BitsPerSample', 16);

但是在写完之后

outFileWriter = bigTiffWriter('test.tif', inFileInfo(1).Height, inFileInfo(1).Width, tileSize(1), tileSize(2));
for i=1:122000
    blockproc(IMG(:,:,i),tileSize,@(b) b.data,'Destination',outFileWriter);
    if rem(i,10000)==0
        fprintf('Frame %d done\n',i)
    end
end

尝试回读时出现以下错误:

Unexpected Standard exception from MEX file.
What() is:std::bad_alloc
..

Error in imtifinfo (line 27)
raw_tags = tifftagsread(filename,0,0,0);

Error in imfinfo (line 183)
info = feval(fmt_s.info, filename);

Error in TiffReader (line 11)
InfoImage=imfinfo(fname);

在相关说明中,在磁盘上预分配具有正确大小的文件没有区别

我认为这是一个文件 I/O 问题的可能性很小,在这种情况下,预先分配磁盘上的空间可能是相关的,所以我尝试了这里提到的内容:http: //www.mathworks.co.uk/matlabcentral/ newsreader/view_thread/241072,即:

% Create the file
fh = javaObject('java.io.RandomAccessFile', 'test.dat', 'rw');
% Allocate the right amount of space
fh.setLength(1024);
% Close the file
fh.close();

但这没有任何区别。

任何帮助将不胜感激。

4

2 回答 2

2

我也曾经遇到过这个问题。似乎 Matlab 2018b 有两个可以处理 tiff 写入的 .mexw64 文件。

wtifc.mexw64in call \toolbox\matlab\imagesci\privateby writetif.mwhich 被 imwrite 使用

tifflib.mexw64,相同的位置,由 Tiff 对象使用。

两者都使用多图像 tiff 文件减慢速度。使用fwrite写入所有图像数据并以指向该数据的指针结束要快得多。

我使用这个脚本测试了三种方法,差异很大。这是使用 matlab 2018b 完成的。

clear all;close all; clc; fclose all;
%generate some data
N=1E3;
IM=imread('landOcean.jpg');
IM = uint16(sum(IM,3));
IM = IM(100:310,960:1170);
IM = IM-min(IM(:));
IM=IM*(2^15/max(IM(:)));
IM = repmat(IM,[1,1,N])+randi((2^15)-1,[size(IM,1),size(IM,2),N],'uint16');
S = (numel(IM)/N*2)/2^20;


%imread writespeed
methods = {'imwrite','tifflib','fTIF'};
for M = 1:length(methods)
    method = methods{M};
    %file
    filename = [method,'.tif'];
    if exist(filename,'file'), delete(filename);end
    switch method
        case 'imwrite'
            %timing vector
            t = zeros(1,100+1);
            tic;
            imwrite(IM(:,:,1),filename);
            t(2)=toc;
            for ct = 2:100
                imwrite(IM(:,:,ct),filename,'WriteMode','append');
                t(ct+1)=toc;
            end
        case 'tifflib'
            %timing vector
            t = zeros(1,200+1);
            tic;
            tf = Tiff(filename,'w');
            for ct = 1:200
                if ct>1,tf.writeDirectory;end
                tf.setTag('Photometric',Tiff.Photometric.MinIsBlack);
                tf.setTag('Compression',Tiff.Compression.None);
                tf.setTag('BitsPerSample',16);
                tf.setTag('SamplesPerPixel',1);
                tf.setTag('SampleFormat',Tiff.SampleFormat.UInt);
                tf.setTag('ExtraSamples',Tiff.ExtraSamples.Unspecified);
                tf.setTag('ImageLength',size(IM,1));
                tf.setTag('ImageWidth',size(IM,2));
                tf.setTag('PlanarConfiguration',Tiff.PlanarConfiguration.Chunky);
                tf.setTag('ImageDescription',sprintf('ImageJ=1.51j\nchannels=%.0f',size(IM,3)));
                tf.write(IM(:,:,ct));
                t(ct)=toc;
            end
            tf.close();
        case 'fTIF'
            %timing vector
            t = zeros(1,size(IM,3)+1);
            tic
            fTIF = Fast_Tiff(filename);
            for ct = 1:size(IM,3)
                fTIF = fTIF.WriteIMG(IM(:,:,ct)');
                t(ct)=toc;
            end
            tic
            fTIF.close;
            toc
        otherwise
            error('unknown method')
    end
    S = (size(IM,1)*size(IM,2)*2)/2^20; %MB/frame
    y = S./diff(t);
    subplot(1,length(methods),M)
    plot([1:length(y)],y);
    title(sprintf('Writing with %s; mean = %.2f MB/s',method,mean(y)))
    ylabel('Writing speed (MB/s)')
    xlabel('Frame');
    drawnow;
end

速度比较

fTIF 方法的代码:

https://github.com/rharkes/Fast_Tiff_Write

于 2018-12-13T11:05:30.220 回答
0

我遇到了同样的问题,但更糟糕的是:即使你再写一个 tiff,写一帧的时间也在增加。

因此,一个解决方案(在我有多个文件的情况下效果更好)是为每个 shell 命令调用重启 matlab 会话。

因此,在您的“writeTIFF.m”中,您应该有一个变量“startFrame”并在脚本末尾放置一个“exit”。您可以使用这种 Batch(或 linux/unix 下的等效项)来处理它:

@echo off
setlocal EnableDelayedExpansion 
:: count to 5 storing the results in a variable
set _tst=0
FOR /l %%G in (100,100,300) Do (
    echo matlab -r "startFrame=%%G;writeTIFF"  -nosplash -nodesktop -wait
    matlab -r "startFrame=%%G;writeTIFF"  -nosplash -nodesktop -wait
)
echo Done

我没有进行大量测试,但它应该符合预期:重新启动 matlab 3 次,并依次用值 100、200 和 300 初始化变量“startFrame”。

于 2014-12-05T08:26:56.957 回答