5

将不胜感激一些指点。我正在阅读大约 1M 行数据，使用以下代码需要将近 24 小时。如何提高执行时间？

该数组Day包含从开始的第 n 天的值，并且某一天有多个记录。该程序检查一个特定的 id（存储在 中unique_id）是否在 180 天内重复。

%// calculating the number of repeats within 180 days
fid2 = 'data_050913/Unique_id_repeat_count1.xlsx';
fid1 = 'data_050913/data_050913_2000.csv';

fid_data = fopen(fid1);
data     = fgetl(fid_data); %// the first line, title line
ep       = 0; %// position point number

while 1
    data = fgetl(fid_data);
    if(length(data)<10)
      break;
    end
    ep = ep+1;
    id = find(data == ',');
    unique_id(ep) = str2num(data(1:id(1)-1)); 
    day(ep) = str2num(data(id(8)+1:id(9)-1)); 
end

repeat = zeros(ep,1);

tic
i = 1; 
count = 0;
while i <= ep
    j = i+1;
    while ( (j<=ep) && (day(j)<= day(i)+179) )
        if unique_id(i) == unique_id(j)
           count = 1;
           break;
        end
        j = j+1;
    end

    repeat(i,1) = count;

    count = 0;
    i = i+1;
end
toc

i = 1;
k = 1;
while i<=ep
    count = repeat(i,1);
    j=i;
    while (day(j) == day(i))
        count = repeat(j,1)+count;
        j = j+1;
        if j > ep
            break;
        end
    end

    day_final(k,1)= day(i);
    repeat_final(k,1) = count;

    k = k+1;
    i = j;
end

xlswrite(fid2,day_final,'Repeat_Count','A2');
xlswrite(fid2,repeat_final,'Repeat_Count','B2');

谢谢

4

4 回答 4

3

如果尚未这样做，请确保尽可能预先分配所有内存。我已经看到 Matlab 脚本通过这样做从 24 小时缩短到 8 分钟。

使用该zeros函数为所有不断增长的数组（、 、 和day）unique_id预repeat分配内存。day_finalrepeat_final

x = zeros(1000); %// Creates a 1000 element array of all zeros
于 2013-09-09T08:51:21.157 回答
2

下面的代码运行速度比原始代码快约 200 倍，并给出相同的结果。

当然，加速取决于输入数据的分布，我的假设可能不正确（我有 1000 个唯一 ID，平均每天有 19 条记录）。

我还编写了一些代码来生成类似于我认为您的输入数据的数据。

% Generate Input data 
ep = 100000;

isRepeatedDay = rand(1,ep) < 0.95;
day = cumsum(~isRepeatedDay);
unique_ids = 1:1000;
unique_id_indices = round(rand(ep,1)*length(unique_ids));
unique_id_indices(unique_id_indices < 1) = 1;
unique_id_indices(unique_id_indices > length(unique_id_indices) ) = length(unique_id_indices);

unique_id = unique_ids(unique_id_indices);

%Process the input data to find repeats
tic
repeat = zeros(ep,1);
[unique_values,~,indices] = unique(unique_id);
for uv_index = 1:length(unique_values)
    uv = unique_values(uv_index);
    uv_indices = find(indices == uv_index);
    for i=1:length(uv_indices)-1
        daysDifference = day(uv_indices(i+1)) - day(uv_indices(i));
        if daysDifference <= 179
            repeat(uv_indices(i),1) = 1;
        end
    end
end
toc
于 2013-09-09T11:22:53.697 回答
1
  • 您可以使用 MATLAB 的profiler检查哪条线最需要时间。
  • 您应该知道的一件事：MATLAB 处理向量和矩阵的速度很快，但循环速度通常很慢。如果可能，您应该始终尝试使用整个向量（或矩阵）。有多种方法可以做到这一点。
  • 一种方法是逻辑索引。我认为这应该适用于您的问题的一部分。在

首先，我将向您展示一个逻辑索引如何工作的小例子：

vector=[0 4 5 2 4]

logicalIndex=(vector==4) %the type of logicalIndex is bool!

excerpOfVector=vector(logicalIndex) %some other ways to use logial Indexing 
excerpOfVectorSecondVariation=zeros(1,length(vector)) 
excerpOfVectorSecondVariation(logicalIndex)=vector(logicalIndex)
vector(vector < 5) = 11;            %implicit use of logical indexing
  • 您应该将凌乱的 while 循环更改为 for 循环！;-)
于 2013-09-09T11:57:30.377 回答
1

unique_id如果可以有许多不同的值（甚至可能没有），这就是我会这样做的方式。

在我的系统上，该操作需要不到 5 秒的时间：

x = round(rand(1000000,1)*10);
result = zeros(size(x));
windowsize = 180;
for t = 1:(numel(x)-windowsize)
    result(t) = sum(x(t+1:t+windowsize)==x(t));
end

我认为这就是您所需要的，请务必检查您是要“向前”还是“向后”。

于 2013-09-09T09:43:51.710 回答