2

我在 perl 中进行了大量数据分析，并尝试使用 pandas、numpy、matplotlib 等在 python 中复制这项工作。

一般工作流程如下：

1) glob 目录中的所有文件

2）解析文件，因为它们有元数据

3) 使用正则表达式来隔离给定文件中的相关行（它们通常以诸如'LOOPS'之类的标签开头）

4) 拆分匹配标签的行并将数据加载到哈希中

5）做一些数据分析

6）制作一些情节

这是我通常在 perl 中执行的示例：

print"Reading File:\n";                              # gets data
foreach my $vol ($SmallV, $LargeV) {
  my $base_name = "${NF}flav_${vol}/BlockedWflow_low_${vol}_[0-9].[0-9]_-0.25_$Mass{$vol}.";
  my @files = <$base_name*>;                         # globs for file names
  foreach my $f (@files) {                           # loops through matching files
    print"... $f\n";
    my @split = split(/_/, $f);
    my $beta = $split[4];
    if (!grep{$_ eq $beta} @{$Beta{$vol}}) {         # constructs Beta hash
      push(@{$Beta{$vol}}, $split[4]);
    }
    open(IN, "<", "$f") or die "cannot open < $f: $!"; # reads in the file
    chomp(my @in = <IN>);
    close IN;
    my @lines = grep{$_=~/^LOOPS/} @in;       # greps for lines with the header LOOPS
    foreach my $l (@lines) {                  # loops through matched lines
      my @split = split(/\s+/, $l);           # splits matched lines
      push(@{$val{$vol}{$beta}{$split[1]}{$split[2]}{$split[4]}}, $split[6]);# reads data into hash
      if (!grep{$_ eq $split[1]} @smearingt) {# fills the smearing time array
        push(@smearingt, $split[1]);
      }
      if (!grep{$_ eq $split[4]} @{$block{$vol}}) {# fills the number of blockings
        push(@{$block{$vol}}, $split[4]);
      }
    }
  }
  foreach my $beta (@{$Beta{$vol}}) {
    foreach my $loop (0,1,2,3,4) {         # loops over observables
      foreach my $b (@{$block{$vol}}) {    # beta values
        foreach my $t (@smearingt) {       # and smearing times
          $avg{$vol}{$beta}{$t}{$loop}{$b} = stat_mod::avg(@{$val{$vol}{$beta}{$t}{$loop}{$b}});     # to find statistics
          $err{$vol}{$beta}{$t}{$loop}{$b} = stat_mod::stdev(@{$val{$vol}{$beta}{$t}{$loop}{$b}});
        }
      }
    }
  }
}
print"File Read in Complete!\n";

我希望将这些数据加载到分层索引数据结构中，其中 perl 哈希的索引成为我的 python 数据结构的索引。到目前为止，我遇到的关于 pandas 数据结构的每个示例都是高度人为的，其中整个结构（索引和值）是在一个命令中手动分配的，然后进行操作以演示数据结构的所有功能。不幸的是，我不能一次全部分配数据，因为我不知道要分析的数据中的质量、贝塔、大小等。我这样做是错误的吗？有谁知道这样做的更好方法？数据文件是不可变的，我将不得不使用我理解的正则表达式来解析它们。我需要帮助是将数据放入适当的数据结构中，以便我可以取平均值，

典型数据的标题行数未知，但我关心的内容如下所示：

Alpha 0.5 0.5 0.4
Alpha 0.5 0.5 0.4
LOOPS 0 0 0 2 0.5 1.7800178
LOOPS 0 1 0 2 0.5 0.84488326
LOOPS 0 2 0 2 0.5 0.98365135  
LOOPS 0 3 0 2 0.5 1.1638834
LOOPS 0 4 0 2 0.5 1.0438407
LOOPS 0 5 0 2 0.5 0.19081102
POLYA NHYP 0 2 0.5 -0.0200002 0.119196 -0.0788721 -0.170488 
BLOCKING COMPLETED
Blocking time 1.474 seconds
WFLOW 0.01 1.57689 2.30146 0.000230146 0.000230146 0.00170773 -0.0336667
WFLOW 0.02 1.66552 2.28275 0.000913101 0.00136591 0.00640552 -0.0271222
WFLOW 0.03 1.75 2.25841 0.00203257 0.00335839 0.0135 -0.0205722
WFLOW 0.04 1.83017 2.22891 0.00356625 0.00613473 0.0224607 -0.0141664
WFLOW 0.05 1.90594 2.19478 0.00548695 0.00960351 0.0328218 -0.00803792
WFLOW 0.06 1.9773 2.15659 0.00776372 0.0136606 0.0441807 -0.00229793
WFLOW 0.07 2.0443 2.1149 0.010363 0.018195 0.0561953 0.00296648

我（认为）我想要的，我以 think 开头，因为我是 python 新手，专家可能知道更好的数据结构，是一个看起来像这样的分层索引系列：

volume   mass   beta   observable   t   value

1224     0.0    5.6    0            0   1.234
                                    1   1.490
                                    2   1.222
                       1            0   1.234
                                    1   1.234
2448     0.0    5.7    0            1   1.234

依此类推： http: //pandas.pydata.org/pandas-docs/dev/indexing.html#indexing-hierarchical

对于那些不了解 perl 的人：

我需要的肉和土豆是这样的：

push(@{$val{$vol}{$beta}{$split[1]}{$split[2]}{$split[4]}}, $split[6]);# reads data into hash

我这里有一个名为“val”的哈希。这是数组的散列。我相信在 python 中，这将是一个列表的字典。这里的每件事看起来像这样：'{$something}' 是哈希 'val' 中的一个键，我将存储在变量 $split[6] 中的值附加到数组的末尾，即指定的哈希元素通过所有 5 个键。这是我的数据的基本问题，我感兴趣的每个数量都有很多键。

==========

更新

我想出了以下导致此错误的代码：

Traceback (most recent call last):
  File "wflow_2lattice_matching.py", line 39, in <module>
    index = MultiIndex.from_tuples(zipped, names=['volume', 'beta', 'montecarlo_time, smearing_time'])
NameError: name 'MultiIndex' is not defined

代码：

#!/usr/bin/python

from pandas import Series, DataFrame
import pandas as pd
import glob
import re
import numpy

flavor = 4
mass = 0.0

vol = []
b = []
m_t = []
w_t = []
val = []

#tup_vol = (1224, 1632, 2448)
tup_vol = 1224, 1632
for v in tup_vol:
  filelist = glob.glob(str(flavor)+'flav_'+str(v)+'/BlockedWflow_low_'+str(v)+'_*_0.0.*')
  for filename in filelist:
    print 'Reading filename:  '+filename
    f = open(filename, 'r')
    junk, start, vv, beta, junk, mass, mont_t = re.split('_', filename)
    ftext = f.readlines()
    for line in ftext:
      if re.match('^WFLOW.*', line):
        line=line.strip()
        junk, smear_t, junk, junk, wilson_flow, junk, junk, junk = re.split('\s+', line)
        vol.append(v)
        b.append(beta)
        m_t.append(mont_t)
        w_t.append(smear_t)
        val.append(wilson_flow)
zipped = zip(vol, beta, m_t, w_t)
index = MultiIndex.from_tuples(zipped, names=['volume', 'beta', 'montecarlo_time, smearing_time'])
data = Series(val, index=index)
4

3 回答 3

2

您将获得以下信息：

NameError: name 'MultiIndex' is not defined

因为在导入 Series 和 DataFrame 时没有直接导入 MultiIndex。

你有 -

from pandas import Series, DataFrame

你需要 -

from pandas import Series, DataFrame, MultiIndex

或者您可以使用 pd.MultiIndex 来引用 MultiIndex，因为您将 pandas 导入为 pd

于 2012-11-15T04:45:07.257 回答
1

要全局化您的文件，请使用 Python 中的内置glob模块。

要在对它们进行通配后读取 csv 文件read_csv，您可以使用导入的功能来from pandas.io.parsers import read_csv帮助您做到这一点。

至于MultiIndex您在使用后实例化的 pandas 数据框中的功能read_csv，您可以使用它们来组织您的数据并根据需要对它们进行切片。

3个相关链接供您参考。

于 2012-11-13T11:02:25.110 回答
1

希望这可以帮助您入门？

import sys, os

def regex_match(line) :
  return 'LOOPS' in line

my_hash = {}

for fd in os.listdir(sys.argv[1]) :           # for each file in this directory 
  for line in open(sys.argv[1] + '/' + fd) :  # get each line of the file
    if regex_match(line) :                    # if its a line I want
      line.rstrip('\n').split('\t')           # get the data I want
      my_hash[line[1]] = line[2]              # store the data

for key in my_hash : # data science can go here?
  do_something(key, my_hash[key] * 12)

# plots

ps 做第一行

#!/usr/bin/python

（或任何which python返回）作为可执行文件运行

于 2012-11-13T02:37:29.500 回答