问题标签 [import-from-csv]

在 MATLAB 中，我真的需要某人的专业知识。我有一个 csv 文件，如下所示（额外的空格只是为了使其可读）：

我已经应用了 textread 和 strcmpi。这是目标：我需要开发一个循环来获取每个单独的状态以及与状态相关的数据，并将其绘制在一个图上，并为每个状态重复直到完成。所以对于循环一：阿拉巴马州有两个数据集，所以我需要提取和绘制这个。循环二：得克萨斯州有 3 个数据集，所以我需要提取和绘制这个数据集。并且重复该过程，直到应用了所有状态。

这是代码：

试图让它成为一个循环，自动，所以我不必硬编码它。

我真的需要一个解决方案——即使你不确定。

我有一个每晚导入并转储到我的 MYSQL 数据库中的 LDAP CSV 文件。它有大约70000条员工记录。

其中包括 empl#、电子邮件、组、主管等。

我有从各种网站生成的报告。我们每月将这些报告转储到数据库中一次。这些报告通常有 empl#、电子邮件、点击次数、登录信息，等等……

我的目标是结合报表数据并添加基于 empl# 的组、主管等内容……由于数据库的大小和用户数量，速度是一个大问题。

起初我想做一个简单的左连接（考虑到报表数据被留下——并且报表中的所有人可能不是员工）。然而，问题在于它没有及时拍摄快照。如果查看 6 个月前的报告数据，我不希望它与当前员工数据混合 - 我希望它及时保持快照。

处理这个问题的最佳方法是什么？

我创建了一个文件，其中包含我公司的所有数据，作为带有列表的 CSV 文件夹。

该文件夹读取名称、年龄、加入年份、退出年份作为列，如下所示：

我试图隔离所有从 2000 年开始的人。到目前为止，我的代码如下

这会打印出所有麦克风数据，因为我知道这是dL.

我想知道的是有一种更简单的方法来显示从 2000 年开始的每个人。比如有没有我可以编写的代码来搜索从 2000 年开始的任何人，如果是的话，它可以为这些人显示行中的数据。

IE

这是可能的还是我最好坚持使用原始代码并单独输入每个人的行号？

我习惯了 R，它提供了逐列读取 CSV 文件的快速功能，任何人都可以提出一种快速有效的方法来读取 python 中的大数据（例如 CSV）文件吗？^{例如 CSV 文件的第}i列。

我有以下但需要时间：

有没有更好的方法在 python 中读取数据（从大文件中）（至少在内存方面和 R 一样快）？

我正在使用read.table读取数据文件。并得到以下错误：

扫描错误（文件，什么，nmax，sep，dec，quote，skip，nlines，na.strings，：
scan（）预期'a real'，得到'true'

我知道这意味着我的数据文件中有一些错误，问题是我怎样才能找到它在哪里。错误消息没有告诉哪一行有问题，我很难找到它。或者我怎样才能跳过这些行？

这是我的R代码：

我正在分析一个 CSV 文件的实验结果，其中变量作为列，参与者作为行。在收集所有数据之前，我想对已有的数据进行初步分析。但是，我需要将我的一些参与者排除在分析之外。在不删除他们的数据（这可能会在以后给我带来问题）的情况下，我想出的最佳方法是创建一个新列，将其称为“排除”，然后为每个参与者输入 1 或 0 来定义谁将被排除在外。然后，当我运行统计信息时，我只是对我的数据子集（例如，其中排除 == 0）执行此操作。

当我下载完整数据集时出现问题 - 如何从初步数据集的“排除”列中获取数据到完整数据集，确保所有 0 和 1 都附加到正确的参与者？如果初步数据集和完整数据集的行的顺序完全相同，我可以看到如何复制和粘贴，但这似乎容易出错，并且为了创建排除列，按不同的列排序要容易得多. 我试过了rbind，merge但据我所知，它们不起作用。

这是我正在尝试做的一个例子：

当我尝试使用 numpy 的 loadtxt 函数从 CSV 文件中导入数据时，我遇到了一个小问题。这是我拥有的数据文件类型的示例。

称之为“datafile1.csv”：

我认为适用于这种情况的脚本如下所示：

但是，我收到一个错误：

这告诉我 kwarg 'skiprows' 没有跳过标题，它跳过了第一行评论。我可以简单地确保 skiprows=3，但复杂之处在于我有大量文件，这些文件不一定在文件顶部都有相同数量的注释行。如何确保当我使用 loadtxt 时，我只在这种情况下获取实际数据？

PS - 我也愿意接受 bash 解决方案。

我正在尝试使用 Python 生成一组 HTML 表，其中包含从 CSV 中提取的值。该脚本运行良好，但是它会在任何拉入值的地方添加奇数的“¬†”字符。

这是我用来获取 CSV 数据的代码：

这将创建一个函数来制作 html 表：

然后将表写入文本文件：

我尝试将下面的 re.sub 添加到 for 循环中，但十字架仍然存在。

我错过了什么吗？我的电脑变成宗教了吗？

下面复制的输出示例：

我正在尝试创建一个列表，该列表将从中获取数据gradebook.csv并将其更改为不同的格式。

Gradebook.csv 具有与数据类似的列：

空单元格是没有提交的作业。带数字的单元格代表成绩。此数据将进入格式列表：

最终结果是将这些数据放入 sql server 2012 中的 sql 表中。下面的代码可以满足我的要求，但仅适用于gradebook.csv. 我究竟做错了什么？

I have been trying to do the following in a long csv file with three columns:

for every row, getting the max and min of the entries of the previous 250 rows. The data is like this - column 1 is an index (1-5300), column 2 is where the data is and column 3 is another one, but not used here. This is the code I have till now. Note that 'i' is the row index which looks at column 1. Column 2 is where the data is stored (i.e. the data whose max and min I want).

The problem I have is that the csv.reader starts at the end of the file always and throws the whole algorithm out of the window. Don't know what I am doing wrong. Please help