问题标签 [pandas-datareader]

如果有一种简单的方法可以将mysqldump导入 Pandas，我很感兴趣。

我有几个小（~110MB）表，我想把它们作为数据帧。

我想避免将数据放回数据库，因为这需要安装/连接到这样的数据库。我有 .sql 文件并想将包含的表导入 Pandas。是否有任何模块可以做到这一点？

如果版本控制很重要，则 .sql 文件都将“MySQL dump 10.13 Distrib 5.6.13, for Win32 (x86)”列为生成转储的系统。

事后的背景

我在没有数据库连接的计算机上本地工作。我工作的正常流程是从第三方获得 .tsv、.csv 或 json 文件，并进行一些分析，这些分析将被返回。一个新的第三方以 .sql 格式提供了他们的所有数据，这破坏了我的工作流程，因为我需要大量开销才能将其转换为我的程序可以作为输入的格式。我们最终要求他们以不同的格式发送数据，但出于商业/声誉的原因，我们想先寻找解决方法。

编辑：下面是带有两个表的示例 MYSQLDump 文件。

非常简单的问题在这里我找不到阅读文档的答案（以下是摘录）：

文档： http: //pandas-datareader.readthedocs.io/en/latest/remote_data.html

请注意，如果您有旧版本的 pandas，则应改为执行以下导入：

所以我的问题是......在哪里可以找到可接受参数（如 GDP）的列表，以及它们对应的参数？甚至 GDP 也有许多不同的风格——FRED 列出了 BEA 帐户代码来澄清，所以我不确定这些是如何协调的。

我正在 python (python xy 2.7.9) 中尝试以下示例：

我收到以下错误。有谁明白为什么这不起作用，它看起来像返回数据的意外格式？我尝试了雅虎和谷歌以及不同的代码。与 csv 阅读器功能不同，我找不到任何忽略“坏数据”的选项。有没有人知道为什么它不起作用，甚至更好地解决这个问题？谢谢。

-------------------------------------------------- ------------------------- CParserError Traceback (最近一次调用最后一次) in () ----> 1 AAPL=DataReader('GOOG', '谷歌',开始=日期时间.日期时间(2015,1,1),结束=日期时间.日期时间(2015,1,2))

C:\Python27\lib\site-packages\pandas\io\data.py 在 DataReader(name, data_source, start, end, retry_count, pause) 79 return get_data_google(symbols=name, start=start, end=end, 80 adjust_price=False, chunksize=25, ---> 81 retry_count=retry_count, pause=pause) 82 elif data_source == "fred": 83 return get_data_fred(name, start, end)

C:\Python27\lib\site-packages\pandas\io\data.py in get_data_google(symbols, start, end, retry_count, pause, adjust_price, ret_index, chunksize) 439 """ 440 return _get_data_from(symbols, start, end , retry_count, 暂停, --> 441 调整价格, ret_index, 块大小, 'google') 442 443

C:\Python27\lib\site-packages\pandas\io\data.py in _get_data_from(symbols, start, end, retry_count, pause, adjust_price, ret_index, chunksize, source) 351 # 如果是单个符号，（例如，' GOOG') 352 if isinstance(symbols, (compat.string_types, int)): --> 353 hist_data = src_fn(symbols, start, end, retry_count, pause) 354 # 或者多个symbols, (eg, ['GOOG', 'AAPL', 'MSFT']) 355 elif isinstance(symbols, DataFrame):

C:\Python27\lib\site-packages\pandas\io\data.py in _get_hist_google(sym, start, end, retry_count, pause) 219 "enddate": end.strftime('%b %d, %Y') , 220 "输出": "csv"})) --> 221 return _retry_read_url(url, retry_count, pause, 'Google') 222 223

C:\Python27\lib\site-packages\pandas\io\data.py in _retry_read_url(url, retry_count, pause, name) 167 else: 168 rs = read_csv(StringIO(bytes_to_str(lines)), index_col=0, - -> 169 parse_dates=True, na_values='-')[::-1] 170 # 雅虎！财务有时会做这件很棒的事情，他们 171 # 返回最近一个工作日的 2 行

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in parser_f(filepath_or_buffer, sep, dialect, compression, doublequote, escapechar, quotechar, quoting, skipinitialspace, lineterminator, header, index_col, names, prefix, skiprows ，skipfooter，skip_footer，na_values，na_fvalues，true_values，false_values，分隔符，转换器，dtype，usecols，引擎，delim_whitespace，as_recarray，na_filter，compact_ints，use_unsigned，low_memory，buffer_lines，warn_bad_lines，error_bad_lines，keep_default_na，数千，注释，十进制，parse_dates ，keep_date_col，dayfirst，date_parser，memory_map，float_precision，nrows，迭代器，块大小，详细，编码，挤压，mangle_dupe_cols，tupleize_cols，infer_datetime_format，skip_blank_lines）463 skip_blank_lines=skip_blank_lines）464 -->465 返回_read（filepath_or_buffer，kwds）466 467 parser_f。名字=名字

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in _read(filepath_or_buffer, kwds) 249 return parser 250 --> 251 return parser.read() 252 253 _parser_defaults = {

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows) 708 raise ValueError('skip_footer not supported for iteration') 709 --> 710 ret = self._engine.read( nrows) 711 712 如果 self.options.get('as_recarray'):

C:\Python27\lib\site-packages\pandas\io\parsers.pyc in read(self, nrows) 1157 1158 try: -> 1159 data = self._reader.read(nrows) 1160 除了 StopIteration: 1161 如果 nrows 是没有任何：

C:\Python27\lib\site-packages\pandas\parser.pyd 在 pandas.parser.TextReader.read (pandas\parser.c:7396)()

C:\Python27\lib\site-packages\pandas\parser.pyd 在 pandas.parser.TextReader._read_low_memory (pandas\parser.c:7636)()

C:\Python27\lib\site-packages\pandas\parser.pyd 在 pandas.parser.TextReader._read_rows (pandas\parser.c:8258)()

C:\Python27\lib\site-packages\pandas\parser.pyd 在 pandas.parser.TextReader._tokenize_rows (pandas\parser.c:8132)()

C:\Python27\lib\site-packages\pandas\parser.pyd 在 pandas.parser.raise_parser_error (pandas\parser.c:20735)()

CParserError：标记数据时出错。C 错误：第 15 行中应有 1 个字段，看到 2

我正在运行以下程序来提取股票信息：

这完美运行。但是当我将开始日期更改为今天，即（2015 年 4 月 20 日）时，程序就会出错。我也尝试过给出结束日期，但没有用。以下是我得到的错误：

我正在使用 pandas 读写一个 csv 文件。

我正在逐列读取 csv 文件并将其逐列写入单独的 csv 文件，读取工作正常，但是在写入 csv 文件时会出错

输出：

但是实际上这里有一个列参数pandas library

我怎样才能使这个程序工作（逐列编写）

我正在使用 解析一些数据pd.read_csv，所以我打算将检索到的数据写入 csv 文件......但是，它给了我错误。熊猫数据框或 csv.writer 有这个问题吗？

而且，请。我该如何解决这个错误（我是 python 新手）。

这是代码...以字符串格式返回内容...

这是我添加的新代码，它给了我错误

错误图像

我有大量的时间序列数据，并且在更改时间约定方面遇到了问题。

以下是不同的类型，我正在尝试将它们全部制作成一种格式。无法找到任何相应的指导。它更像是我正在尝试做的数据预处理/清理过程。让python和pandas的下一个执行过程顺利进行。手动更改几乎是不可能的，需要使用 python 脚本修复。

输入文件有两种CSV格式。

三列多行，其中col[0]绝对是日期时间，其余是其他数据。列标题不是恒定的，每个输入文件都有一些名称，因此不能使用标题。

具有多列和多行的输入文件

类型

上面列出的是类型，我想将它们全部转换为一种格式：

我也无法在文档中找到适当的指导。所以到目前为止无法尝试任何代码。

感谢您的宝贵建议

对于将 pandas-datareader 与雅虎一起使用，当我在同一日期开始和结束时，当我在该日期询问时没有返回任何信息。如果我在一天后询问，它会起作用。但我想今天收盘。

该代码采用第二条“例外”路线。

我做错了什么/发生了什么？

我试图从谷歌获取某些其他地方没有的财务指标的财务数据。数据提取失败，让我想知道是否无法使用 Pandas DataReader 提取某些类别的谷歌财务数据。我用谷歌搜索了这个问题，找不到任何关于这个问题的讨论。从谷歌金融获取数据有限制吗？

这是问题所在。当我尝试使用 Pandas 的 DataReader 从 Google Finance 获取数据时收到以下错误：

OSError：3 次尝试后，Google 没有为 url ' http://www.google.com/finance/historical?enddate=Dec+25%2C+2015&q=VFINX&startdate=Jun+02%2C+2003&output=csv返回 200 '

导致错误消息的 Pandas 声明是：

我导入了以下库：

当我尝试获取共同基金（例如 VFINX（Vanguard S&P 500）或指数（例如 DWCPF（道琼斯完成指数））的数据时，也会出现该错误。共同基金的明显解决方法是使用雅虎。但是，当我获取股票（例如 C（花旗银行））的数据时，上述语句可以正常工作。这让我相信，无法通过 pandas 数据阅读器获得共同基金和指数的谷歌财务数据。

不幸的是，雅虎没有提供索引 DWCPF 的历史数据。为了从谷歌获取数据，我通过修改 url 抓取了谷歌， https://www.google.com/finance/historical?cid= 12645460&startdate=Dec+26%2C+2014&enddate=Dec+25%2C+2015&num=200&ei =TVV9VoHSOMWSmGAx7ewCg 显然，网络抓取比简单地使用数据阅读器更费力。

我正在使用 python 3.4（和另一台计算机上的 3.5）、pandas 版本 0.17.1，最近升级到 Pandas DataReader。

我不明白为什么下面的主要代码会从一个相对简单的 python pandas DataFrame 操作中给出不一致的输出。似乎有问题的主要代码部分是以下行：

'dfPrices' 和 'dfResult' 都是 DataFrame。

主代码首先检索价格数据并以 pandas 面板类型的形式存储。然后使用相同的固定/不变数据循环 1,000 次，执行简单的 pandas DataFrame 除法运算，应该会产生相同的结果。只要有不一致的输出，它就会打印出不一致的值。从 1,000 个循环中，我通常会得到 5-20 个不一致的输出。大多数被认为不一致的输出的值为 0.0，但有时它也可能是一些非零数。所以错误率平均约为 1%，但如果我使用更复杂的操作，并且如果下载的数据量增加，错误率可以达到 10%。熊猫模块中可能有错误还是我的代码？

仅供参考，我使用的是 Windows 10 和 Anaconda 发行版。我有 Pandas 0.17.0 版和 pandas-datareader 0.2.0 版

对此有任何建议将不胜感激。谢谢你。