问题标签 [blaze]

我在使用 blaze 和 odo 将一些数据从 MSSQL 后端导出到 csv 时遇到问题。

我要做的第一件事是创建一个 blaze.data 对象，该对象使用 dns 连接和 pyodbc 作为驱动程序连接到 MSSQL db。

adjust_statuses 是 blaze.data 对象连接到的数据库中的一个表。

然后我使用 odo 获取该结果集并将其输出到 csv。当我输出为 json 格式时，它按预期工作。我的预感是 mssql 支持作为 odo 后端存在一些问题。任何 odo 开发人员对此有任何见解吗？

我想运行一个安装两个数据源、一个 postgreSQL 表和一个 CSV 文件的 blaze 服务器，但我不知道如何在 blaze 服务器上安装多个数据源。

我在服务器端有以下代码：

在客户端：

如何在同一 blaze 服务器上挂载另一个数据源，如 CSV 文件或数据库的另一个表？例如：

更新：

我必须将数据源作为字典添加到我的服务器，

我正在使用 python 对一个巨大的数据集（约 2000 万条记录和 10 列）进行探索性数据分析。我将分割、聚合数据并创建一些可视化，我还不如使用该数据集创建一些决策树线性回归模型。

由于数据集很大，我需要使用允许超出核心数据存储的数据框。由于我对 Python 比较陌生并且使用大型数据集，所以我想使用一种方法，让我可以轻松地在我的数据集上使用 sklearn。我很困惑在这个练习中使用 Py-tables、Blaze 或 s-Frame 的天气。如果有人可以帮助我了解他们的优缺点。在这种决策中重要的因素是什么，我们将不胜感激。

我试图弄清楚为什么当我尝试使用一组不同的列名创建表时，删除的表的架构会返回？

删除表后，我可以在 SQLite 资源管理器中确认该表已消失。一旦尝试通过 ODO 加载新文件，它就会返回错误“传入数据的列名与 SQL 表中现有 SQL 表名的列名不匹配”。然后我可以看到使用先前删除的模式在数据库中重新创建了同一个表！我在删除表后尝试了一个 VACUUM 语句，但仍然是同样的问题。

我可以使用不同的表名很好地创建表，但是对于为什么我不能使用我想使用的先前删除的表名完全困惑？

我在尝试使用 blaze 时遇到错误

Blaze 不理解 SQLAlchemy 类型。Blaze 提供了以下错误：No SQL-datashape match for type TIMESTAMP Skipping。

有没有办法来解决这个问题？

我正在使用 python 的odo将数据从 pandas 数据框移动到 postgresql 数据库。目标是每个“用户”在他们的模式中看到他们自己的数据，但在“用户”之间具有相同的数据模型和表/视图命名模式。使用普通 SQL，我可以这样做：

我的 DB URI 看起来像这样

这给了我default名为“my_schema.my_table”的模式中的表，包括“。” 在表名中，而不是模式“my_schema”中名为“my_table”的表。

我根据这个github issue尝试了不同的组合，例如：

这给了我这个 Traceback

还有这个

这给了我名为“my_schema/my_table”的表。

这是一个示例代码：

当我点亮 pandas.dataframe 时，它​​可以正常输出列！当我运行“traffic.head()”时，它可以正常运行！但是，当我运行“traffic.Stop_day”时，它表示 AttributeError 如下所示：

['机构'，'子机构'，'描述'，'位置'，'纬度'，'经度'，'事故'，'腰带'，'人身伤害'，'财产损失'，'致命'，'商业许可证', 'HAZMAT', '商用车', '酒精', '工作区', '状态', 'VehicleType', '年份', '品牌', '型号', '颜色', '违规类型', ' Charge', 'Article', 'Contributed to Accident', 'Race', 'Gender', 'Driver City', 'Driver State', 'DL State', '逮捕类型', '地理位置', 'Stop_month', ' Stop_day'，'Stop_year'，'Stop_hour'，'Stop_min'，'Stop_sec']

AttributeError Traceback（最近一次调用最后一次）e:\software\python36\lib\site-packages\IPython\core\formatters.py in call (self, obj) 700 type_pprinters=self.type_printers, 701 deferred_pprinters=self.deferred_printers) - -> 702 打印机.pretty(obj) 703 打印机.flush() 704 返回 stream.getvalue()

e:\software\python36\lib\site-packages\IPython\lib\pretty.py in pretty(self, obj) 398 if cls is not object \ 399 and callable(cls.dict .get (' repr '))： --> 400 return _repr_pprint(obj, self, cycle) 401 402 return _default_pprint(obj, self, cycle)

e:\software\python36\lib\site-packages\IPython\lib\pretty.py in _repr_pprint(obj, p, cycle) 693 """一个只重定向到正常repr函数的pprint。""" 694 # Find换行符并将它们替换为 p.break_() --> 695 output = repr(obj) 696 for idx, output_line in enumerate(output.splitlines()): 697 if idx:

e:\software\python36\lib\site-packages\blaze\interactive.py in _choose_repr(self) 440 else: 441 warnings.warn(_warning_msg, DeprecationWarning, stacklevel=2) --> 442 return expr_repr(self) 443 444

e:\software\python36\lib\site-packages\blaze\interactive.py 在 expr_repr(expr, n) 358 isscalar(expr.dshape.measure) 或 359 isinstance(expr.dshape.measure, Map))): - -> 360 return repr_tables(expr, 10) 361 362 # 小数组

e:\software\python36\lib\site-packages\blaze\interactive.py in repr_tables(expr, n) 240 241 def repr_tables(expr, n=10): --> 242 result = concrete_head(expr, n)。 rename(columns={None: ''}) 243 244 if isinstance(result, (DataFrame, Series)):

e:\software\python36\lib\site-packages\blaze\interactive.py in concrete_head(expr, n) 220 return odo(head, DataFrame) 221 else: --> 222 df = odo(head, DataFrame) 223 df .columns = [expr._name] 224 返回 df

e:\software\python36\lib\site-packages\odo\odo.py in odo(source, target, **kwargs) 89 odo.append.append - 将东西添加到现有的东西上 90 """ ---> 91返回（目标，源，**kwargs）

e:\software\python36\lib\site-packages\multipledispatch\dispatcher.py in call (self, *args, **kwargs) 276 self._cache[types] = func 277 try: --> 278 return func(* args, **kwargs) 279 280 MDNotImplementedError 除外：

e:\software\python36\lib\site-packages\blaze\interactive.py in into(a, b, **kwargs) 404 结果 = 计算(b, return_type='native', **kwargs) 405 kwargs[' dshape'] = b.dshape --> 406 返回到（a，结果，**kwargs）407 408

e:\software\python36\lib\site-packages\multipledispatch\dispatcher.py in call (self, *args, **kwargs) 276 self._cache[types] = func 277 try: --> 278 return func(* args, **kwargs) 279 280 MDNotImplementedError 除外：

e:\software\python36\lib\site-packages\odo\into.py in Wrapped(*args, **kwargs) 41 raise TypeError('dshape argument is not an instance of DataShape') 42 kwargs['dshape'] = dshape ---> 43 return f(*args, **kwargs) 44 return Wrapped 45

e:\software\python36\lib\site-packages\odo\into.py in into_type(a, b, dshape, **kwargs) 51 如果 dshape 为无：52 dshape = discover(b) ---> 53 返回转换（a，b，dshape=dshape，**kwargs）54 55

e:\software\python36\lib\site-packages\odo\core.py in call (self, *args, **kwargs) 42 43 def call (self, *args, **kwargs): ---> 44返回_transform（self.graph，*args，**kwargs）45 46

e:\software\python36\lib\site-packages\odo\core.py in _transform(graph, target, source, exclude_edges, ooc_types, **kwargs) 55 pth = path(graph, type(source), target, 56 exclude_edges=excluded_edges, ---> 57 ooc_types=ooc_types) 58 try: 59 for (A, B, f) in pth:

e:\software\python36\lib\site-packages\odo\core.py 在路径（图，源，目标，excluded_edges，ooc_types）92 pth = nx.shortest_path（g，源=源，目标=目标，权重= 'cost') 93 结果 = [(src, tgt, graph.edge[src][tgt]['func']) ---> 94 for src, tgt in zip(pth, pth[1:])] 95返回结果 96

e:\software\python36\lib\site-packages\odo\core.py in (.0) 92 pth = nx.shortest_path(g, source=source, target=target, weight='cost') 93 结果 = [ (src, tgt, graph.edge[src][tgt]['func']) ---> 94 for src, tgt in zip(pth, pth[1:])] 95 返回结果 96

AttributeError：“有向图”对象没有属性“边”

-------------------------------------------------- ------------------------- AttributeError Traceback（最近一次调用最后一次） e:\software\python36\lib\site-packages\IPython\core\ formatters.py in call (self, obj) 343 method = get_real_method(obj, self.print_method) 344 if method is not None: --> 345 return method() 346 return None 347 else:

e:\software\python36\lib\site-packages\blaze\interactive.py in _warning_repr_html(self) 448 else: 449 warnings.warn(_warning_msg, DeprecationWarning, stacklevel=2) --> 450 return to_html(self) 451 452

e:\software\python36\lib\site-packages\multipledispatch\dispatcher.py in call (self, *args, **kwargs) 276 self._cache[types] = func 277 try: --> 278 return func(* args, **kwargs) 279 280 MDNotImplementedError 除外：

e:\software\python36\lib\site-packages\blaze\interactive.py in to_html(expr) 387 如果不是 expr._resources() 或 ndim(expr) != 1: 388 返回 to_html(expr_repr(expr)) - -> 389 返回 to_html(concrete_head(expr)) 390 391

e:\software\python36\lib\site-packages\blaze\interactive.py in concrete_head(expr, n) 220 return odo(head, DataFrame) 221 else: --> 222 df = odo(head, DataFrame) 223 df .columns = [expr._name] 224 返回 df

e:\software\python36\lib\site-packages\odo\odo.py in odo(source, target, **kwargs) 89 odo.append.append - 将东西添加到现有的东西上 90 """ ---> 91返回（目标，源，**kwargs）

e:\software\python36\lib\site-packages\multipledispatch\dispatcher.py in call (self, *args, **kwargs) 276 self._cache[types] = func 277 try: --> 278 return func(* args, **kwargs) 279 280 MDNotImplementedError 除外：

e:\software\python36\lib\site-packages\blaze\interactive.py in into(a, b, **kwargs) 404 结果 = 计算(b, return_type='native', **kwargs) 405 kwargs[' dshape'] = b.dshape --> 406 返回到（a，结果，**kwargs）407 408

e:\software\python36\lib\site-packages\multipledispatch\dispatcher.py in call (self, *args, **kwargs) 276 self._cache[types] = func 277 try: --> 278 return func(* args, **kwargs) 279 280 MDNotImplementedError 除外：

e:\software\python36\lib\site-packages\odo\into.py in Wrapped(*args, **kwargs) 41 raise TypeError('dshape argument is not an instance of DataShape') 42 kwargs['dshape'] = dshape ---> 43 return f(*args, **kwargs) 44 return Wrapped 45

e:\software\python36\lib\site-packages\odo\into.py in into_type(a, b, dshape, **kwargs) 51 如果 dshape 为无：52 dshape = discover(b) ---> 53 返回转换（a，b，dshape=dshape，**kwargs）54 55

e:\software\python36\lib\site-packages\odo\core.py in call (self, *args, **kwargs) 42 43 def call (self, *args, **kwargs): ---> 44返回_transform（self.graph，*args，**kwargs）45 46

e:\software\python36\lib\site-packages\odo\core.py in _transform(graph, target, source, exclude_edges, ooc_types, **kwargs) 55 pth = path(graph, type(source), target, 56 exclude_edges=excluded_edges, ---> 57 ooc_types=ooc_types) 58 try: 59 for (A, B, f) in pth:

e:\software\python36\lib\site-packages\odo\core.py 在路径（图，源，目标，excluded_edges，ooc_types）92 pth = nx.shortest_path（g，源=源，目标=目标，权重= 'cost') 93 结果 = [(src, tgt, graph.edge[src][tgt]['func']) ---> 94 for src, tgt in zip(pth, pth[1:])] 95返回结果 96

e:\software\python36\lib\site-packages\odo\core.py in (.0) 92 pth = nx.shortest_path(g, source=source, target=target, weight='cost') 93 结果 = [ (src, tgt, graph.edge[src][tgt]['func']) ---> 94 for src, tgt in zip(pth, pth[1:])] 95 返回结果 96

AttributeError：“有向图”对象没有属性“边”

所以有什么问题？

以下是我拥有的数据集：

用例：

需要获取每个修订版中提交的属性。
- 如果用户要求:revision#1，A1应退回。
- 如果用户要求:revision#2，A1并且A2应该被退回。
- 如果用户要求，:revision#3只A2应按原样A1返回:reverted。:revision#3

我能想出的最接近的查询在下面，它不起作用：

实际输出：

预期输出：

我明白这个问题。无法提出正确的查询。你们中的任何人都可以帮忙吗？

提前致谢。

我发现 blaze 生态系统* 令人惊叹，因为它涵盖了大多数数据工程用例。在 2015-2016 年期间，这些项目肯定有很多兴趣，但最近被忽略了。我这样说是看 github repos 上的提交。

所以我对社区的问题是

- 2016 年发生了什么导致失去兴趣的事情？

- 是否有其他基于 python 的库已经取代了 blaze？

火焰生态系统：

• Blaze：在不同存储系统上查询数据的接口
• Dask：通过任务调度和阻塞算法进行并行计算
• Datashape：一种数据描述语言
• DyND：用于动态多维数组的 C++ 库
• Odo：不同存储系统之间的数据迁移

参考资料： http ://blaze.pydata.org/

我可以在没有任何 React、Angular 和 Blaze 的情况下使用Meteor.js吗？我想使用我自己的图书馆