2

我想使用 Python 库在 Redshift 中创建 UDF 函数，特别是ua-parser库。

在 Redshift 上使用自定义 Python 库的过程在此处描述http://docs.aws.amazon.com/redshift/latest/dg/r_CREATE_LIBRARY.html

为了获得具有所有依赖项的库，我使用了 aws labs 的PipLibraryInstaller，它应该将所有依赖库放在 S3 上，与常规 pip 命令相同。

但是我不能让 ua-parser 库使用这个命令。

我使用以下命令创建并上传 lib 到 S3

./installPipModuleAsRedshiftLibrary.sh -m ua-parser -s s3://bucket_location -r region_name

然后我使用以下命令创建库

CREATE OR REPLACE LIBRARY ua_parser
LANGUAGE plpythonu
from 's3://bucket/ua-parser.zip'
WITH CREDENTIALS AS 'aws_access_key_id=AWS_key;aws_secret_access_key=secret_key'
region 'region_name'

然后我创建了函数：

create function f_user_agent_parse (user_agent varchar) returns varchar IMMUTABLE 
as $$
from ua_parser import user_agent_parser as parser

parsed_string = parser.Parse(user_agent)

return type(parsed_string)
$$ 
language plpythonu;

当我尝试执行以下操作时：

select f_user_agent_parse('facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)') as s

我收到以下错误：

错误：XX000：ImportError：没有名为 _regexes 的模块。请查看 svl_udf_log 了解更多信息

看起来正则表达式不在库中。但是，当我从 S3 下载 lib 并查看它时，我看到以下文件： 在此处输入图像描述

这里有什么问题？我正在做一些事情或者图书馆有问题？

4

2 回答 2

1

实际上问题是我在 Windows 中运行这个命令，但它在 Windows 环境中不起作用。

很奇怪，虽然 Redshift 的原生客户端是 Aginity，它只在 Windows 上运行，但是我们不能使用 Redshift 提供的 Python 功能

于 2016-08-09T12:44:20.930 回答
0

对我有用：

$ python --version
Python 2.7.10
$ pip --version
pip 7.1.2 from /Library/Python/2.7/site-packages/pip-7.1.2-py2.7.egg (python 2.7)

并从以下位置执行脚本aws-labs：

Collecting ua-parser
  Using cached ua_parser-0.7.1-py2.py3-none-any.whl
  Saved /private/var/folders/ty/fw4v8qq54330h_b6tz47c8r40000gn/T/.ua-parser/ua_parser-0.7.1-py2.py3-none-any.whl

但是，我在执行您发布的代码时遇到了另一个问题。
在 Redshift 中执行查询后，我得到：

ERROR:  TypeError: expected string or Unicode object, type found. Please look at svl_udf_log for more information

我return type(parsed_string)改为return parsed_string['user_agent']['family']：

db=# select f_user_agent_parse('facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)'::varchar(200));
 f_user_agent_parse
--------------------
 FacebookBot
(1 row)

里面的文件夹结构ua-parser.zip：

$ unzip ua-parser.zip
Archive:  ua-parser.zip
  inflating: ua_parser/__init__.py
  inflating: ua_parser/_regexes.py
  inflating: ua_parser/user_agent_parser.py
  inflating: ua_parser/user_agent_parser_test.py
  inflating: ua_parser-0.7.1.dist-info/DESCRIPTION.rst
  inflating: ua_parser-0.7.1.dist-info/metadata.json
  inflating: ua_parser-0.7.1.dist-info/top_level.txt
  inflating: ua_parser-0.7.1.dist-info/WHEEL
  inflating: ua_parser-0.7.1.dist-info/METADATA
  inflating: ua_parser-0.7.1.dist-info/RECORD
于 2016-08-03T17:38:53.613 回答