2

我通过 Spark 将一些日志文件放入 sql 表中，我的架构如下所示：

|-- timestamp: timestamp (nullable = true) 
|-- c_ip: string (nullable = true) 
|-- cs_username: string (nullable = true) 
|-- s_ip: string (nullable = true) 
|-- s_port: string (nullable = true) 
|-- cs_method: string (nullable = true) 
|-- cs_uri_stem: string (nullable = true) 
|-- cs_query: string (nullable = true) 
|-- sc_status: integer (nullable = false) 
|-- sc_bytes: integer (nullable = false) 
|-- cs_bytes: integer (nullable = false) 
|-- time_taken: integer (nullable = false) 
|-- User_Agent: string (nullable = true) 
|-- Referrer: string (nullable = true)

如您所见，我创建了一个时间戳字段，我读到的 Spark 支持该字段（据我了解，日期不起作用）。我很想使用像“where timestamp>(2012-10-08 16:10:36.0)”这样的查询，但是当我运行它时，我不断收到错误。我尝试了以下 2 种 sintax 形式：对于第二种形式，我解析一个字符串，所以我确定我实际上以时间戳格式传递它。我使用 2 个函数：parse和 date2timestamp。

关于我应该如何处理时间戳值的任何提示？

谢谢！

1) scala> sqlContext.sql("SELECT * FROM Logs as l where l.timestamp=(2012-10-08 16:10:36.0)").collect 

java.lang.RuntimeException: [1.55] failure: ``)'' expected but 16 found 

SELECT * FROM Logs as l where l.timestamp=(2012-10-08 16:10:36.0) 
                                                  ^

2) sqlContext.sql("SELECT * FROM Logs as l where l.timestamp="+date2timestamp(formatTime3.parse("2012-10-08 16:10:36.0"))).collect 

java.lang.RuntimeException: [1.54] failure: ``UNION'' expected but 16 found 

SELECT * FROM Logs as l where l.timestamp=2012-10-08 16:10:36.0 
                                                 ^
4

4 回答 4

6

我认为问题首先是时间戳的精度，而且我传递的表示时间戳的字符串必须转换为字符串

所以这个查询现在有效：

sqlContext.sql("SELECT * FROM Logs as l where cast(l.timestampLog as String) <= '2012-10-08 16:10:36'")
于 2014-11-24T15:48:10.360 回答
5

你忘记了引号。

尝试使用以下语法：

L.timestamp = '2012-07-16 00:00:00'

或者，尝试

L.timestamp = CAST('2012-07-16 00:00:00' AS TIMESTAMP)
于 2014-11-22T14:21:30.637 回答
2

将时间戳的字符串表示形式转换为时间戳。cast('2012-10-10 12:00:00' as timestamp) 然后你可以将比较作为时间戳，而不是字符串。代替：

sqlContext.sql("SELECT * FROM Logs as l where cast(l.timestamp as String) <= '2012-10-08 16:10:36'")

尝试

sqlContext.sql("SELECT * FROM Logs as l where l.timestamp <= cast('2012-10-08 16:10:36' as timestamp)")
于 2016-11-04T15:21:17.227 回答
0

可悲的是，这对我不起作用。我正在使用 Apache Spark 1.4.1。以下代码是我的解决方案：

Date date = new Date();

String query = "SELECT * FROM Logs as l where l.timestampLog <= CAST('" + new java.sql.Timestamp(date.getTime()) + "' as TIMESTAMP)";

sqlContext.sql(query);

将 timestampLog 转换为字符串不会引发任何错误，但不会返回任何数据。

于 2016-02-09T12:07:57.960 回答