所有问题

0 投票
2 回答
874 浏览

amazon-athena - AWS Athena - 查询从 Glue 爬虫生成的大型外部表?

我在 aws s3 上有大量历史日志文件,总计数十亿行,

我使用带有 grok 反序列化器的胶水爬虫在 Athena 上生成外部表,但事实证明查询它是不可行的。

我的查询已超时,我正在尝试寻找另一种处理这些数据的方法。

据我了解,通过 Athena,外部表不是实际的数据库表,而是文件中数据的表示形式,并且查询是在文件本身而不是数据库表上运行的。

我怎样才能把这个大数据集变成一个查询友好的结构?

编辑1:为澄清起见,我对重塑此处的日志文件不感兴趣,这些文件已得到处理。相反,我想要一种方法来处理我在 s3 上拥有的当前文件库。我需要查询这些旧日志,在当前状态下这是不可能的。我正在寻找一种将这些文件转换为最佳格式或利用当前外部表进行查询的方法。

现在,默认情况下,外部表仅按日期和实例进行分区,我的 grok 模式将格式化的日志分解为更多列,如果可能的话,我希望在这些列上重新分区,我相信这会让我的查询跑得更容易。

0 投票
1 回答
28 浏览

javascript - 如果我将运算符声明为变量,我可以执行此命令模式吗?

这是我的代码:

这是我所做的命令模式,但我认为它是否可能是这样的命令,或者您声明运算符要在依赖于操作之后执行的东西:

我的问题是这是可能的还是第一个代码是好的?

因为我看到命令中的所有函数都非常相似,函数的唯一变化是操作符

0 投票
0 回答
13 浏览

python - Python Threading Tkinter:为什么线程的第二次启动无法正常运行?

我正在尝试学习如何在终端中工作时托管第二个帮助窗口来托管一些数据。其中一部分涉及定期更改窗口的内容,我希望第二个窗口不要阻塞主进程。所以我希望能够将 tkinter 文本作为线程启动。

以下是我目前拥有的。第一次调用启动线程时,tkinter 文本框出现,一旦关闭,线程就会加入。在第二次启动时,没有创建窗口,您可以看到从未调用过“启动后”。有谁知道我做错了什么?谢谢!

0 投票
2 回答
73 浏览

c++ - C++:为什么我必须添加一个布尔表达式?

代码是:

为什么会出现这些错误?这段代码不断出错,我的教授说我应该添加一个布尔表达式。但我不知道为什么以及在哪里添加它?

0 投票
2 回答
731 浏览

swiftui - 在 SwiftUI 中从 macOS 上的列表中删除项目的鼠标手势是什么?

我不明白如何在 macOS 上删除或移动项目。我需要对鼠标执行什么操作才能触发onDeleteonMove事件?

0 投票
1 回答
72 浏览

python - 你可以同时运行 python wikipedia api 多次吗?

我有一个所有维基百科文章的列表,我想抓取一个身体用于研究目的。我的脚本运行良好,但以目前的速度,这将需要 40 天。

我的问题是:

我可以运行这个脚本吗,比如说在不同的终端窗口中并行 10 次。如果我只是这样设置:

脚本1:起点:0 终点:len(list)/10

脚本2:起点起点:len(list)/10 终点:len(list)/(10*2)

...

脚本 10

等等。

这可能会给我留下 4 天的时间,这在我看来是合理的。

我的方法有效吗?有更好的方法吗?

谢谢。

0 投票
2 回答
227 浏览

oracle - 如何使用oracle编写查询以在同一表中以不同的别名列名在一行中显示两行

我需要用不同的列名显示同一张表中的两行。一个作为当前列,另一个作为以前的列。如何在一行中显示它。

0 投票
2 回答
35 浏览

r - 将字符转换为 R 中的时间(“2019-09-24D00:00:03.384309000”)

我正在尝试将一些文本数据转换为时间。我知道转换2019-09-24 00:00:03为时间格式的方法,但我想将更高频率的数据转换为时间。

一些观察结果如下所示:

我找到了一些可以转换此数据的 Python 代码:

数据:

0 投票
1 回答
128 浏览

validation - Angular 7 - 当用户在输入字段中输入时,如何使实际值大写?

目前,当用户在输入字段中输入时,我有一个 CSS 属性,可以将文本转换为大写。但是在验证方面我遇到了一些问题。

例如,如果要求用户确认他们的电子邮件地址并且他们将一个字段中的值复制并粘贴到下一个字段,则它告诉他们电子邮件不匹配。

我怀疑输入的实际值是小写的,而他们粘贴到确认输入中的值是大写的,因此不匹配(我可能是错的,但这不是我目前要解决的问题。

当用户仅使用角度 7 键入时,如何使文本输入字段值全部大写?

我的css文件包含:

我的电子邮件字段的 HTML 如下:

在我的反应形式的 TS 文件中

还有我的 MustMatch 自定义验证器

0 投票
3 回答
329 浏览

angular - 组件或服务上的角度本地存储?

我正在使用 Angular8 并尝试制作登录表单。

我有一个 auth.service 我正在使用发布请求发送登录信息

auth.service.ts

我有一个 login.component 它将获取表单数据并将其发送到服务

登录组件.ts

我的问题是,在组件中、订阅中、获得成功的地方使用本地存储是否可行,或者是否应该在服务中?

如果它在服务中更安全,我怎样才能让它只在登录成功时设置令牌?

谢谢

0 投票
3 回答
55 浏览

r - 如何获取列中每个值的计数?

我有一个包含比这更多列的大型数据集,但出于此问题的目的,我将对其进行简化。

种族 | 问题ID | 响应 ID

我想使用 R 来查找特定种族的特定问题的答案计数。即 Ethnicity=="Asian", QuestionID==10, ResponseID==2

我该怎么做呢?

我尝试使用 plyr 库和以下代码:

但我得到的只是这个,这并不是我想要的。

在此处输入图像描述

在你激怒我之前,我已经看了好几个小时了,我实在是太菜鸟了,不知道该搜索什么。请帮助:(

0 投票
2 回答
315 浏览

javascript - 如何在 Vue 中正确实现 html/css/js 主题?

我有一个由 HTML、CSS 和 Javascript 组成的引导主题。现在,我想在 Vue 中实现它(或者说让它起作用)。我有包含容器的 index.html 文件,它可以工作。现在,我的主题也有一个 index.html 文件。我只是想我可以将整个文件复制到 Vue-index.html 并在更改内容的区域周围添加 ID 为“app”的 div。但它不起作用。基本上,即使我正确引用了它们(相对引用使用点:./assets/css/style.css),Vue 也不会加载任何外部 css 或 js 文件。它在 .vue 文件(即组件)内工作,但不在 index.html 内。我做错了什么?

是的,这里是初学者。

0 投票
0 回答
31 浏览

oracle - 无需轮询即可广播最新数据

我有一个使用 Oracle 12c 的非常敏感的应用程序,只要表上有插入/更新,我就需要向其他系统发送通知。我知道实现的方法是

  1. 定期轮询表。
  2. 在表上放置一个触发器以进行插入/更新。在这两种情况下,我都担心数据库上的额外负载。
  3. 使用 GoldenGate 将数据复制到另一个数据库并不断从中进行轮询,这样我就不必担心开销。
  4. 不确定物化视图..如果每 1-2 秒刷新一次,它可以轻量级吗?

是否有任何人都可以建议的程序化替代方案(轻量级)。

0 投票
2 回答
58 浏览

html - 如何为将来的内容更改组织 html 图像源

我在 html 中有一定数量的图像,每个图像都带有一些文本和/或过渡。每组 img 和其他任何内容(文本、视频等)都在 div 内,以允许和简化定位。此外,每个图像都像杂志或书籍一样编号。让我们说有 30 页的争论。

然后从艺术部门,我收到一个新页面,这将是第四页,将后面的页面再移一页。此外,对于组织机构,img 文件也被重命名(即 img-20-jpeg 现在是 img-21-jpeg)

我正在寻找一种方法来避免在 html 和 css 中手动重命名每个 div、img、段落的类。

我试图忽略 img 源中的实际数字,并通过 nth-child 选择器将 css 样式引用到每个“页面”。此外,我试图将每组文本、效果等...与它的中间“页面”父级关联起来 ~.

到目前为止,我只在史诗般的头痛中取得了成功。

0 投票
3 回答
3951 浏览

python - 在特定时间运行 Python

我正在开发一个 Python 程序。它需要每 15 分钟运行一次。它目前在再次运行之前等待 870 秒(14.5 分钟),但随着完成操作所需的时间不同,有时它会在距离上次运行 15 分钟之前运行,有时在 15 分钟之后运行。

我这部分的代码目前如下所示:

有没有办法让它在xx:15、xx:30、xx:45、xx:00运行,其中 xx 是从 00 到 23 的每小时?

对不起,如果我在这里感到困惑。感谢您提前提供任何帮助。

0 投票
1 回答
263 浏览

reactjs - Typescript 使用扩展运算符引发错误

我有以下简单的 React 组件:

当我现在以这种方式调用组件时,它可以正常工作:

但是当我使用扩展运算符传递道具时,出现以下错误。

类型“字符串”不可分配给类型“灰色”| “危险” | “成功” | “牌”'

我觉得它应该可以正常工作,但我不知道它为什么会失败。这是对 Typescript 工作原理的误解吗?

0 投票
1 回答
143 浏览

git - Git:如何恢复/撤消大规模合并?

首先,我知道 StackOverflow 中已经有大量与合并相关的答案。我只是花了一个小时的大部分时间梳理他们试图弄清楚这一点......

我的问题是我有一个非常古老的分支,分支 A(比如从 2​​017 年开始)。我想更新它,所以我从 master 合并(它是最新的,大约 2019 年)并推送。这为历史添加了大量的提交。在我需要用分支 B 而不是 master 更新分支 A 之后,有人告诉我......我怎样才能摆脱 master 合并并将分支 A 返回到其原始状态?

也许我应该只使用“git revert X”并吃掉它会留下的可怕历史?

我见过的大多数答案都提到在合并之前检查“最后一次已知的良好”提交,但我不知道提交哈希,并且历史从我的合并中现在已经存在多年的提交。我确实知道我的合并提交的提交哈希 - 我们称之为 X。我的假设是 LKG 提交将是 X^1,我已经用“git log X^1”查看了它。但是,我想在更改分支历史之前确定这是正确的,而且我很难查看围绕 X^1 的提交。

0 投票
0 回答
422 浏览

vue.js - 将 nuxt 谷歌优化模块与谷歌优化一起使用

谁能给我关于如何链接上述内容的建议?我已经设置了一个简单的测试,就像在 nuxt google optimize 示例中一样,但是无法将我设置的变量链接到 google optimize 中设置的变量。

0 投票
1 回答
54 浏览

json.net - Newtonsoft Json 反序列化:选择性日期解析

我试图在反序列化期间有选择地将(仅某些而不是全部)有效日期字符串解析为 DateTimeOffset。有没有人做到这一点?

这是我试图将其反序列化为 JObject 的 Json:

这是我正在使用的反序列化器:

如您所料,这是我返回的 JObject:

但我只想将 SomeDate 反序列化为 DateTimeOffset 并按原样保留 SomeString :

我无法使用自定义转换器装饰 SomeString 属性,因为我正在反序列化为 JObject,因此我没有放置装饰器的类

0 投票
2 回答
1231 浏览

gcp-ai-platform-notebook - 如何在 GCP AI Platform Notebook 上运行 Python 3.6

我的项目有一个需要 python v3.6+ 的依赖项。因此,它在通过 python 3 内核中的 pip 安装期间会引发错误,因为 AI Platform Notebooks 默认附带 v3.5。如何使用最新版本的 python 运行 GCP AI Platform Notebook?

0 投票
2 回答
98 浏览

sql - 使用某些参数查找没有子项的父记录

所以我知道如何找到所有没有子记录的父记录。

但是,如何找到过去 30 天内没有创建子项的所有父记录。我尝试了以下但没有用

他们都没有工作。有任何想法吗?

0 投票
1 回答
31 浏览

python - 只读特定行

我只想读取某些行,例如从 0 到 10 的行,程序应该检查用户输入的数据的正确性。

0 投票
0 回答
25 浏览

python-3.x - 如何在 PyCharm 中导入包名称中包含连字符的已安装包?

我要导入的包是 nflgame-redux==2.0.1a1

我会写:

我得到的错误是:

文件“”,第 1 行 import nflgame-redux==2.0.1a1 ^ SyntaxError: invalid syntax

0 投票
1 回答
124 浏览

java - 清单合并失败问题 android 支持

在我的项目中插入依赖实现后,我收到此错误。

NDK 解析结果:项目设置:Gradle 模型版本=5.4.1,NDK 版本为 UNKNOWN

清单合并失败:来自 [com.android.support:support-compat:28.0.0] AndroidManifest.xml:22:18-91 的属性 application@appComponentFactory value=(android.support.v4.app.CoreComponentFactory) 也存在于[androidx.core:core:1.0.0] AndroidManifest.xml:22:18-86 value=(androidx.core.app.CoreComponentFactory)。建议:将 'tools:replace="android:appComponentFactory"' 添加到 AndroidManifest.xml:18:5-95:19 的元素以覆盖。

包含的依赖项:

我的 build.gradle 看起来像这样:

在此处输入图像描述

如果我删除依赖项导入,错误就会消失。我需要有问题的依赖项才能读取二维码。

我阅读了下面的帖子,但没有一个解决方案对我有用。

NDK 解析结果:项目设置:Gradle 模型版本=5.4.1,NDK 版本为 UNKNOWN 错误

0 投票
1 回答
97 浏览

apache-spark - 火花减少如何在这里工作

对于这个例子,spark reduce 是如何工作的?

我了解第一个结果(1 + 2 + 3 = 6)。对于第二个结果,我认为结果会是 60,但事实并非如此。有人可以解释吗?

更新:根据 Spark 文档:

该函数应该是可交换的和关联的,以便可以并行正确计算。

https://spark.apache.org/docs/latest/rdd-programming-guide.html