0

我有一个问题，我很困惑。我刚毕业，开始在一家公司工作，文本文件中有很多旧数据，所以我使用 Python 组织了所有这些数据，并生成了一个 Excel 文件。所以情况不错。

问题，对于来自不同开发人员的传感器的新传入数据

  1. 大多数使用 VB 脚本的人，人们使用分隔符 (, 和 |) 测试数据并将数据保存在文本文件中。

  2. 其他一些用 C# 开发项目的人，这些人得到了一些不同类型的具有不同分隔符的文本数据（: 和 ,）

我必须设置数据库的问题，我怎样才能将所有这些开发人员数据自动输入数据库，对于这些文本数据，我已经为其创建了列名和结构。

我是否需要为所有这些开发人员开发单独的界面，或者是否有任何我必须关注的通用界面，或者从哪里开始仍然缺乏我。

我希望那里的人能理解我的情况。

最好的问候维诺德

4

4 回答 4

0

由于您尝试从不同来源获取数据，并且您使用的是 SQL Server，因此您可以查看 SQL Server Integration Services (SSIS)。您基本上会创建 SSIS 包，每个传入数据源一个，并将数据传输到一个同构数据库中。

于 2018-12-13T15:59:30.790 回答
0

这些类型的实现和设计模式实际上取决于您的公司和您正在工作的开发环境。

至于选择正确的数据库，这还取决于数据类型、速度、数量以及贵公司希望使用该数据回答的常见问题。

一些非常一般的指导方针：

  1. 原理图数据库不同于“NoSQL”数据库
  2. 在文本中搜索与搜索更简单的原始类型不同，您必须知道您将要做什么！
  3. 如果可以的话，将 VB 脚本和 C# 文本文件转换为流行的数据结构文件（即 JSON、CSV（逗号分隔的文本文件相同））可能会帮助您将数据存储在几乎任何数据库中。
  4. 为每个数据提供者实现特定接口没有对错之分，这取决于所涉及的替代方案和您的编码风格
  5. 与他人协商并准备好案例研究！

希望这有帮助

于 2018-12-13T15:10:32.533 回答
0

我不知道你们公司的情况，但是 PDI（Pentaho 数据集成工具，对数据的转换很有用。社区版是免费的！

但是，如果您将它们生成到 excel 文件中，如果您的数据相对较小，Power Query 可能是该项目的更好工具。

于 2018-12-13T21:45:37.797 回答
0

您应该考虑使用 Excel 的 Power Query 工具。您可以从多个位置获取几乎任何文件类型（包括文本文件），轻松清理和转换数据（您可以随意区分），并且存储基本上是无限的，而不是常规的 Excel 电子表格，最大约为 140 万行。

于 2018-12-13T15:29:47.513 回答