问题标签 [datafeed]

我正在研究管理每周数据馈送到第 3 方 OLAP 服务的最佳实践。分析数据库将使用完整的数据转储进行初始化。随后的每周提要将提供新的和更新的行。数据来源于 SQL Server 2005 数据库。

检测新行和更新行的首选方法是什么？

1. 在插入和更新时触发修改日期字段，并获取大于上次提要提取的日期；或者

2. 源表上的时间戳列，并抓取时间戳大于上次提要提取的行；或者

3. 一些我没想到的好主意……

我仍在编写我的财务软件：P 并且终于获得了可靠的真实数据实时数据馈送，我目前将其实时存储到我的 SQL Server 数据库中。

与股票市场一样，时间就是一切，我想知道如何让我的客户端机器在数据库插入时收到通知？有时数据库上每秒可能有多达 200 次更新，而有时每分钟不到 1 次。

我将如何实现一个系统，在我的客户端应用程序（Windows Forms C#）在同一位置的服务器上更新我的数据库时，我的客户端应用程序（Windows Forms C#）将立即收到新数据及其数据的通知，而不会延迟（毫秒时间）？

我需要一个线程来不断地询问我的数据库吗？会不会是负担太大了？客户端和数据库的 TCP/IP 套接字？

我想我必须写一些像数据馈送这样的东西？？？我将如何去开发这样的东西？？？？

谢谢

大卫

有谁知道如何获取适用于从Yahoo获取货币对的日期范围？下面的代码可以很好地捕获所需的最新费率吗？我正在寻找一系列日期的相同信息的完整时间序列或矩阵。我尝试使用 Mathworks.com 中的示例，但得到下面显示的错误。此代码工作正常：

在哪里

如果我执行一系列日期，我会收到此错误：

谢谢

大多数交易应用程序从支持交易 API 的商业提供商（例如 IQFeed）或经纪公司接收数据馈送。将其存储在本地数据库中是否有好处？日内数据馈送的规模非常庞大，数据库将随着 50 只股票的 1 分钟数据呈指数增长，更不用说逐笔数据了。我怀疑这对于数据库备份来说将是一场噩梦，并且可能会影响性能。

如果您在 DVD 或在线文本文件中获取历史数据，那么将其存储在数据库中是唯一合乎逻辑的选择，但如果您通过 API 获取它仍然是一个好主意吗？

我想记录来自应用程序的数据馈送。我正在考虑一个简单的序列图，顶部有两个系统框和一个表示每个传出数据馈送的箭头

最好的 UML 图是什么？

我正在基于 OpenIcecat（Icecat 开放目录）构建产品目录，我正在寻找可能有此经验的人的建议，或者可能有其他类似服务经验的人（可能像 C-Net）。

我的问题是，填充产品目录数据库的好模型是什么？

这是我到目前为止...

1. 我 GET 整个目录的 XML 提要
2. 我根据类别 ID 提取有关我需要的产品的数据
3. 此时，我将所有数据插入到一个表中，所以现在我有一个类似“打印机猫”的表，其中包含图像的 URL 和类别中每个产品的 XML 的 ID……很简单

这是我遇到问题/关注的地方...我发现很容易为每个 XML 文件和图像使用 GET 请求的临时脚本...然后可以将它们转储到目录中，但是 Icecat 不希望您非常大量。我的类别包含数千种（例如超过 4 万种）产品。

我觉得我需要做的是获取产品的 XML 并获取图像并存储它们。我有这种感觉是因为这是一个显而易见的解决方案，而这正是客户不断要求的……但这并不意味着它是正确的。所以，然后我可以解析单个 XML 以将描述、SKU 等提取到一个表中，这样我就可以构建目录，例如用于 Magento，稍后根据需要添加/更改等（价格、相关产品等）。 ) 似乎很容易，但是在大约 3-4k GET 请求之后，我被启动了，因为我正在抓取大量数据，一旦我拥有了整个目录（我想要的类别目录），那么获取更新就很容易了文件（XML .. 比较小）并相应地进行更改...这将是一个很好的点，但首先需要获取所有数据并首先构建产品表。

所以这就是我踢的...

一种想法是根据需要实时获取数据，但这不是客户或我自己所希望的。客户想要目录，可以理解......我注意到实时会增加性能影响并且不会（轻松地）插入许多解决方案。但是，扩展“实时”的想法……使用 XML 数据的实时 GET，然后按照一些逻辑存储数据，例如“如果本地不存在……去获取它然后存储”它; 如果它在本地存在然后检查它是否是最新的信息......如果不更新它......当然如果我要检查它是否是最新的那么存储真的没有意义数据，因为我每次都在做一个请求，无论如何......不妨把它拿下来扔掉，这似乎效率低下。

-或者-

也许一切都是实时的：产品是实时获取和显示的，当管理员查看产品以进行操作时，它会实时呈现，等等。总是根据元数据实时获取需要的东西已经从“主”目录文件中填充的数据库......描述了 Icecat 提供的整个目录，但这不会插入许多解决方案并且会影响性​​能，而且一些主机不会让我们无论如何都要得到...这里有很多限制，但听起来像是一个糟糕的解决方案，以确保您始终拥有超级最新的信息（虽然这里不需要）

这就是我已经要去的地方了……

我有基于主目录的元数据（超过 50 万个项目）。我已经根据所需的类别填充了表格......现在我正朝着这个方向前进：构建一个可以更好地完善我正在使用的应用程序（工具），例如单个类别。然后生成一个作业“使用类别 ID 并获取所有 XML 提要”......然后“使用 cat.ID（可能再次相同）然后获取图像”......然后，使用相同的 Cat。通过抓取 SKU、Desc.、Image 文件名等 ID 和构建产品并构建目录。在工作流程的这一点上，我拥有所有信息并且可以使用 SKU（或需要的东西）从其他提要中获取价格等，操纵描述，如果需要（SEO）或其他任何东西重命名图像。

然后我需要建立一个模型来更新来自不同提要的价格和运输重量......在这种情况下是 Synnex，但似乎更容易，因为运输和价格应该是实时的......所以不同的故事和更少的数据一次，只有我在想的购物车里的东西。

仍然不确定如何去做这件事..据说其他人已经通过翻录 Icecat 存储库为同一个客户建立了这样的目录，但从不为未来的操作等制作/提供工具......这就是我要去的地方。另外，旧目录非常陈旧/陈旧，我从未见过“证据”证明他们确实撕毁了数据并建立了目录，而不是完整的目录。

好的，以帮助解决混乱...

我使用的来源有一个存储库，其中包含许多类别的超过 600,000 种产品。我只需要大约 45,000 种产品（多个类别）。事实上，为每个文件下载 xml 文件需要几个小时，比如每小时大约 1000 个（我们从过去的经验中知道这一点）。

部分问题在于并非每个 XML 文件都完全相同，我们需要来自不同类别的不同信息。这些要求很可能会发生变化（一开始可能会更多）。所以我不能只用一个模式来存储所有这些。一旦下载了 45,000 个（左右）文件，我们只需在未来获取更改/更新。所以我真正想做的是建立一个只包含我们需要的类别的本地存储库，这样我们就可以更有效地使用它们。我们也不打算立即使用相关类别，所以我想要本地文件，以便我们回去时也这样做。

这可能看起来像是重复的，因为那里有相同的问题。

不幸的是，所有这些问题的所有答案都缺少一个细节：状态。

我在哪里可以获得国家、州和城市的列表？

例如，我想要这个：

或者

我不想要这样的东西，它不包括状态：

有什么地方可以得到这种数据吗？

我已经尝试过以下数据源：

• http://www.maxmind.com/app/csv
• http://www.geodatasource.com/world-cities-database/free
• http://developer.yahoo.com/geo/geoplanet/data/

但它们都排除了州。

我正在尝试解析其中包含 ITCH 消息的文件：

http://www.nasdaqtrader.com/Trader.aspx?id=DPSpecs_USEquities#TVITCH ¬ http://www.nasdaqtrader.com/content/technicalsupport/specifications/dataproducts/NQTV-ITCH-V4_1.pdf ¬

每个价格都表示为一个 32 位定点数，具有 18 个整数部分位和 14 个小数部分位。（6 个整数位，后跟 4 个小数位）

例如

我看过 struct 类，但这仅处理整个字节，因为它用于从二进制编码的 c 结构转换。

我查看了 decimal.Decimal 模块，但您似乎只能使用字符串对其进行实例化，并且假设您已经拥有字符串格式的数字。

我目前正在创建一个 CMS，CMS 的主要功能之一是数据馈送系统。该网站将其数据库之一的内容传输到大量列表站点。每个站点都有自己的信息格式规范，我的任务是创建一个后端，该后端可用于为非程序员轻松修改和添加数据馈送。

到目前为止，在我收到的三种文件类型中，XML、CSV 和 TXT。即使在这些文件类型中，也有不同的格式化标准，不同的字段顺序，有些有引号，有些没有，等等。我一直对此感到困惑，这是我的解决方案：

• 每个提要都有一个模板存储在单独的数据库表中。模板将包含提要所需的任何结构（XML、CSV、TXT）和占位符值（例如 {{NAME}}）。然后脚本将遍历每个数据库条目，用变量值替换占位符，并使用正确的文件扩展名保存完成的文档。

我的问题是弄清楚如何使用一个 PHP 文件保存多个文件（可能从另一个 PHP 文件多次调用同一个文件？），此外，如何保存不同的文件类型。基本上，如何设置扩展名并保存文件？

我下载了一个脚本来创建我的产品的 CSV 数据馈送，并且我还想在缩略图中包含一个 url。该代码已经具有产品图片网址的以下内容：

$product_data['ImageURL']=Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA).'catalog/product'.$product->getImage();

所以我试图将其调整为：

$product_data['ThumbnailURL']=Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA).'catalog/product'.$product->getThumbnail();

它显示完全相同的图像网址（不是拇指）。我将如何解决这个问题？

我做了一个var_dump($product);，结果是：

["image"]=> string(18) "/f/i/file_2_18.png" ["small_image"]=> string(18) "/f/i/file_2_18.png" ["thumbnail"]=> string(18) "/f/i/file_2_18.png"

我还需要获取产品的子类别，但我不知道如何调用它。如何查看哪些变量是可能的？例如$product->getPrice或$product->getName？