我有一个数据库存储产品的详细信息,这些产品取自许多站点,并通过各个站点的 API 收集。当我调用提要时,详细信息存储在数据库表中。
我遇到的问题是,由于卖家在许多网站上列出了完全相同的产品,我最终在我的数据库中有重复的项目,然后当我在网页上显示它们时,会有很多重复项。
问题是该物品没有任何明显的唯一标识符,它具有该物品的特定详细信息(其中可能有很多),然后是卖方对该物品的描述。
我希望该项目显示一次,然后向用户提供该项目在何处列出的详细信息。
在不减慢整个数据库速度的情况下,我如何识别已进入的重复项?然后我将如何从所有重复项中选择一个广告,然后存储该广告显示在哪些其他网站上。
谢谢你的帮助。