elasticsearch - Retention policy to TFS Code Search Server (Elastic Search)

Question

We have TFS 2017.3 with separate Code Search server.

We have huge TFS DB (about 1.6TB), in the code search server we have 700GB dis space.

After few weeks the disk space running out and the code search not work in the tfs.

After we increase the disk space the search back to work. How can we make retention policy to delete old code search data (index)? we don't want to increased more the disk space.

Answer 1

搜索索引（代码和工作项）分两个阶段工作：

• 批量索引 (BI)，其中对 Collection 下所有项目/存储库中的整个代码和工作项工件进行索引。这是一个
  耗时的操作，并且取决于
  集合下工件的大小。
• 连续索引 (CI)，它处理对工件的所有增量更新（添加/更新/删除）并为它们编制索引。这是基于通知的模型，其中索引器侦听 TFS 事件并根据这些事件通知进行操作。CI 处理几乎所有的更新操作，包括 Project/Repository/Collection 层的 CRUD 操作（例如 Repository 重命名、Project 添加/删除等）。这些 CI 的操作时间将再次取决于增量更新的大小。BI 总是在 CI 之前，即 CI 永远不会在项目/存储库上执行，直到 BI 完成。

如何清理索引数据和重新索引请按照以下步骤操作：

• 暂停所有集合的索引。在 TFS 配置数据库https://github.com/Microsoft/Code-Search/blob/master/PauseIndexing.ps1上运行以下脚本
• 登录到运行 Elasticsearch (ES) 的机器
• 停止 ES 服务
• 删除整个搜索索引文件夹（例如 C:\TfsData\Search\IndexStore 或您配置的任何位置）
• 在 AT 机器上重新启动 TFS 作业代理服务
• 从每个集合 DB 中删除以下表

DELETE FROM [Search].[tbl_IndexingUnit]
DELETE FROM [Search].[tbl_IndexingUnitChangeEvent]
DELETE FROM [Search].[tbl_IndexingUnitChangeEventArchive]
DELETE FROM [Search].[tbl_JobYield]
DELETE FROM [Search].[tbl_TreeStore]
DELETE FROM [Search].[tbl_DisabledFiles]
DELETE FROM [Search].[tbl_ResourceLockTable]

• 重启ES服务
• 在 TFS 配置数据库上运行此脚本： https ://github.com/Microsoft/Code-Search/blob/master/ResumeIndexing.ps1
• 在每个集合上运行此脚本（从正确的 TFS 发布文件夹中选择）： https ://github.com/Microsoft/Code-Search/blob/master/TFS_2017Update2/MissingIndexFolderTriggerCollectionIndexing.ps1
• 首先在较小的集合（存储库数量较少）上尝试最后一个脚本，以便您可以验证索引是否正确发生并且结果是可查询的。

更多详细信息请参阅 MSDN 中的此博客：Resetting Search Index in Team Foundation Server

Answer 2

在删除 ES 文件夹、重新安​​装代码搜索扩展程序后，我能够减小磁盘大小，有时不得不运行MissingIndexFolderTriggerCollectionIndexing.ps1.

但是- 我得出的结论是不值得这样做，磁盘大小正在迅速增长并达到原始大小，所以我没有保存任何东西。

虽然微软建议给 DB 的 35% 的磁盘空间，但这对我们来说是不够的，我们会在磁盘满时增加大小到最后（目前大约是 DB 大小的 45%）。

结论 - 不要触摸 ES，如果磁盘已满，则增加磁盘大小。