git - 从 Git 历史记录中删除敏感文件及其提交

Question

我想在 GitHub 上放置一个 Git 项目，但它包含某些带有敏感数据的文件（用户名和密码，例如 capistrano 的 /config/deploy.rb）。

我知道我可以将这些文件名添加到.gitignore，但这不会删除它们在 Git 中的历史记录。

我也不想通过删除 /.git 目录重新开始。

有没有办法删除Git 历史记录中特定文件的所有痕迹？

score 547 · Accepted Answer

出于所有实际目的，您首先应该担心的是更改密码！从您的问题中不清楚您的 git 存储库是完全本地的还是您在其他地方是否有远程存储库；如果它是远程的并且不受其他人的保护，那么您就有问题了。如果有人在您修复此问题之前克隆了该存储库，他们将在他们的本地计算机上拥有您的密码副本，并且您无法强制他们更新到您的“修复”版本，因为它已从历史记录中消失。您可以做的唯一安全的事情是在您使用过的任何地方将密码更改为其他密码。

有了这个，这里是如何解决它。GitHub 作为 FAQ 准确地回答了这个问题：

Windows 用户注意事项：在此命令中使用双引号 (") 而不是单引号

git filter-branch --index-filter \
'git update-index --remove PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA' <introduction-revision-sha1>..HEAD
git push --force --verbose --dry-run
git push --force

2019 年更新：

这是常见问题解答中的当前代码：

  git filter-branch --force --index-filter \
  "git rm --cached --ignore-unmatch PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA" \
  --prune-empty --tag-name-filter cat -- --all
  git push --force --verbose --dry-run
  git push --force

请记住，一旦您将此代码推送到 GitHub 等远程存储库，并且其他人已经克隆了该远程存储库，您现在就处于重写历史的情况。当其他人在此之后尝试下拉您的最新更改时，他们会收到一条消息，指出无法应用更改，因为它不是快进。

要解决这个问题，他们必须删除现有的存储库并重新克隆它，或者按照git-rebase 手册页中“从上游 REBASE 恢复”下的说明进行操作。

提示：执行git rebase --interactive

将来，如果您不小心提交了一些包含敏感信息的更改，但您在推送到远程存储库之前注意到了，则有一些更简单的修复。如果您上次提交是添加敏感信息的提交，您可以简单地删除敏感信息，然后运行：

git commit -a --amend

这将使用您所做的任何新更改来修改先前的提交，包括使用git rm. 如果更改在历史上更早但仍未推送到远程存储库，则可以执行交互式 rebase：

git rebase -i origin/master

这将打开一个编辑器，其中包含自您与远程存储库的最后一个共同祖先以来所做的提交。在代表带有敏感信息的提交的任何行上将“pick”更改为“edit”，然后保存并退出。Git 将遍历更改，并将您留在一个可以执行以下操作的位置：

$EDITOR file-to-fix
git commit -a --amend
git rebase --continue

对于包含敏感信息的每个更改。最终，您将回到您的分支，并且可以安全地推送新的更改。

score 114 · Accepted Answer

更改密码是个好主意，但是对于从存储库历史记录中删除密码的过程，我推荐BFG Repo-Cleaner，这是一种更快、更简单的替代方案，用于git-filter-branch明确设计用于从 Git 存储库中删除私有数据。

创建一个private.txt列出要删除的密码等的文件（每行一个条目），然后运行以下命令：

$ java -jar bfg.jar  --replace-text private.txt  my-repo.git

将扫描您的存储库历史中阈值大小（默认为 1MB）的所有文件，并且任何匹配的字符串（不在您最近的提交中）将被替换为字符串“***REMOVED***”。然后，您可以使用git gc清除死数据：

$ git gc --prune=now --aggressive

BFG 通常比运行快 10-50 倍，git-filter-branch并且围绕以下两个常见用例简化和定制选项：

删除疯狂的大文件
删除密码、凭证和其他私人数据

全面披露：我是 BFG Repo-Cleaner 的作者。

score 37 · Accepted Answer

如果你推送到 GitHub，强制推送是不够的，删除仓库或者联系支持

即使你在之后强制推一秒钟，也不够，如下所述。

唯一有效的行动方案是：

是什么泄露了像密码一样的可更改凭证？
- 是的：立即修改您的密码，并考虑使用更多的 OAuth 和 API 密钥！
- 没有（裸照）：
  - 您是否关心存储库中的所有问题是否都被核爆？
    - 否：删除存储库
    - 是的：
      - 联系支持
      - 如果泄漏对您非常重要，以至于您愿意让存储库停机以降低泄漏的可能性，请在等待 GitHub 支持回复您时将其设为私有

一秒钟后强制推动是不够的，因为：

GitHub 长期保持悬空提交。

但是，如果您联系 GitHub 工作人员，他们确实有权删除此类悬空提交。

当我将所有 GitHub 提交电子邮件上传到他们要求我删除它的存储库时，我亲身体验了这一点，所以我做到了，他们做了一个gc. 但是，必须删除包含数据的拉取请求：因此，在初始删除后的一年内，该 repo 数据仍可访问。

悬空提交可以通过以下方式查看：
- 提交网页界面：https ://github.com/cirosantilli/test-dangling/commit/53df36c09f092bbb59f2faa34eba15cd89ef8e83 （Wayback machine）
- API：https ://api.github.com/repos/cirosantilli/test-dangling/commits/53df36c09f092bbb59f2faa34eba15cd89ef8e83 （回程机）
然后在该提交处获取源的一种便捷方法是使用下载 zip 方法，该方法可以接受任何参考，例如：https ://github.com/cirosantilli/myrepo/archive/SHA.zip
可以通过以下方式获取丢失的 SHA：
- 使用列出 API 事件type": "PushEvent"。例如我的：https ://api.github.com/users/cirosantilli/events/public （Wayback 机器）
- 有时更方便的是，通过查看试图删除内容的拉取请求的 SHA
有像http://ghtorrent.org/和https://www.githubarchive.org/这样的抓取工具会定期汇集 GitHub 数据并将其存储在其他地方。

我找不到他们是否抓取了实际的提交差异，这不太可能，因为会有太多数据，但在技术上是可行的，并且 NSA 和朋友可能有过滤器来仅存档与人或感兴趣的提交相关的内容。

但是，如果您删除存储库而不是仅强制推送，则提交确实会立即从 API 中消失并给出 404，例如https://api.github.com/repos/cirosantilli/test-dangling-delete/commits/8c08448b5fbf0f891696819f3b2b2d653f7a3824这行得通即使您重新创建另一个具有相同名称的存储库。

为了测试这一点，我创建了一个 repo：https ://github.com/cirosantilli/test-dangling并做了：

git init
git remote add origin git@github.com:cirosantilli/test-dangling.git

touch a
git add .
git commit -m 0
git push

touch b
git add .
git commit -m 1
git push

touch c
git rm b
git add .
git commit --amend --no-edit
git push -f

另请参阅：如何从 GitHub 中删除悬空提交？

git filter-repo现在官方推荐过git filter-branch

git filter-branchGit 2.5 本身的手册页中提到了这一点。

使用 git filter repo，您可以使用以下命令删除某些文件：从 git/GitHub 的历史记录中删除文件夹及其内容

pip install git-filter-repo
git filter-repo --path path/to/remove1 --path path/to/remove2 --invert-paths

这会自动删除空提交。

或者您可以将某些字符串替换为：如何替换整个 Git 历史中的字符串？

git filter-repo --replace-text <(echo 'my_password==>xxxxxxxx')

score 19 · Accepted Answer

我推荐大卫安德希尔的这个剧本，对我来说就像一个魅力。

它在 natacado 的 filter-branch 之外添加了这些命令，以清理它留下的混乱：

rm -rf .git/refs/original/
git reflog expire --all
git gc --aggressive --prune

完整脚本（全部归功于 David Underhill）

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter \
"git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch
# otherwise leaves behind for a long time
rm -rf .git/refs/original/ && \
git reflog expire --all && \
git gc --aggressive --prune

如果更改为以下命令，最后两个命令可能会更好地工作：

git reflog expire --expire=now --all && \
git gc --aggressive --prune=now

score 18 · Accepted Answer

您可以使用git forget-blob.

用法很简单git forget-blob file-to-forget。你可以在这里获得更多信息

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

它将从您的历史记录、reflog、标签等中的所有提交中消失

我时不时地遇到同样的问题，每次我必须回到这篇文章和其他文章时，这就是我自动化这个过程的原因。

感谢 Stack Overflow 的贡献者，让我把这些放在一起

score 13 · Accepted Answer

这是我在 Windows 中的解决方案

git filter-branch --tree-filter "rm -f 'filedir/filename'" HEAD

git push --force

确保路径正确，否则将无法正常工作

我希望它有帮助

score 9 · Accepted Answer

使用过滤器分支：

git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch *file_path_relative_to_git_repo*' --prune-empty --tag-name-filter cat -- --all

git push origin *branch_name* -f

score 8 · Accepted Answer

需要明确的是：接受的答案是正确的。先试试看。但是，对于某些用例，它可能会变得不必要地复杂，特别是如果您遇到令人讨厌的错误，例如“fatal: bad revision --prune-empty”，或者真的不关心您的 repo 的历史。

另一种选择是：

cd 到项目的基础分支
删除敏感代码/文件
rm -rf .git/ # 从你的代码中删除所有 git 信息
转到 github 并删除您的存储库
按照本指南将您的代码像往常一样推送到新的存储库 - https://help.github.com/articles/adding-an-existing-project-to-github-using-the-command-line/

这当然会从您的 github 存储库和本地 git 存储库中删除所有提交历史记录分支和问题。如果这是不可接受的，您将不得不使用另一种方法。

将此称为核选项。

score 4 · Accepted Answer

在我的 android 项目中，我在app/src/main/res/values/文件夹中将 admob_keys.xml作为单独的 xml 文件。为了删除这个敏感文件，我使用了下面的脚本并且工作得很好。

git filter-branch --force --index-filter \
'git rm --cached --ignore-unmatch  app/src/main/res/values/admob_keys.xml' \
--prune-empty --tag-name-filter cat -- --all

score 3 · Accepted Answer

迄今为止，我不得不这样做几次。请注意，这一次仅适用于 1 个文件。

获取修改文件的所有提交的列表。底部的那个将是第一个提交：

git log --pretty=oneline --branches -- pathToFile
要从历史记录中删除文件，请使用第一个提交 sha1 和上一个命令中的文件路径，并将它们填充到此命令中：

git filter-branch --index-filter 'git rm --cached --ignore-unmatch <path-to-file>' -- <sha1-where-the-file-was-first-added>..

score 2 · Accepted Answer

所以，它看起来像这样：

git rm --cached /config/deploy.rb
echo /config/deploy.rb >> .gitignore

从 git 中删除跟踪文件的缓存并将该文件添加到.gitignore列表中

git - 从 Git 历史记录中删除敏感文件及其提交

11 回答 11

Related

Reference