问题标签 [hidden-characters]

我有一个简单的 HTML 片段，我将其复制并粘贴到 Dreamweaver 中。出于某种原因，在复制和粘贴过程中，我发现了这个奇怪的​字符，它不会在 Notepad++ 或 Dreamweaver 中呈现，但会导致浏览器中出现换行符。

我似乎无法摆脱它，甚至无法在文本编辑器中看到它。

有谁知道如何删除这个？

代码

Chrome 控制台

我收到了一个我从未见过的格式的数据文件。数据似乎不是在列中，而是在一个长行中。我可以打开文件Notepad并查看数据。因此，数据似乎没有被加密。

当我在数据行中打开数据文件时，当我猜测数据达到单行允许的最大字符数时Notepad，数据会回绕到窗口的左侧，然后数据在新行中继续。NotepadNotepad

当我在Notepad. 这些行之一中的数据与其上方或下方的行中的数据不对齐。

以下是一些示例数据：

请注意，当我在此处粘贴示例数据（代表 中的一行）时Notepad，这些列“神奇地”对齐。

我发现我可以在其中打开数据文件Excel并且数据也对齐。但是，我确实需要手动分配列边界Excel。并且Excel不允许我分配超出或多或少字符空间 123 的列边界。

下面是SAS读取数据文件的代码，尽管此SAS代码不能正常工作。相反，我猜这段SAS代码会跳过一些数据行。请注意，该变量TT涵盖了 125-207 个字符空间，但大多数行中只有 120 个字符。某些行中有超过 120 个字符。我怀疑行之间字符数的差异是 SAS 无法正确读取此数据文件的原因。

如果我使用右箭头键一次将光标向右移动一个字符在第一行数据上，我必须按右箭头键两次才能移动超出字符空间 120 in Notepad。

所有这些都告诉我数据文件中存在隐藏字符，用于识别一行数据的结尾。

我打开数据文件Vim希望看到这些隐藏的字符，但什么也没看到。 Vim我打开文件时确实正确对齐了列。所以，Vim一定是看到了这些隐藏的行尾字符。

我自己如何才能看到这些行尾字符？我怀疑有一个选项Vim可以显示隐藏的字符。

如何确定创建此数据文件的应用程序？

如何修改上述SAS代码以正确读取此数据文件？

使用：Unix 2.6.18-194.el5

我遇到了这个连接语句从匹配中省略值/索引的问题。我发现这些值在 11-90 之间（大约 350 万个条目中），我试图寻找外来字符，但我可能忽略了一些东西（尝试 cat -v 来查看隐藏字符）。

这是我正在使用的连接语句（仅出于安全考虑简化了输出列）：

file1 内容（前 20 个值）：

1 3 7 11 12 16 17 19 20 21 27 28 31 33 34 37 39 40 41 42

file2 内容（前 50 个值，以便您可以看到匹配的位置）：

1|美国 2|美国 3|美国 4|美国 5|美国 6|美国 7|美国 8|美国 9|美国 10|美国 11|美国 12|美国 13|美国 14|美国 15|美国 16|美国 17|美国 18|美国 19|美国 20|美国 21|美国 22|美国 23|美国 24|美国 25|美国 26|美国 27|美国 28|美国 29|美国 30|美国 31|美国 32|美国 33|美国 34 |US 35|US 36|US 37|US 38|US 39|US 40|US 41|US 42|US 43|US 44|US 45|US 46|US 47|US 48|US 49|US 50|US

从我最初的测试来看，file2 似乎是罪魁祸首。因为当我创建一个值为 1-100 的新文件时，我能够让 join 语句与 file1 完全匹配；但是相同的文件不会与 file2 匹配。

另一个奇怪的事情是，该文件有 350 万条记录，并且在值为 90 时它们再次开始匹配。例如，fileJoined 的输出如下所示（仅前 20 个值）：

1|1 3|3 7|7 90|90 91|91 92|92 93|93 95|95 96|96 97|97 98|98 99|99 106|106 109|109 111|111 112|112 115| 115 116|116 117|117 118|118

我尝试过的其他事情是：

1. 使用 vi 手动输入新的第 11 行（在 join 语句上仍然不匹配）
2. 将代码复制到记事本中，删除 vi 中的行，然后将它们复制回（结果相同，没有匹配的 11-90）
3. 删除第 11-90 行以查看问题是否转移到 90-170 并且它没有转移

我认为我可能缺少一些隐藏的值，或者 file1 中的 11 - 90 与 file2 中的 11 - 90 不是同一个二进制等效项？

我在这里迷路了，任何帮助将不胜感激。

你们中的许多人可能遇到过剪切和粘贴一些代码的问题，随之而来的是一些隐藏的字符，通常会导致可怕的UNEXPECTED_TOKEN_ILLEGAL

Webstorm 中有没有办法显示/隐藏不可见的字符？

我想将一些东西从一个 php 站点发送到另一个站点。在第一个站点，一切似乎都很好。字符串看起来像

--show="作者、书籍、文本/n

但是当我收到后检查字符串时，它看起来像

--show="作者、书籍、文本/r/n

有问题，不知何故它/r最终添加了。

第一个php：

第二个php：

所以选择显示它正确，但如果我检查第二个 php 中的 $data，那就错了。

我刮掉了下面的链接，我想使用 Python 处理文本以进行进一步分析。有争议的部分是“kwa vimada wake”。我想得到与它打算显示的方式相对应的文本（并且确实显示在我的浏览器上），如“kwa vimada wake”。但是，“vimada”周围有隐藏字符，如果您将文本复制并粘贴到像Notepad ++这样的程序中，您可以看到这些字符。这些与我的标记化和 NLP 处理混淆（例如，POS 标记器无法识别该单词）并且似乎在我的脚本和其他程序之间不一致（在使用机器学习然后将结果加载到我的脚本中之后，我最终与 vimadaÃ，它无法与 vimada� 匹配）。

该网页似乎使用 UTF-8 编码，我的文件使用 UTF-8 编码保存。如果我能解决这个问题并消除任何奇怪/隐藏的字符，我就不会有文件间的一致性或将其用作 NLP 工具的输入的问题。

我的脚本使用 # - - 编码：utf-8 - -

我更愿意使用我已经下载的文本，因为对站点的安全更改使得重新抓取它变得不切实际。我的数据库将其保存为“kwa âvimadaâ wake”。开始/结束字符在 Notepad++ 中分别显示为三个字符：[â][PAD][SOS] 和 [â][PAD][SGCI]。

我想删除 unicode 空白/隐藏字符并将所有标点符号变体（如撇号、引号、连字符等）转换为它们的 ASCII 等价物。我宁愿保持重音字符不变。但是，目前并非所有重音字符都被正确解释。有些编码不正确，有些可能是由于软件更改而在网站上更改并显示为 é 之类的 html 代码。因此，简单删除一类字符不会正确清理数据。我正在使用python 2.7。

http://www.jamiiforums.com/threads/rais-dhaifu-ccm-uchaguzi-2015.459292/#post-6461865

我的数据集中有以下不可见字符

我相信是这个角色

http://www.fileformat.info/info/unicode/char/0008/index.htm

我该如何删除这个？我试过了

UPDATE events SET `value` = TRIM(REPLACE(`value`, CONVERT(char(8) USING hp8), ''))

我发现 PowerShell 字符串有一些不寻常的地方......我希望这只是我所缺少的。这是我发现的。

我从网页复制了一些数据（如果有人关心，KQL 会搜索 O365），它包含隐藏的控制字符。这是我将它们存储在 PowerShell 变量中的两行：

第二行在“（c：c）”和“（date”之间有两个隐藏字符（Unicode字符8206）。我相信它们仍然存在于这篇文章中。因此，两个字符串具有不同的长度：

然而，当我检查它们是否彼此相等时，PowerShell 告诉我它们是：

现在，我知道它明白那里存在差异。我可以使用 substring 方法拉出一些字符，并显示子字符串不相等：

如果我使用 -eq 运算符比较这些子字符串，我会得到正确的答案：

但是，如果我通过更改我抓取的字符数来强制字符串显示相同，因此我得到相同的 6 个可见字符，那么 PowerShell 会告诉我它们是相等的：

那么，这是预期的行为吗？我错过了什么吗？我已经编程了足够长的时间，以至于我知道字符串处理可能很奇怪……但这超出了我的个人经验。

如果这是预期的行为，我如何正确比较两个字符串变量以查看它们是否完全相同？

我有一堆凌乱的 JSON 数据要导入到我的数据库中（用于进一步的目的）。当我检查它们（在文本编辑器中打开）时，它们包含许多奇怪的（乱码）字符，例如：

• \u00a0

例如data.json：

然后，显然，下面的代码根本行不通：

不管这些角色是为了什么，我怎么能摆脱它们呢？

我编写了一组将数据解析为 .json 文件以上传到 ArcGIS 的模块。一切都很好，除了当我尝试上传 .json 文件时，它崩溃并说有意外的字符。在记事本中打开 .json 时看不到任何字符。我试过简单地重新保存文件。我已将数据写入 .txt 文件并更改了扩展名。我已经把数据删掉了，保存了空文件，然后把它粘贴回去了。

唯一可行的方法是：打开目标 .json 文件，将数据复制到 new.txt 文件中，关闭目标 .json 文件，然后将 new.txt 文件保存为目标 .json 文件。这解决了这个问题，但它非常耗时，因为我必须处理 24 个 .json 文件。

这是我的代码：