perl - perl 中的令牌是什么？

Question

我的任务是打开并读取一个文件，从中删除所有逗号、句号、空格和感叹号。此外，我必须通过将单词作为散列并将出现次数作为值和单词作为键来显示每个单词的单词出现次数。例如，在一个说“Perl Program, Perl Program”的文档中。Perl 和 program 是键，其中值是 n

单词-----计数

Perl--------2

程序---2

指导员已经发布了指示，但他在其中提到，“将线分成标记并存储数组”。如果我知道令牌是什么，我想我可以做到这一点，那么有人可以解释一下令牌是什么吗？

Answer 1

根据维基百科

令牌是一串字符，根据规则分类为符号（例如，标识符、数字、逗号）。

Perl中的token没有特殊含义。

Answer 2

在这种情况下，标记很可能是由特殊字符分解的单词/符号，这将是您应该忽略的所有字符。

这意味着在您的示例中，您将拥有的令牌（按顺序）

Perl
Program
Perl
Program

但在另一个没有间隔的例子中

"Perl!ProgramHello,Name.GoodBye>ASFDKLDJ"

令牌将是

Perl
ProgramHello (even though this is two english words)
Name
GoodBye
ASFDKLDJ

您应该与您的教授澄清您必须拆分令牌的内容。

Answer 3

从一些以空格作为标准单词分隔符的文本文件开始，说明并没有说在删除空格和标点符号时不能替换其他分隔符。