问题标签 [tokenize]

我有一个非常简单的字符串，我想用 ruby​​ 解析并试图找到最优雅的解决方案。该字符串的格式为 /xyz/mov/exdaf/daeed.mov?arg1=blabla&arg2=3bla3bla

我想要的是： string1: /xyz/mov/exdaf/daeed.mov string2: arg1=blabla&arg2=3bla3bla

所以基本上标记了？

但找不到一个很好的例子。任何帮助，将不胜感激。

我一直在寻找 boost::tokenizer，我发现文档非常薄。是否可以让它标记一个字符串，例如“dolphin--monkey--baboon”，并使每个单词都成为一个标记，以及每个双破折号一个标记？从示例中，我只看到允许使用单个字符分隔符。对于更复杂的分隔符，库是否不够先进？

在 Java 中标记文本文件的最佳方法是什么，如果

1. 我想使用 java.io.Reader，而不是 String
2. 应该返回分隔符吗？

我评估了以下课程：

• java.util.StringTokenizer 满足 [2.]，但不满足 [1.]
• java.util.Scanner 满足 [1.]，但不满足 [2.]
• java.io.StreamTokenizer 似乎相当复杂。

实际上，我不需要分隔符。我只需要知道，如果某个令牌在流结束之前可用，请获取它，并获取该令牌之前的所有内容。应该可以一步一步地重新指定令牌。

我查看了 Apache Commons、Google Code Search 和 Stack Overflow，但没有找到任何东西。

我有一个 .txt 文件，每行都有整数，例如

我想计算文件中数组中值的出现次数。

我的代码摘录是这样的

错误消息是

该文件位于同一目录中。

有人可以帮帮我吗？谢谢

假设我有如下字符串：

除了“DVDPlayer”和“CDPlayer”之外，我知道如何标记驼峰式的。我知道我可以手动标记它们，但也许你可以给我看一个可以处理所有情况的正则表达式？

编辑：预期的令牌是：

我想创建一个函数，它接收一个包含 PHP 文件路径的参数，然后解析给定的文件并返回如下内容：

此函数应返回给定文件中存在的所有类、方法和函数以及所有定义的标识符（抽象、公共、私有、受保护、静态、扩展、接口......）。

我的第一个难题是使用正则表达式来执行此操作，但是这些对注释的表现非常糟糕，即： /* this function returns(max(salary)) */ 如果我想正确支持范围，它会变得非常复杂。

另一种可能的解决方案是使用以下内置 PHP 函数：

但是，这些函数不允许我查看定义类/方法/函数的文件，因此它不是很有用。

我相信 Tokenizer 扩展是我的问题的解决方案，但是我以前从未使用过这个扩展。

我有这行文本，引号的数量可能会改变，例如：

如何获取引号之间的数据？

结果应该是：

comillas
mas, comillas, 把戏
a, 单词, are, comillas

我需要让用户为使用 vsprintf 的函数指定自定义格式，并且由于 PHP 没有 glibc 的 register_printf_function()，所以我必须使用 PCRE 来完成。

我的问题是，什么是匹配 % 后跟任何字符并且之前没有 % 的最佳 REGEXP 以一种可用的方式用于之后的程序化使用？

我能得到的最接近的解决方案是：

哪种方法可行，但是这会被“%%%c”之类的输入“混淆”。我想在一个分组中包含一系列两个 % 符号（即转义），例如：

而不是现在这样做： Array ( 0 => '%%%c' ) 也就是说，我需要保持输入完整，尽管已标记化，以便在处理自定义 printf 后将各个部分连接在一起我在输入中遇到的格式。

谢谢，

弗拉维乌斯

PS：“用户”实际上是另一个程序员。我知道安全隐患。

我必须从两个 txt 文件创建一个 bmp 图像。第一个是 mxn 数组：

* * * * * * * *
mn
c11 c21 .. cm1
...
c1n c2n .. cmn
* * * * * * * *

* * * * * * * *
6 5
.7 .7 .6 1.0 1.2 .1
.9 .3 .7 1.1 .7 .2
1 1.1 1.2 1.3 1.7 .6
.5 .6 .5 .4 .9。 1101
2 .1 .1 .1 2.1 1.1
* * * * * * * *

第二个txt文件是一个色标，像这样

* * * * * * * *
min1 max1 r1 g1 b1
min2 max2 r2 g2 b2
...
minx maxx rx gx bx
* * * * * * * * *

* * * * * * *
0 .5 255 128 64
.5 .75 128 255 32
.75 1.25 64 64 225
01.50 5 128 128 0
* * * * * * * *

所以我必须从这两个文件中读取。我尝试使用 StringTokenizer 类从第一个 txt 文件创建一个数组，但我完全迷路了。从这两个文件中我必须创建一个 bmp 图像。有人可以以某种方式帮助我吗？

我想标记这样的字符串

我不能像这样分裂

知道如何拆分以便获得类似的令牌