问题标签 [tokenize]

我有一个格式如下的文件名：

system-source-yyyymmdd.dat

我希望能够使用“-”作为分隔符来解析文件名的不同位。

Java有一个方便的拆分方法：

有没有一种简单的方法可以在 C++ 中做到这一点？

我有这样的字符串

我想标记它，但是我不能只在空格上分割。我想出了一些丑陋的解析器，但我想知道是否有人有更优雅的设计。

这是在 C# 中。

编辑：我丑陋的版本，虽然丑陋，是 O(N) 并且实际上可能比使用 RegEx 更快。

在 Java 中遍历字符串字符的一些方法是：

1. 使用StringTokenizer?
2. 将 a转换String为 achar[]并对其进行迭代。

什么是最简单/最好/最正确的迭代方式？

我有一个这样的字符串：

这是[括号测试]“和引号测试”

我正在尝试在 Python 中编写一些东西来按空格分割它，同时忽略方括号和引号中的空格。我正在寻找的结果是：

['this','is','括号测试','和引号测试']

我不确定标题是否很清楚，但基本上我要做的就是从文件中读取一行文本并将其拆分为 8 个不同的字符串变量。每行将有相同的 8 个块以相同的顺序（标题、作者、价格等）。因此，对于每一行文本，我想以 8 个字符串结尾。

第一个问题是该行的最后两个字段可能存在也可能不存在，所以我需要对 stringTokenizer.hasMoreTokens 做一些事情，否则当字段 7 和 8 不存在时它会乱七八糟地死掉。

理想情况下，我希望在 for 循环的一段时间内执行此操作，但我不确定如何告诉该循环字段的顺序是什么，以便它可以正确填充所有 8 个（或 6 个）字符串。请告诉我使用 8 个嵌套 if 语句有更好的方法！

编辑：String.split 解决方案似乎肯定是其中的一部分，所以我将使用它而不是 stringTokenizer。但是，我仍然不确定将单个字符串输入构造函数的最佳方法是什么。最好的方法是让类期待一个数组，然后在构造函数中做这样的事情：

仅出于我自己的目的，我正在尝试在 Java 中构建一个标记器，我可以在其中定义一个常规语法并让它基于它对输入进行标记。StringTokenizer 类已被弃用，我在 Scanner 中发现了几个函数暗示我想要做什么，但还没有运气。有人知道解决这个问题的好方法吗？

我的数据库由 3 个表组成（一个用于存储所有项目，一个用于标签，一个用于两者之间的关系）：

表：帖子列：PostID、名称、描述

表：标签列：标签 ID、名称

表：PostTag 列：PostID、TagID

将空格分隔的字符串（例如“smart funny wonderful”）保存到上面显示的 3 个数据库表中的最佳方法是什么？

最终，我还需要检索标签并将其再次显示为字符串。谢谢！

在 Objective-C 中标记/拆分 NSString 的最佳方法是什么？

我一直在尝试使用 SPACE 作为分隔符来标记字符串，但它不起作用。有没有人建议它为什么不起作用？

编辑：使用标记化：

代码如下