问题标签 [tokenize]

我有一个分隔字符串（在下面的示例中由空格分隔），我需要对其进行标记、排序，然后重新连接在一起，我需要使用 XSLT 1.0 完成所有这些操作。我该怎么做？我知道我需要以xsl:sort某种方式使用，但到目前为止我所尝试的一切都给了我某种错误。

例如，如果我运行这篇文章底部的代码，我会得到：

草莓 蓝莓 橙 覆盆子 青柠 柠檬

如果我想得到这个，我会怎么做？：

蓝莓 柠檬 酸橙 橙 覆盆子 草莓

请注意，我使用的是 XSLT 1.0。

这是代码，它基于Jeni Tennison的代码。

我有一个相当复杂的计算器，当用户输入“;”时会打印输出 （并按回车键。）我现在要做的是允许用户在按回车键时打印输出，（不使用分号。）我需要知道如何实现这一点。

旁注：计算器使用标记化来读取用户输入

这是计算器源代码的一部分，也是唯一需要更改的部分。它是 Token_stream 的成员函数，当计算器的各种其他函数调用以获取下一个令牌时调用它。

到目前为止，如果用户输入 5*5 并点击空格然后输入..没有任何反应。但是，如果他们点击空格，然后输入一个随机字符（任何字符，而不仅仅是 ;）然后按 Enter，它就会输出答案。在此之后，用户可以使用 enter 产生输出，但是它保存了用户在敲击空格后输入的额外令牌，因此操作顺序变得很混乱。

简而言之，我需要知道如何让用户最初点击空格然后输入（甚至只是输入，但现在使用空格并输入）以产生输出 - 没有任何额外的字符。

如果您想查看更多来源或对计算器本身有任何疑问以解决问题，我很乐意发布更多信息。

PS 原始程序来自我正在学习 C++ 的一本书。我一直在做一些改变它并为其添加功能的练习。

Java有shlex替代品吗？我希望能够像 shell 处理它们一样拆分引号分隔的字符串。例如，如果我发送：

我希望能够在 Oracle 9i 中拆分 csv 字符串

我已阅读以下文章 http://www.oappssurd.com/2009/03/string-split-in-oracle.html

但我不明白如何使这项工作。这是我的一些与它有关的问题

1. 这会在 Oracle 9i 中工作吗？如果不能，为什么不呢？
2. 有没有比上面介绍的解决方案更好的分割 csv 字符串的方法？
3. 我需要创建一个新类型吗？如果是这样，我是否需要特定的特权？
4. 我可以在函数中声明类型吗？

如何获得与http://developer.yahoo.com/search/content/V1/termExtraction.html相同的结果

这个问题之前已经被问过好几次了。

• 在 PHP 中分析文本的最佳方法？

• 什么是好的关键字提取网络服务？

• 从文本生成关键字的简单方法是什么？

尝试使用现有解决方案解决此问题时，我偶然发现 Solr 在索引之前对文档执行“文本分析”，如http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters中所述- 其中也包括词干提取。

所以最终的索引将主要由用于描述文档的术语组成。

是否有提供分析器、标记器和标记过滤器以供直接使用的解决方案？如果 solr 是出路，那么从 solr 的索引中获取这些数据的最佳方法是什么？

我有大约 100 行要标记的文本，如下所示：

我无法使用 VBA 找到标记化函数。在 VBA 中标记此类字符串的最简单方法是什么？

我知道有字符串标记器，但有“int 标记器”吗？

例如，我想拆分字符串“12 34 46”并具有：

列表[0]=12

列表[1]=34

列表[2]=46

特别是，我想知道 Boost::Tokenizer 是否这样做。虽然我找不到任何不使用字符串的示例。

我将如何从用户那里获取数字列表，然后对它们进行标记。

这就是我所拥有的，但除了第一个数字之外什么都没有：

相关文章：
C++，从字符串到字符串流再到向量
Int Tokenizer

我们有一个最大限制为 20 个单词的字符串。如果用户输入的内容超过 20 个单词，那么我们需要在第 20 个单词处截断字符串。我们如何实现自动化？我们可以使用#GetToken(myString, 20, ' ')# 找到第 20 个标记，但不确定如何找到它的位置以便左修剪。有任何想法吗？提前致谢。

我有这个字符串：

我想要这样的清单

我不认为是优雅/pythonic 的当前实现是两个递归函数（一个用 '[' 拆分，另一个用 ']' 拆分）但我确信它可以使用列表推导或正则表达式来完成（但我可以想不出一个理智的方法来做到这一点）。

有任何想法吗？