问题标签 [tokenize]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c++ - C 标记多项式系数
我正在尝试将 char 数组中的多项式系数放入一个 int 数组
中，我有这个：
char string[] = "-4x^0 + x^1 + 4x^3 - 3x^4";
并可以通过空间将其标记为
-4x^0
x^1
4x^3
3x^4
所以我试图得到： -4, 1, 4, 3 进入一个 int 数组
但是，我收到一个错误，我无法在 strncpy(temp[z], p, z); 上将 char* 转换为 char；
最好的方法是什么？
c++ - C++ 提取多项式系数
所以我有一个看起来像这样的多项式：-4x^0 + x^1 + 4x^3 - 3x^4
我可以通过空格和“+”将其标记为：-4x^0, x^1, 4x^3 , -, 3x^4
我怎么能得到带有负号的系数：-4、1、0、4、-3
x 是唯一会出现的变量，这将始终按
我计划将系数存储在数组中的顺序出现index 是指数
，所以：-4 将在索引 0，1 将在索引 1，0 在索引 2，4 在索引 3，-3 在索引 4
python - 在 Python 中标记一个保留分隔符的字符串
str.split在 Python 中是否有任何等价物也返回分隔符？
在处理一些标记后，我需要为我的输出保留空白布局。
例子：
谢谢！
c - 从文本文件中标记化到 C 中的数组中
从 C 中读取文件时如何标记？
文本文件：
PES 2009；科乐美；DVD 3；500.25；6
刺客信条；育碧；DVD；598.25；3
地狱;EA;DVD 2;650.25; 7
希望它打印出来：
实况足球 2009
科乐美
.
.
.
c# - 递归问题 - 减少输入字符串
我正在处理一段代码，它本质上是试图将字符串列表递归地减少为单个字符串。
我有一个内部数据库，由不同长度的匹配字符串数组组成（比如数组长度为 2-4）。
一个示例输入字符串数组将是：
再举个例子，我的数据库可以以这种方式由字符串数组组成：
所以，我试图做的是将我的输入字符串数组递归地减少为单个标记。所以理想情况下它会解析这样的东西：
所以，当它归结为一个令牌时，我很高兴并且该功能将结束。
这是我当前程序逻辑的概述：
我认为这很简单，但得到了一些奇怪的结果。一般来说，它似乎可以工作，但在进一步查看我的输出数据后，我发现了一些问题。主要是，它似乎可以工作到某个点……那时我的“curr_size”计数器重置为最小值。
所以它的大小是 2，然后是 3，然后是 4，然后重置为 2。我的假设是它会运行到我预定的最大大小，然后完全保释。
我试图尽可能地简化我的代码，所以在转录过程中可能存在一些简单的语法错误。如果有任何其他细节可以帮助眼尖的 SO 用户，请告诉我，我会编辑。
提前致谢
c# - 类似于 Google 的搜索查询标记化和字符串拆分
我正在寻找类似于 Google 的方式对搜索查询进行标记。例如，如果我有以下搜索查询：
我想要一个带有以下标记的字符串数组：
如您所见，标记用双引号保留空格。
我正在寻找一些如何在 C# 中执行此操作的示例，最好不要使用正则表达式，但是如果这最有意义并且性能最高，那就这样吧。
此外，我想知道如何扩展它以处理其他特殊字符，例如，将 - 放在术语前面以强制从搜索查询中排除，等等。
c++ - C++ Boost：拆分字符串
如何使用正则表达式拆分带有 Boost 的字符串并将分隔符包含在结果列表中？
例如，如果我有字符串“1d2”并且我的正则表达式是“[az]”，我希望结果为带有 (1, d, 2) 的向量
我有：
谢谢
c - 有没有像 PPI 或 Perl::Critic for C 的东西？
PPI和Perl::Critic允许程序员在他们的 Perl 程序的语法中检测某些东西。
有没有类似的东西可以标记/解析 C 并让你有机会编写脚本来处理这些信息？
string - 自动标记用户代理字符串以进行统计？
我们在我们的网站上跟踪用户代理字符串。我想对它们做一些统计，看看我们有多少 IE6 用户（所以我们知道我们必须针对什么进行开发），以及我们有多少移动用户。
所以我们有这样的日志条目：
理想情况下，看到所有“有意义的”字符串会非常整洁，这意味着可能字符串长度可能超过一定长度。例如，我可能想查看其中有多少条目FunWebProducts，或.NET CLR，或.NET CLR 1.0.3705-- 但我不想查看有多少条目带有分号。所以我不一定要寻找唯一的字符串，而是所有的字符串，甚至是子集。所以，我想看看 all 的计数Mozilla，知道这包括Mozilla/5.0and的计数Mozilla/4.0。如果有一个嵌套显示，从最短的字符串开始，然后向下工作，那就太好了。也许像
这听起来像是计算机科学作业。这会叫什么？是否存在类似的东西，还是我自己写？
java - 没有运算符的 Lucene 查询
我正在尝试使用 Lucene 在数据库中搜索名称。但是，有些名称包含诸如“NOT”和“OR”之类的词，甚至包含“-”减号。我仍然希望使用分析器将名称中的不同标记分解并作为术语的布尔组合进行搜索，但我不希望 Lucene 将任何“NOT”/“OR”术语解释为运算符（而不是我希望它们像正常术语一样被搜索）。
完成我所说的一种方法是在搜索查询上手动运行分析器，然后根据所有结果标记手动构造一个布尔查询。这是最好的方法吗？我的印象是分析器被设计为与查询解析器一起使用，我觉得应该有一个内置的方法来完成我想要做的事情。有人知道最好的方法吗？