0

我正在尝试标记一条线并将其放入二维数组中，到目前为止我已经想出了这个，但我觉得我还很遥远：

/**
 * Function to tokenize an input line into seperate tokens
 *
 * The first arg is the line to be tokenized and the second arg points to
 * a 2-dimentional string array. The number of rows of this array should be
 * at least MAX_TOKENS_PER_LINE size, and the number of columns (i.e., length
 * of each string should be at least MAX_TOKEN_SIZE)
 *
 * Returns 0 on success and negative number on failure
 */

int __tokenize(char *line, char tokens[][MAX_TOKEN_SIZE], int *num_tokens){

char *tokenPtr;
tokenPtr = strtok(line, " \t");
    for(int j =0; j<MAX_TOKEN_SIZE; j++){
      while(tokenPtr != NULL){
        if(!(tokens[][j] = tokenPtr)){return -1;}
            num_tokens++;
            tokenPtr = strtok(NULL, " \t");
        }
    }
  return 0;
}
4

3 回答 3

1 
int __tokenize(char *line, char tokens[][MAX_TOKEN_SIZE], int *num_tokens)
{
char *tokenPtr;
tokenPtr = strtok(line, " \t");
for (int i = 0; tokenPtr; i++)
{
            tokens[i] = tokenPtr;
            tokenPtr = strtok(NULL, " \t");
}
}

希望这应该有效。

于 2011-05-04T18:23:19.240 回答
0
  1. tokenPtr未初始化 - 第一次通过循环时它可能为 NULL，也可能不是。
  2. strtok需要 2 个参数。如果要拆分多个字符，请将它们全部包含在第二个字符串中。
  3. 调用后strtok，token 指针指向你想要的字符串。怎么办？你需要一个地方来存放它。 也许是一个 char* 数组？ 或二维字符数组，如您编辑的原型中。
  4. tokens[i]是 MAX_TOKEN_SIZE 个字符的存储空间。 strtok()返回指向字符串（1 个或多个字符的序列）的指针。您需要将一个复制到另一个。
  5. 内循环完成了什么？

请注意，这char tokens[][MAX]通常称为二维字符数组。（或固定长度字符串的一维数组）。二维字符串数组将是 char* tokens[][MAX]

于 2011-05-04T17:29:18.543 回答
0

你应该实现一个有限状态机，我刚刚完成了我的 shell 命令 Lexer/Parser (LL) 看：如何手动编写（shell）词法分析器

于 2011-05-04T17:29:59.577 回答