php - parse natural language

Question

To start: I know this system will have flaws!

NOTE: Im adding a few other languages because I don't find this problem specific to php..A JavaScript or jquery solution would work...I could change the language ...Its the method i am after!

What: I am trying to parse a string to determine what the user desires.

The idea is that the string is generated from voice

Example 1: Turn my kitchen lights on and my bedroom and living room lights off.

Example 2: Turn my kitchen lights on and my bedroom lights on and living room lights off.

Example 3: Turn my kitchen and my bedroom and living room lights off.

This is an overly simplified example but please note that I want to scale beyond these three room as well as just controlling the lights example: outside ceiling fan on...

How: I am currently using a few while loops to iterate through an array and the checking if certain strings are in the array.

More how: My idea was to first split on the string on the "and". I then check each array for a on or off. If it does not have a on or off i join the array with the next.

Help: I would love to clean this concept up as well as see someone else s ideas...I am up for anything ..

Thanks JT

CODE:

$input = 'kitchen lights on and bed and living lights off'; 
$output = preg_split( "/ (and) /", $input );
$num = (int)count($output);
$i=0;

while($i<$num){
    if ((strpos($output[$i],'on') !== false)||(strpos($output[$i],'off') !== false)) {}
    elseif(((strpos($output[$i+1],'on') !== false)||(strpos($output[$i+1],'off') !== false))){
    $output[$i+1] .= ' + '.$output[$i];
        unset($output[$i]);

    }

    $i++;
}
$output = array_values($output);
$i=0;
$num = (int)count($output);
echo '<br>';
while($i<$num){
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'on') !== false)&&(strpos($output[$i],'kitchen') !== false)){
echo'kitchen lights on<br>';
}
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'off') !== false)&&(strpos($output[$i],'kitchen') !== false)){
echo'kitchen lights off<br>';
}
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'on') !== false)&&(strpos($output[$i],'living') !== false)){
echo'living lights on<br>';
}
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'off') !== false)&&(strpos($output[$i],'living') !== false)){
echo'living lights off<br>';
}
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'on') !== false)&&(strpos($output[$i],'bed') !== false)){
echo'bed lights on<br>';
}
if ((strpos($output[$i],'lights') !== false)&&(strpos($output[$i],'off') !== false)&&(strpos($output[$i],'bed') !== false)){
echo'bed lights off<br>';
}   
$i++;
}

Code trial 2: Note: This handles all the above examples!

<?php
//works list
$inp[]='turn the lights in the bedroom on';
$inp[]='Turn on the bedroom light';
$inp[]='turn on the lights in the bedroom';
$inp[]='Turn my kitchen and my bedroom and living room lights off.';
$inp[]='Turn the light in the kitchen on and the fan in the bedroom off';
$inp[]='Turn my kitchen lights on and my bedroom and living room lights off';
$inp[]='Turn my kitchen fan and my bedroom lights on and living room lights off.';
$inp[]='Turn my kitchen lights on and my bedroom lights on and living room lights off';
$inp[] = 'kitchen lights on and bath and living lights off'; 
$inp[] = 'flip on the lights in the living room';
$inp[] = 'turn on all lights';

//does not work list
//$inp[] = 'turn on all lights but living';

foreach ($inp as $input){

$input = trim($input);
$input  = rtrim($input, '.');
$input = trim($input);
$input  = rtrim($input, '.');


$words = explode(" ", $input);

$state = array('and','but','on','off','all','living','bed','bedroom','bath','kitchen','dining','light','lights','fan','tv');
$result = array_intersect($words, $state);
$result = implode(" ", $result);
$result = trim($result);
    //$result = preg_split('/(and|but)/',$input,-1, PREG_SPLIT_DELIM_CAPTURE);
$result = preg_split( "/ (and|but) /",  $result );
    //$result = explode("and", $result);

$sep=array();

foreach($result as $string){
$word = explode(" ", $string);
$sep[]=$word;   
}

$test=array();
$num = (int)count($sep);

$i=0;

while($i<($num)){   
$result = (int)count(array_intersect($sep[$i], $state));    
$j=$i;

    while($result<=3)
    {
        $imp = implode(" ", $sep[$j]);
        if(isset($test[$i])){$test[$i]=$imp.' '.$test[$i];}
        else{$test[$i]=$imp;}

        if ($result>=3){$j++;break;}        
        $result = (int)count(array_intersect($sep[++$j], $state));      
    }
$i=$j;
}

print_r($test);
    echo '<br>';
}


?>

Answer 1

解析自然语言并非易事，如果您想要一个真正的自然语言解析器，我建议您尝试使用现有的项目或库。这是一个基于网络的解析器，基于斯坦福解析器。或者维基百科是一个很好的起点。

话虽如此，如果您愿意限制所涉及的语法和关键字，则可以简化它。首先你需要知道什么是重要的——你在“地方”（卧室、厨房）有需要进入特定状态（“开”、“关”）的“东西”（灯、风扇）。

我会将字符串放入一个单词数组中，或者使用str_tok，或者只是 explode on ' '。

现在你有一个从末尾开始的单词数组，然后向后寻找“状态”——开或关。然后向后寻找一个“东西”，最后是一个“地方”。如果你达到另一个状态，那么你可以重新开始。

让我试着用伪代码来做：

// array of words is inArray
currentPlace = null;
currentThing = null; 
currentState = null;
for (i = (inArray.length - 1); i >= 0; i--) {
    word = inArray[i];

    if (isState(word)) {

      currentState = word;
      currentPlace = null;
      currentThing = null;

    } else if (currentState) {

        if (isThing(word)) { 

             currentThing = word;
             currentPlace = null;

        } else if (currentThing) { 

             if (isPlace(word)) { 
                 currentPlace = word
                 // Apply currentState to currentThing in currentPlace
             }
             // skip non-place, thing or state word. 
        }
        // Skip when we don't have a thing to go with our state

    } 
    // Skip when we don't have a current state and we haven't found a state
}

而且，写完之后，很明显它应该使用状态机和 switch 语句——这表明我应该首先在纸上设计它。如果您变得更复杂，您想使用状态机来实现逻辑——状态将是“lookingForState”、“lookingForThing”等

此外，您实际上并不需要currentPlace作为变量，但我会留下它，因为它使逻辑更清晰。

编辑

如果你想支持'打开卧室的灯'，你需要调整逻辑（如果你没有东西，你需要保存'地方'）。如果您还想支持“打开卧室的灯”，则需要更进一步。

考虑一下，我想知道您是否可以这样做：

have a currentState variable and arrays for currentPlace and currentThing
for each word 
    if it's a state:
        store it in currentState 
    if it's a thing, or place:
        add it to the approriate array
        if currentState is set and there is content in currentPlaces and currentThings:
            apply currentState to all currentThings in all currentPlaces

那还不完全在那里，但是其中一种实现可能会给您一个起点。

编辑 2

好的，我对其进行了测试，由于英语的结构方式存在一些问题。问题是，如果您想支持“打开...”和“打开...打开”，那么您需要使用我的第二个伪代码，但这并不容易，因为句子中的“和”。例如：

打开我的厨房灯，关闭卧室和客厅的灯。

第一个和连接两个语句，第二个和连接到地方。做到这一点的正确方法是绘制句子的图表以找出适用于什么的内容。

有两个快速选项，首先您可以坚持使用不同的单词或短语来连接两个命令：

打开我的厨房灯，然后关闭我的卧室和客厅的灯。打开我的厨房灯，关闭卧室和客厅的灯。

或者，这可能更容易，您可以坚持只使用“打开...关闭/打开”形式的命令。这适用于我上面的第一个伪代码。

JavaScript第一个伪代码示例。

请注意，如果有任何标点符号等的机会，您可能需要对字符串进行大量预处理。您可能还想考虑用 'livingroom' 替换 'living room' （和类似的两个单词短语），而不是仅仅匹配一句话，希望像我一样做到最好。此外，代码可以简化一点，但我想让它接近伪代码示例。

编辑 3

新的 Javascript 示例

这处理了一些额外的句子并且清理得更好一些，它仍然依赖于每个子句末尾的“状态”，因为它用作应用动作的触发器（这个版本可能向前而不是向后读取）。此外，它不会处理类似的事情：

Turn my kitchen fan and my bedroom lights on and living room lights off.

你必须做一些更复杂的事情来理解“厨房”和“风扇”以及“卧室”和“灯”之间的关系。

只要输入/说出命令的人遵循一些基本规则，这些技术的某种组合可能足以做一些相当令人印象深刻的事情。

Answer 2

这当然不是最有效的解决方案，但这里有一个。你绝对可以改进它，比如缓存正则表达式，但你明白了。每个子数组中的最后一项是操作。

演示

var s = 'Turn my kitchen lights on and my bedroom lights on and living room lights off and my test and another test off',
    r = s.replace(/^Turn|\s*my/g, '').match(/.+? (on|off)/g).map(function(item) {
        var items = item.trim().replace(/^and\s*/, '').split(/\s*and\s*/),
            last = items.pop().split(' '),
            op = last.pop();
        return items.concat([last.join(' '), op]);
    });

console.log(r);

请注意解释你使用的逻辑......我的意思是我正在阅读代码，但我只是好奇你能不能说得更好

逻辑其实很简单，也许太简单了：

var s = 'Turn my kitchen lights on and my bedroom lights on and living room lights off and my test and another test off',
    r = s
        .replace(/^Turn|\s*my/g, '') //remove noisy words
        .match(/.+? (on|off)/g) //capture all groups of [some things][on|off]
        //for each of those groups, generate a new array from the returned results
        .map(function(item) {
            var items = item.trim()
                    .replace(/^and\s*/, '') //remove and[space] at the beginning of string
                    //split on and to get all things, for instance if we have
                    //test and another test off, we want ['test', 'another test off']
                    .split(/\s*and\s*/),
                //split the last item on spaces, with previous example we would get
                //['another', 'test', 'off']
                last = items.pop().split(' '),
                op = last.pop(); //on/off will always be the last item in the array, pop it
            //items now contains ['test'], concatenate with the array passed as argument
            return items.concat(
                [
                    //last is ['another', 'test'], rejoin it together to give 'another test'
                    last.join(' '),
                    op //this is the operation
                ]
            );
        });

编辑：在我发布答案时，我还没有意识到你需要它有多复杂和灵活。我提供的解决方案仅适用于我的示例中结构的句子，具有可识别的嘈杂词和特定的命令顺序。对于更复杂的事情，您别无选择，只能创建像 @SpaceDog 建议的解析器。只要我有足够的时间，我会尽力想出一些东西。

Answer 3

我一直致力于解析菜单和食谱（未完成），这是我的方法：

• 找到句子分隔符（我使用 AND 以及其他人）
• 解析每个句子以找到key您需要的单词（light/bulbs/etc.., on/off）
• 如果您的场所有限（厨房、浴室等）
  • 搜索这些关键字，删除其他关键字
  • 别的
  • 删除extra words某些人可能使用的（明亮的、多彩的等...）
• 将其存储到一个数组中，可能如下所示：
  • 什么
  • 在哪里
• 如果您没有其中一个字段，请将其留空
• 对于每个结果，检查你有什么，如果你有一个空白字段，用之前的解析填充它

IE：打开卧室和厨房的灯

• 1：
  • 打开卧室的灯
  • 什么：灯亮
  • 其中：卧室
• 2：
  • 在厨房
  • 什么：
  • 哪里：厨房

what_2为空，what_2则为lights on

请记住，有时需要用下一个结果填充数组（取决于句子的结构，但这种情况很少见），我在其中添加“+”或“-”以便我知道是否必须去在解析时向前或向后查找丢失的部分