我目前正在使用 sklearn（我是初学者），我想训练和测试一个非常幼稚的分类器。
我的训练和测试数据的结构如下：
----|----|----|----|----|----|------|----|----|----|-------
f1 | f2 | f3 | c1 | c2 | c3 | word | c4 | c5 | c6 | label
----|----|----|----|----|----|------|----|----|----|-------
在哪里：
f1: feature 1, binary numerical type like 0
f2: feature 2, binary numerical type like 1
f3: feature 3, binary numerical type like 0
c1: context 1, string type like "from"
c2: context 2, string type like "this"
c3: context 3, string type like "website"
word: central word (string) of the context like "http://.."
c4: context 4, string type
c5: context 5, string type
c6: context 6, string type
label: this is the label (string) that the classifier has to train and predict like: "URL" (I have only three types of label: REF,IRR,DATA)
我想要做的是将我的上下文字符串特征转换为数字特征。每个字符串字段最多由一个单词组成。
主要目标是为每个上下文和单词字符串分配一个数值，以使系统正常工作。我认为可以定义如下词汇：
{ from, website, to, ... }
并将此词汇表提供给 DictVectorizer，但我现在不知道该怎么做。
我真正想做的是生成大量的二进制特征：紧接在相关单词前面的单词“from”是一个特征；单词“available”在单词之后的两个位置是另一个。但我真的不知道怎么做。
这就是我试图做的：
#I tried to read the train csv:
train = pd.read_csv('train.csv')
#Drop the label field:
train_X = train.drop(['label'],axis=1)
#Take the other parameters:
train_y = train.label.values
#Then I convert the panda's data type into a dictionary:
train_X = train_X.to_dict('r')
#And I tried to vectorize everything:
vec = DictVectorizer()
train_X = vec.fit_transform(train_X).toarray()
显然没有奏效。这是因为上下文和单词字段可以是一个非常大的单词，例如 url。
有什么建议么？我接受各种解决方案。
非常感谢。