spaCy - Token 属性
在本章中，我们将学习与 spaCy 中的 Token 类相关的属性。
属性
Token 属性及其各自的描述列在下面。
| Sr.No. | Token 属性 &描述 |
|---|---|
| 1 | Token.ancestors 用于此标记的语法后代中最右边的标记。 |
| 2 | Token.conjuncts 用于返回协调标记的元组。 |
| 3 | Token.children 用于返回标记的直接语法子代序列。 |
| 4 | Token.lefts 用于左侧直接子代的单词。 |
| 5 | Token.rights 用于单词的右侧直接子元素。 |
| 6 | Token.n_rights 用于单词的右侧直接子元素的数量。 |
| 7 | Token.n_lefts 用于单词的左侧直接子元素的数量。 |
| 8 | Token.subtree 这将产生一个包含标记和所有标记的句法后代。 |
| 9 | Token.vector 这表示实值含义。 |
| 10 | Token.vector_norm 这表示标记向量表示的 L2 范数。 |
Token.ancestors
此标记属性用于此标记的句法后代的最右边标记。
示例
下面给出了 Token.ancestors 属性的示例 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("Give it back! He pleaded.")
it_ancestors = doc[1].ancestors
[t.text for t in it_ancestors]
输出
['Give']
Token.conjuncts
此标记属性用于返回协调标记的元组。这里，token 本身不会被包含。
示例
Token.conjuncts 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("I like cars and bikes")
cars_conjuncts = doc[2].conjuncts
[t.text for t in cars_conjuncts]
输出
输出如下 −
['bikes']
Token.children
此 token 属性用于返回 token 的直接语法序列子元素。
示例
Token.children 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
give_child = doc[1].children
[t.text for t in give_child]
输出
['This', 'Tutorialspoint.com', '.']
Token.lefts
此 token 属性用于单词的左侧直接子元素。它将处于句法依赖性解析中。
示例
Token.lefts 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
left_child = [t.text for t in doc[1].lefts]
left_child
输出
你将得到以下输出 −
['This']
Token.rights
此 token 属性用于单词的右侧直接子元素。它将处于句法依赖性解析中。
示例
Token.rights 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
right_child = [t.text for t in doc[1].rights]
right_child
输出
['Tutorialspoint.com', '.']
Token.n_rights
此 token 属性用于表示单词的右侧直接子元素的数量。它将处于句法依赖性解析中。
示例
下面给出了 Token.n_rights 属性的一个示例 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
doc[1].n_rights
输出
2
Token.n_lefts
此标记属性用于表示单词左侧直接子单词的数量。它将位于句法依赖性解析中。
示例
Token.n_lefts 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
doc[1].n_lefts
输出
输出如下所示 −
1
Token.subtree
此 token 属性产生一个包含 token 及其所有句法后代的序列。
示例
Token.n_lefts 属性的示例如下 −
1
Token.subtree
此 token 属性产生一个包含 token 及其所有句法后代的序列。
示例
Token.subtree 属性如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
from spacy.tokens import Token
doc = nlp_model("This is Tutorialspoint.com.")
subtree_doc = doc[1].subtree
[t.text for t in subtree_doc]
输出
['This', 'is', 'Tutorialspoint.com', '.']
Token.vector
此 token 属性表示实值含义。它将返回一个表示 token 语义的一维数组。
示例 1
Token.vector 属性的示例如下 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
doc = nlp_model("The website is Tutorialspoint.com.")
doc.vector.dtype
输出
输出如下所示 −
dtype('float32')
示例 2
Token.vector 属性的另一个示例如下所示 −
doc.vector.shape
输出
输出如下所示 −
(96,)
Token.vector_norm
此 token 属性表示 token 向量表示的 L2 范数。
示例
Token.vector_norm 属性的示例如下所示 −
import spacy
nlp_model = spacy.load("en_core_web_sm")
doc1 = nlp_model("The website is Tutorialspoint.com.")
doc2 = nlp_model("It is having best technical tutorials.")
doc1[2].vector_norm !=doc2[2].vector_norm
输出
True
