Python tokenize 模块
实例
对 Python 代码进行标记化:
import tokenize
import io
code = 'x = 42'
tokens = list(tokenize.generate_tokens(io.StringIO(code).readline))
print(f'Found {len(tokens)} tokens')
亲自试一试 »
定义和用法
tokenize 模块提供了一个用于 Python 源代码的词法扫描器。
您可以使用它将 Python 代码转换为词法单元 (token)、分析源代码结构或构建代码分析工具。
成员
| 成员 | 描述 |
|---|---|
| TokenInfo | 表示词法单元的命名元组。 |
| generate_tokens() | 将 Python 源代码字符串进行词法单元化。 |
| tokenize() | 从字节流中将 Python 源代码进行词法单元化。 |
| untokenize() | 将词法单元转换回 Python 源代码。 |

