php toarray 自定义CountVectorizer分词器：处理带符号数字的文本特征提取

php toarray 自定义CountVectorizer分词器：处理带符号数字的文本特征提取

本教程详细介绍了 在进行文本特征提取时php toarray 自定义CountVectorizer分词器：处理带符号数字的文本特征提取，默认忽略数字前正负号的问题及其解决方案。通过实现一个自定义分词器，结合精确捕获带符号的数字作为独立词元，可以确保 正确识别并保留这些关键信息，从而生成包含完整符号的特征矩阵。

引言：与符号数字识别挑战

在（NLP）中，Bag-of-Words (BOW) 模型是一种常用的文本表示方法，它将文本视为一个词袋，忽略词序php toarray，只关注词的出现频率。..text. 是中实现BOW模型的核心。它能够将文本文档集合转换为词频矩阵。然而，当处理包含正负号的数字字符串时， 的默认行为可能会导致信息丢失。

例如，考虑以下数据框：

RepID, Txt
1, +83 -193 -380 +55 +901
2, -94 +44 +2892 -60
3, +7010 -3840 +3993

其中 Txt 字段包含了一系列带符号的数字。如果直接使用 进行处理，其默认的分词器通常会忽略非字母数字字符（如 + 和 -），导致生成的特征名称（列名）中丢失这些符号。这意味着 +83 和 83 将被视为同一个词元，这在某些应用场景下是不可接受的。我们期望的输出是能区分 +83 和 -193 等带符号的数字作为独立的特征。

理解分词（）

分词是文本处理的第一步，它将连续的文本分解成有意义的最小单元，即词元（）。 内部有一个 参数，它决定了如何将输入文本字符串分割成词元列表。默认情况下，使用一个简单的正则表达式来提取词元php toarray，该正则表达式通常只匹配字母数字序列。这就是 + 和 – 符号会被忽略的原因，因为它们不被认为是词元的一部分。

为了解决符号丢失的问题php toarray，我们需要提供一个自定义的分词器，它能够识别并保留数字前的正负号。

解决方案：实现自定义分词器

自定义分词器的核心在于使用正则表达式精确地捕获我们希望保留的词元。对于带符号的数字，我们需要确保正负号与数字一起被视为一个整体。

我们将使用的 re 模块来构建这个自定义分词器。关键在于 re.split() 函数和合适的正则表达式。

Tome

先进的AI智能PPT制作工具

下载

函数详解

import re
def custom_tokenizer(text):
    # 使用正则表达式分割文本，同时捕获带符号的数字
    # ([+-]?d+)：
    #   [+-]? 匹配一个可选的 '+' 或 '-' 符号
    #   d+ 匹配一个或多个数字
    # 括号 () 创建一个捕获组，确保匹配到的符号和数字作为一个整体被保留
    tokens = [token.strip() for token in re.split('([+-]?d+)', text) if token.strip()]
    return tokens

正则表达式 (?d+) 解析：

re.split() 函数会根据正则表达式将字符串分割，并且如果正则表达式中包含捕获组，则捕获到的内容也会包含在结果列表中。最后，我们使用列表推导式

token.strip() for token in … if token.strip()

来清理结果，移除可能产生的空字符串。

整合自定义分词器到

创建了 后，我们只需将其作为参数传递给 的 参数即可。

from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
import numpy as np
def BOW(df_column):
  # 初始化 CountVectorizer，传入自定义分词器
  CountVec = CountVectorizer(tokenizer=custom_tokenizer)
  # 对指定列进行拟合和转换
  Count_data = CountVec.fit_transform(df_column)
  Count_data = Count_data.astype(np.uint8)
  # 创建DataFrame，列名为 CountVectorizer 提取的特征名
  cv_dataframe = pd.DataFrame(Count_data.toarray(), columns=CountVec.get_feature_names_out(), index=df_column.index)
  return cv_dataframe.astype(np.uint8)

注意点：

完整代码示例与验证

下面是一个完整的示例，展示如何应用自定义分词器来解决 忽略符号的问题。

import re
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
# 1. 定义自定义分词器
def custom_tokenizer(text):
    """
    自定义分词器，用于将文本分割成词元，同时保留带符号的数字。
    """
    # 使用正则表达式分割文本，同时捕获带符号的数字
    # ([+-]?d+) 匹配一个可选的正负号后跟一个或多个数字
    tokens = [token.strip() for token in re.split('([+-]?d+)', text) if token.strip()]
    return tokens
# 2. 定义 Bag-of-Words (BOW) 函数
def BOW(df_text_column):
    """
    使用自定义分词器生成文本的词袋模型DataFrame。
    参数:
    df_text_column (pd.Series): 包含文本数据的Pandas Series。
    返回:
    pd.DataFrame: 词频矩阵，列名为带符号的数字词元。
    """
    # 初始化 CountVectorizer，传入自定义分词器
    CountVec = CountVectorizer(tokenizer=custom_tokenizer)
    # 对文本列进行拟合和转换
    Count_data = CountVec.fit_transform(df_text_column)
    # 将结果转换为 uint8 类型以节省内存
    Count_data = Count_data.astype(np.uint8)
    # 创建DataFrame，列名为 CountVectorizer 提取的特征名
    cv_dataframe = pd.DataFrame(Count_data.toarray(), 
                                columns=CountVec.get_feature_names_out(), 
                                index=df_text_column.index)
    return cv_dataframe.astype(np.uint8)
# 3. 测试 BOW 函数
if __name__ == "__main__":
    # 示例数据
    data = {'RepID': [1, 2, 3],
            'Txt': ['+83 -193 -380 +55 +901', '-94 +44 +2892 -60', '+7010 -3840 +3993']}
    df = pd.DataFrame(data)
    print("原始数据框:")
    print(df)
    print("n" + "="*50 + "n")
    # 调用 BOW 函数处理 'Txt' 列
    result_df = BOW(df['Txt'])
    print("使用自定义分词器后的词袋模型结果:")
    print(result_df)
    # 预期输出与对比
    print("n" + "="*50 + "n")
    print("期望的列名应包含符号，例如：+83, -193, -380, +55, +901 等。")
    print("实际输出的列名:", result_df.columns.tolist())

运行上述代码，您会看到 的列名正确地包含了 + 或 – 符号php toarray 自定义CountVectorizer分词器：处理带符号数字的文本特征提取，例如 +83, -193, -380 等，这正是我们期望的结果。

注意事项与总结

通过本文，我们学习了 默认分词机制的局限性，以及如何通过实现和集成自定义分词器来解决在文本特征提取过程中符号丢失的问题。这种方法不仅限于处理带符号的数字，还可以扩展到处理其他任何需要特殊分词规则的文本数据。