文本数据是数据分析和机器学习中最常用的数据类型之一。 然而，文本数据往往是杂乱无章的，需要清洗和预处理才能被有效分析。 Pandas 是一个强大的 Python 数据分析库，它提供了一个方便的 str 访问器来帮助您清理和操作文本数据。
Pandas 中的 str 访问器提供了许多有用的字符串操作，可以应用于 Pandas 系列的每个元素。 这些操作包括字符串拆分、连接、替换等。 在这里，我们将了解一些最有用的 str 操作，它们可以帮助您清理和操作文本数据。
让我们从使用文本数据创建示例数据框开始：
import pandas as pd
data = {"text_column": ["this is a text", "an example", "of text data", "in pandas"]}
df = pd.DataFrame(data)
print(df)
输出
text_column
0 this is a text
1 an example
2 of text data
3 in pandas
1、小写转换
有时，文本数据可能包含混合大小写字符，这会导致难以分析和比较。 str 访问器提供了一个 lower() 方法来将所有字符转换为小写。
df["text_column"] = df["text_column"].str.lower()
print(df)
输出
text_column
0 this is a text
1 an example
2 of text data
3 in pandas
2、strip方法
文本数据可能包含不需要的字符，如空格、制表符或换行符。 str 访问器提供了 strip() 方法来从系列中每个字符串的开头和结尾删除这些字符。
df["text_column"] = df["text_column"].str.strip()
print(df)
输出:
text_column
0 this is a text
1 an example
2 of text data
3 in pandas
3、替代法
str 访问器还提供了一种 replace() 方法，用于在系列的每个元素中用一个字符串替换另一个字符串。 当您想要替换文本数据中的特定单词或字符时，这很有用。
df["text_column"] = df["text_column"].str.replace("text", "string")
print(df)输出:
text_column
0 this is a string
1 an example
2 of string data
3 in pandas
4、另一个重要的函数是extract()
此功能可用于从文本中提取特定模式。 extract() 函数将正则表达式模式作为参数，并返回一个或多个匹配项作为新的 DataFrame 列。 让我们看一个例子：
import pandas as pd
#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 extract() 函数提取“love”这个词
df['love'] = df['text'].str.extract(r'(\w+)\s(\w+)')
# Check the DataFrame
print(df)
这将产生以下输出：
text love
0 I love cats! love
1 Dogs are the best NaN
2 I love dogs and cats love
5、另一个有用的函数是split()
此函数可用于根据指定的分隔符将文本拆分为多个部分。 split() 函数返回从原始文本中拆分出来的子字符串列表。 让我们看一个例子：
import pandas as pd
#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 split() 函数将文本拆分为单词
df['text'] = df['text'].str.split()
# Check the DataFrame
print(df
这将产生以下输出：
text
0 [I, love, cats!]
1 [Dogs, are, the, best]
2 [I, love, dogs, and, cats]
如您所见，split() 函数已将文本拆分为单词并返回子字符串列表。
6、去除标点符号和特殊字符
在文本数据中，我们经常会有很多与分析无关的标点符号和特殊字符。 要删除它们，我们可以使用 str.translate() 方法和 str.maketrans() 方法。
import string
#创建特殊字符和标点符号到 None 的映射
translator = str.maketrans("", "", string.punctuation)
# 将翻译器应用于文本列
df["text"] = df["text"].str.translate(translator)
7、删除停用词
停用词是对文本意义不大的常用词，通常会被删除以简化分析。 要删除停用词，我们可以使用 nltk 库。
import nltk
from nltk.corpus import stopwords
# 下载停用词语料库
nltk.download("stopwords")
# 获取停用词列表
stop_words = set(stopwords.words("english"))
# 从文本列中删除停用词
df["text"] = df["text"].apply(lambda x: " ".join([word for word in x.split() if word not in stop_words]))
8、对文本进行词干化或词形还原
词干提取和词形还原是两种重要的 NLP 技术，用于将单词简化为基本形式。 它们有助于简化文本数据并使其更易于分析。
词干提取是将单词简化为基本形式或词根形式的过程。 它涉及删除词的后缀或词尾以得到词根。 例如，“running”、“runner”和“ran”都使用词干提取法简化为词根形式“run”。
另一方面，词形还原是使用基于字典的方法将单词简化为基本形式的过程。 与词干提取不同，词形还原考虑单词的上下文并将它们映射到最有意义的基本形式。 例如，“running”将简化为“run”，“is”将简化为“be”。
词干提取和词形还原都有各自的优点和缺点，它们之间的选择取决于用例。 词干化更快更简单，但词形还原更准确并产生更有意义的基本形式。
要在 Pandas 中对文本进行词干化或词形还原，我们可以使用 nltk 库。 以下是如何使用 nltk 执行词干提取的示例：
import nltk
from nltk.stem import PorterStemmer
# 初始化词干分析器
stemmer = PorterStemmer()
# 定义一个函数来阻止文本
def stem_text(text):
return ' '.join([stemmer.stem(word) for word in text.split()])
# 将词干提取功能应用于文本列
df['text_stemmed'] = df['text'].apply(stem_text)
以下是如何使用 nltk 执行词形还原的示例：
import nltk
from nltk.stem import WordNetLemmatizer
#初始化词形还原器
lemmatizer = WordNetLemmatizer()
# 定义一个函数来对文本进行词形还原
def lemmatize_text(text):
return ' '.join([lemmatizer.lemmatize(word) for word in text.split()])
# 将词形还原函数应用于文本列
df['text_lemmatized'] = df['text'].apply(lemmatize_text)
在这两种情况下，词干化或词形化的文本都存储在数据框中的新列中。 这个新列可用于进一步分析或建模。
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
