「学习笔记」大模型NLP（自然语言处理）

import re
import jieba

def preprocess(text):
    # 1. 去除特殊字符和标点
    text = re.sub(r'[^\w\s]', '', text)
    
    # 2. 转换为小写（英文）
    text = text.lower()
    
    # 3. 中文分词
    tokens = jieba.lcut(text)
    
    # 4. 去除停用词
    stopwords = ['的', '了', '是', '在', '我', '有', '和']
    tokens = [token for token in tokens if token not in stopwords]
    
    return tokens

text = "我爱自然语言处理，它是人工智能的重要分支！"
print(preprocess(text))
# 输出: ['我', '爱', '自然语言处理', '人工智能', '重要', '分支']

from sentence_transformers import SentenceTransformer

# 加载预训练嵌入模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 生成词/句嵌入
sentences = ["猫很可爱", "狗很忠诚", "人工智能很强大"]
embeddings = model.encode(sentences)

print(f"向量维度: {len(embeddings[0])}")  # 输出: 384
print(f"句子数量: {len(embeddings)}")     # 输出: 3

from transformers import pipeline

# 使用预训练模型进行情感分析
classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

results = classifier([
    "I love natural language processing!",
    "This movie is terrible.",
    "The weather is okay."
])

for result in results:
    print(f"文本: {result['label']}, 置信度: {result['score']:.4f}")

# 输出:
# 文本: POSITIVE, 置信度: 0.9998
# 文本: NEGATIVE, 置信度: 0.9991
# 文本: POSITIVE, 置信度: 0.5987

# 中文NER示例
from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

tokenizer = AutoTokenizer.from_pretrained("uer/roberta-base-chinese-ner")
model = AutoModelForTokenClassification.from_pretrained("uer/roberta-base-chinese-ner")

text = "张三在北京的阿里巴巴公司工作"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

predictions = torch.argmax(outputs.logits, dim=2)
labels = [model.config.id2label[p.item()] for p in predictions[0]]

print(f"文本: {text}")
print(f"实体标签: {labels}")
# 输出: ['O', 'B-PER', 'I-PER', 'O', 'B-LOC', 'O', 'B-ORG', 'I-ORG', 'I-ORG', 'O', 'O']

# 基于上下文的问答
question_answerer = pipeline("question-answering", model="distilbert-base-cased-distilled-squad")

context = """
自然语言处理（NLP）是人工智能的一个子领域，
它使计算机能够理解、处理和生成人类语言。
Transformer架构于2017年由Google提出，
是现代NLP的基石。
"""

questions = [
    "NLP是什么？",
    "Transformer是什么时候提出的？",
    "谁提出了Transformer？"
]

for question in questions:
    result = question_answerer(question=question, context=context)
    print(f"问题: {question}")
    print(f"答案: {result['answer']} (置信度: {result['score']:.4f})")
    print()

# 输出:
# 问题: NLP是什么？
# 答案: 人工智能的一个子领域 (置信度: 0.9234)
# 
# 问题: Transformer是什么时候提出的？
# 答案: 2017年 (置信度: 0.9987)
# 
# 问题: 谁提出了Transformer？
# 答案: Google (置信度: 0.9991)

# 使用GPT-2进行文本生成
from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2LMHeadModel.from_pretrained("gpt2")

# 设置pad token
tokenizer.pad_token = tokenizer.eos_token

prompt = "自然语言处理的未来发展方向是"
inputs = tokenizer(prompt, return_tensors="pt", padding=True)

# 生成文本
outputs = model.generate(
    **inputs,
    max_length=100,
    num_return_sequences=1,
    temperature=0.7,
    do_sample=True
)

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"生成文本:\n{generated_text}")

# 输出示例:
# 自然语言处理的未来发展方向是多模态融合、小样本学习和可解释性提升。
# 通过结合视觉、语音等多种模态，模型能够更全面地理解人类语言。

# 使用预训练模型进行翻译
translator = pipeline("translation_en_to_zh", model="Helsinki-NLP/opus-mt-en-zh")

text = "Natural language processing is transforming the world."
result = translator(text)

print(f"原文: {text}")
print(f"译文: {result[0]['translation_text']}")
# 输出: 自然语言处理正在改变世界。

from sentence_transformers import SentenceTransformer, util
import numpy as np

# 1. 准备知识库
documents = [
    "自然语言处理（NLP）是人工智能的一个子领域",
    "Transformer架构于2017年由Google提出",
    "BERT是一种基于Transformer的预训练模型",
    "GPT系列模型擅长文本生成任务",
    "词嵌入将词语转换为高维向量"
]

# 2. 加载嵌入模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 3. 生成文档嵌入
doc_embeddings = model.encode(documents)

# 4. 用户提问
query = "BERT是什么？"
query_embedding = model.encode(query)

# 5. 检索相似文档
similarities = util.cos_sim(query_embedding, doc_embeddings)[0]
top_k = 2
top_indices = np.argsort(-similarities.numpy())[:top_k]

# 6. 构建上下文
context = "\n".join([documents[idx] for idx in top_indices])
print(f"检索到的上下文:\n{context}\n")

# 7. 使用LLM生成回答（伪代码）
# response = llm.generate(f"基于以下信息回答问题：\n{context}\n\n问题：{query}")
# print(f"回答: {response}")