NLP 任务与文本处理流程：从原始文本到模型输出

import re
from pprint import pprint


MESSAGES = [
    "  节点 NX-17 连续超时，请检查网络！ ",
    "任务 JOB-204 已恢复，感谢处理。",
    "节点 NX-09 的磁盘使用率达到 92%。",
    "",
]

KEYWORDS = {
    "故障": {"超时", "失败", "中断"},
    "容量": {"磁盘", "内存", "使用率"},
    "恢复": {"恢复", "正常", "完成"},
}


def normalize(text: str) -> str:
    text = text.strip()
    return re.sub(r"\s+", " ", text)


def classify(text: str) -> tuple[str, float]:
    scores = {
        label: sum(word in text for word in words)
        for label, words in KEYWORDS.items()
    }
    label, hits = max(scores.items(), key=lambda item: item[1])
    return (label, min(0.55 + 0.15 * hits, 0.95)) if hits else ("其他", 0.30)


def extract_codes(text: str) -> list[str]:
    return re.findall(r"\b(?:NX|JOB)-\d+\b", text, flags=re.IGNORECASE)


def process(text: str) -> dict:
    clean_text = normalize(text)
    if not clean_text:
        return {"ok": False, "error": "empty_text"}

    label, score = classify(clean_text)
    return {
        "ok": True,
        "text": clean_text,
        "label": label,
        "score": round(score, 2),
        "codes": extract_codes(clean_text),
    }


for message in MESSAGES:
    pprint(process(message), sort_dicts=False)

{'ok': True, 'text': '节点 NX-17 连续超时，请检查网络！', 'label': '故障', ...}
{'ok': True, 'text': '任务 JOB-204 已恢复，感谢处理。', 'label': '恢复', ...}
{'ok': True, 'text': '节点 NX-09 的磁盘使用率达到 92%。', 'label': '容量', ...}
{'ok': False, 'error': 'empty_text'}