Mp2RSS

Appearance

算法工程师如何用公众号文章构建行业文本分类训练语料：从采集到标注就绪 ​

训练一个行业文本分类模型——比如判断一篇文章属于"产品发布""融资并购"还是"监管处罚"，或者做细分行业的情感倾向判断——第一步往往不是调参，而是找语料。通用的公开中文语料库覆盖的是新闻、百科、社交媒体这类大众文本,一旦要做垂直行业的分类任务,比如金融、医药、汽车某个细分领域,可用的现成数据集要么没有,要么标签体系跟实际业务对不上,只能自己攒。

很多团队攒语料的方式是让实习生或运营同学打开一批目标行业的公众号，逐篇复制文章正文、记下发布时间和来源公众号，粘贴进 Excel 或标注平台。这个过程不仅慢，输出质量也不稳定：正文里的图片说明、广告软文、格式符号很难在复制粘贴时被干净地剥离，发布时间这类关键元数据经常被漏记或记错，等语料攒够几千条，已经花了一两周,而且很难保证后续能持续补充新数据来做模型的增量训练或效果监控。

更麻烦的是模型上线后，语料建设不是一次性工作。行业里会不断出现新的话题和表述方式，模型如果只用某个时间点攒的语料训练，几个月后就会在新出现的表达上表现变差,这意味着语料采集流程本身也需要能够持续、低成本地运行下去，而不是一次性人工项目。

问题的核心：公众号内容没有可编程接口 ​

微信公众号不提供面向开发者的官方订阅或抓取接口,文章正文无法通过 API 直接拉取,也没有统一的元数据格式。这导致即便标注流程、标签体系、训练脚本都已经准备好,数据源头这一步仍然要靠人工打开公众号逐篇复制,语料构建的效率上限被这一步死死卡住,后续想做增量更新或者换一批目标账号,都要重新走一遍人工采集的流程。

解决路径：把公众号文章转成带元数据的结构化数据 ​

Mp2RSS 把微信公众号文章转换成结构化数据：贴入目标公众号任意一篇文章链接（形如 https://mp.weixin.qq.com/s?...）即可订阅整个账号，此后该账号发布的每一篇新文章都会被持续收录，转换成带标题、发布时间、来源公众号、Markdown 正文的结构化记录，从发文到数据可见平均 2–3 小时。注册不需要微信账号，用 GitHub 或 Google 账号登录即可完成。

正文以 Markdown 交付，去掉了公众号页面里的排版噪声，直接可以作为分类模型输入文本使用；发布时间、来源账号等字段天然可以作为语料的元数据列，不需要再额外编写清洗脚本去补齐。

落地步骤 ​

第一步：按目标行业圈定账号清单并批量订阅 ​

先根据分类任务覆盖的行业和标签体系，列出目标公众号清单——比如做金融行业事件分类，就覆盖研报号、监管发布号、行业媒体号等不同类型账号，让语料的表达风格和话题分布尽量贴近真实场景。账号确定后逐个找一篇历史文章链接完成订阅，操作参考订阅管理指引。

账号数量较多时，用 CLI 写一个循环批量订阅比逐个网页操作快很多：

bash
mp2rss auth login                              # 首次使用先登录
mp2rss mp subscribe https://mp.weixin.qq.com/s/xxxxxxxxxx

需要注意，首次订阅不会回溯该账号此前发布的历史文章，只从订阅时刻起持续收录新内容。这意味着如果训练任务需要更大的初始语料规模，建议提前规划、尽早把目标账号都订阅上，让语料随时间自然积累；后续增量补充新数据时，同一批账号会持续产出新样本，不需要重新采集。完整的鉴权和调用方式见快速开始。

第二步：批量拉取文章数据组装成原始语料集 ​

订阅完成后，用 Open API 按账号逐个拉取该公众号的文章数据：

bash
curl "https://mp2rss.bugcode.dev/open-api/subscriptions/{mpId}/articles" \
  -H "Authorization: Bearer {feed_key}"

也可以用 CLI 直接输出 JSON，方便后续用脚本批量处理：

bash
mp2rss mp articles {mpId} -o json > articles_raw.json

返回数据里每篇文章都带 title、publishedAt、mpName、contentMarkdown 等字段。用 Python 把多个账号的拉取结果合并成一份统一的原始语料表：

python
import json
import glob

records = []
for path in glob.glob("articles_raw_*.json"):
    with open(path) as f:
        data = json.load(f)
    for item in data["items"]:
        records.append({
            "text": item["contentMarkdown"],
            "title": item["title"],
            "source": item["mpName"],
            "published_at": item["publishedAt"],
            "label": None,  # 留空待标注
        })

with open("corpus_raw.jsonl", "w") as f:
    for r in records:
        f.write(json.dumps(r, ensure_ascii=False) + "\n")

生成的 corpus_raw.jsonl 每一行是一条带完整元数据的样本，label 字段留空，直接可以导入标注平台或者写规则脚本做弱监督预标注，进入正式的标注流程。

第三步：建立定时增量拉取，让语料持续生长 ​

训练语料不是攒够一批就结束，模型上线后通常需要定期补充新数据做增量训练或漂移监控。用 cron 或调度平台定时触发第二步的拉取脚本，按 publishedAt 过滤出上次拉取之后的新增文章，追加进语料表并同步走一遍标注流程，就能把语料更新变成一条持续运行的流水线，不再依赖人工定期回去逐个公众号翻找有没有新文章。

效果对比 ​

维度人工复制粘贴攒语料结构化数据批量拉取
元数据完整性发布时间、来源等信息容易漏记每条记录自带完整元数据字段
正文干净程度需手动剥离排版噪声Markdown 正文直接可用
初始语料规模受人工精力限制，攒够几千条耗时数周批量订阅后随账号更新持续积累
增量更新需要重新人工翻找新文章定时任务自动拉取增量数据

常见问题 ​

首次订阅能把某个公众号过去几年的文章都拉出来当语料吗？ 不能。首次订阅只从订阅时刻起持续收录新发布的文章，不回溯历史内容，因此需要较大初始语料规模的任务建议提前规划订阅时间，让语料随时间积累到目标规模。

拉取的文章正文格式适合直接喂给分类模型吗？ 文章以 Markdown 格式交付，已经去除了公众号页面的排版噪声，可以直接作为模型输入文本，或者按需要再做进一步的文本清洗（如去除标题、链接等）。

除了公众号，能不能把其他信源的文本一起纳入同一套语料流水线？ 支持同时订阅 X（Twitter）账号，同样以结构化数据交付，可以和公众号数据合并进同一套拉取与标注流程，扩大语料的信源多样性。

一个账号最多能同时订阅多少个公众号来覆盖目标行业？ 按套餐档位区分：49 元/月支持 50 个订阅、99 元/月支持 100 个、399 元/月支持 400 个，各档位功能一致，仅订阅数量上限不同，详见会员与计费。

除了 Open API，还有其他方式接入数据拉取脚本吗？ 提供 CLI（mp2rss）用于命令行批量操作，也提供 RSS 2.0 / Atom 1.0 / JSON Feed 1.1 / OPML 2.0 等标准格式，可以按数据流水线现有工具链选择最方便对接的方式。

想了解更完整的接口与命令行能力，可以从快速开始与命令参考继续查看；也可以直接访问 Mp2RSS 产品主站，贴入一篇文章链接试订一个公众号。