方法、来源与诚信声明
不编造数据原则:主流平台(微博/百度/今日头条)在采集环境被
robots.txt、地域与设备签名风控拦截,系统如实记录并跳过;定量证据来自
9 个采集渠道(含 Google News 港台版)的真实文档与逐条带链接的已编码案例,绝不以合成数据填充。
采集渠道可达性台账(主流平台)
| 采集器 | 可达性 | 文档 | 说明 |
weibo | 不可达 | 0 | robots.txt disallow |
baidu_news | 不可达 | 0 | robots.txt disallow |
toutiao | 不可达 | 0 | empty data (no device signature / ttwid cookie) |
seed_corpus | 可达 | 7 | loaded 7 curated, source-cited documents |
实际数据来源构成(1,034 篇)
跨 9 个采集渠道扇出数千条查询变体并分页,按规范化 URL + 简繁归一标题跨来源去重,
配合每引擎独立的冷却退避(遇 429/302/验证码自动休眠 60→600s,其余继续)。
其中 Google News 台湾/香港编辑用于补充港台媒体对大陆事件的报道(繁体经 OpenCC 归一)。
| 来源 | 文档数 |
Google News(大陆 zh-Hans) gnews | 333 |
搜狗 sogou | 185 |
搜狗微信(公众号) sogou_wx | 178 |
Google News(台湾 zh-Hant) gnews_tw | 147 |
WebSearch 检索通道 websearch | 82 |
Quark/夸克(神马) quark | 63 |
Bing News bingnews | 18 |
Google News(香港 zh-Hant) gnews_hk | 15 |
Brave Search brave | 9 |
sohu sohu | 1 |
sjtu sjtu | 1 |
sina sina | 1 |
ntdtv ntdtv | 1 |
全文抓取:280 篇已抓取并存储正文(其余为 Google News/搜狗 等
重定向或反爬墙限制,仅存标题与摘要)。
宏观背景指标(引自公开研究/报道)
局限
- 已编码案例为小样本、媒体可见性偏差的策展集;其比率用于揭示条件性规律(是否走红→是否解决),不可外推为总体发生率。
- 文档级信号是“话题中出现该信号的文档占比”,反映舆论场构成;“回应/通报”等词高频,
代表事件被报道并触发官方表态,不等于诉求实质解决。
- “法律途径 100% 解决”来自按“成功案例”检索的结果,存在选择性偏差,非真实胜诉率。
复现
python harvest.py 1000 # 采集 ≥1000 条真实文档入 SQLite
python run.py # 分析 + 生成报告/导出/站点