中文 | English
一个基于 283 万字语料统计的去 AI 味 skill
这个 skill 希望用语言学的研究方式,来量化"什么是 AI 味",并致力于去除 AI 写作的"AI 味"。该 skill 在 moxt.ai 制作。
研究以 629 篇文章(2,826,972 汉字,95,551 句,45,721 段)构建对照语料,其中 300 篇由五个主流模型在受控条件下生成,329 篇为人类作者的写作文本。检验了 26 项在公共讨论中被广泛认作"AI 文风"的候选特征,逐项计算生成侧与人类侧的频率比。
结果显示,11 项特征通过检验,有明显的区分度,其中区分力最强者为段首零回指评论(4.4 倍)。另有 15 项不具备区分力,部分项的方向与流行认知相反:人类使用比喻的频率为生成文本的 2.4 倍,正文设问句为 17 倍,句内同构排比亦高于生成文本。
研究同时发现,不同大模型的"AI 味"表现不同。例如破折号,DeepSeek 每千字 5.16 次、Claude 4.25 次,而 GPT 只有 0.11 次,极差达四十倍;提示性冒号最重的是 DeepSeek 与 Claude,问句小标题最重的是 Gemini。所谓"AI 文风"并非单一形态。
文末报告了六次因算子设计缺陷导致的测量失误及其修正过程,并讨论了单一模型样本、分母选择与语料不可核验三项方法局限。
关键词 生成文本识别;中文句法;语料库语言学;篇章衔接;对照研究
大语言模型生成的中文文本存在某种可感知的风格特征,公共讨论中称之为"AI 味"。这一判断在写作者社群中具有高度共识,但支撑它的证据基本停留在个案观察层面。
流通中的判别清单大致包含以下条目:破折号使用过密;对举结构("不是 A 而是 B")反复出现;句长分布过于均匀;单字虚词(就、很、了)偏少;以具体物象包装抽象概念("记忆的仓库");设问后立即自答。这些条目通过社交媒体反复传播,逐步取得了近似常识的地位。
问题在于,它们从未被系统检验。清单中的条目来源各异,有的出自对早期模型输出的观察,有的来自英文语境的研究结论直接移植,有的仅是个别写作者的印象。其中哪些具有统计意义上的区分力,哪些是观察者偏差的产物,哪些方向甚至是相反的,缺乏可对照的证据。
本研究的目标不是提出新的判别清单,而是对既有清单逐项检验,并给出可复算的判定程序。
采用对照设计。以文本来源(模型生成 / 人类写作)为自变量,以各候选句法特征的出现频率为因变量。
有效对照要求控制三类混淆因素。
主题与文体。 生成侧的话题范围与文体设定与人类侧对齐。若两侧写作对象不属同类,观测到的差异无法归因于文本来源,可能仅反映文体差异。
模型个体差异。 生成侧采用五个模型各 60 篇,而非单一模型。研究初期曾以两个模型的 30 篇样本进行测算,所得结论后续大部分未能重复。以破折号为例,初期数据支持"该特征为 Claude 独有",扩充至五个模型后发现另一模型的频率更高。单一模型的个体倾向易被误读为生成文本的共性。
生成条件。 生成侧不联网检索,不施加任何写作风格指令,仅提供话题。附加风格约束将掩盖模型的默认倾向。
| 侧 | 篇 | 汉字 | 句 | 段 |
|---|---|---|---|---|
| 生成 | 300 | 1,179,105 | 37,642 | 14,549 |
| 人类 | 329 | 1,647,867 | 57,909 | 31,172 |
| 合计 | 629 | 2,826,972 | 95,551 | 45,721 |
生成侧模型为 claude-opus-4-6、deepseek-v4-pro、gemini-3.1-pro、gpt-5.6-sol、kimi-k3,覆盖 38 个话题。
人类侧为公开发表文本,按来源分组独立统计。分组统计的作用在于检验组间一致性:若某特征仅在个别组偏高,则更可能反映作者个人风格或文体惯例,而非人类写作的共性。本研究中,单字虚词与破折号两项即由此被识别为不可靠指标。
分句。 先按行切分,剔除标题行、表格行、代码块、引用块与列表项,再以 。!?; 为界断句,保留长度不小于 4 字的片段。
剔除非正文行是必要步骤。研究初期未作此处理,仅以 。!? 断句,导致 Markdown 表格与无句末标点的长列表被计为单句。受此影响,某一组的句长标准差被计算为均值的 27 倍,并据此得出"生成文本的句长均匀度为人类的 51 倍"这一结论。修正切分程序后重新测算,该比值为 0.87,即不存在差异。
分段。 以空行为界切分,剔除标题、表格、代码块、引用、列表项与图片行,保留长度不小于 8 字的段落。
依据被测特征所依附的语言单位选择分母。
