睡不着, 看央视主持人大赛, 智商被侮辱了.
毕业于Upenn的龚凡, 在大赛上展示了机器学习作诗, 以"撒贝宁"为题, 获得输出"雅调清圆有捷才, 逢君笑口便常开. 玉荣风骨些许矮, 且帅还添半点呆. "
唉, 从何处开始吐起.
一. 她展示的《全宋词》的词频统计. 我刚刚去跑了一遍, 得到的数据完全不同, 基本是她的两倍以上. 这说明她的数据不全.
二. 以"撒贝宁"为题, 作的诗如此贴切, 我能想到的办法就是去爬搜索引擎, 然后从海量的数据中抽取关键词作为种子. 这个抽取过程风险极大, 虽然没有实践过, 但我严重怀疑所抽取的种子能否达到这首诗的贴切程度. 如果尽可能地强行拔高抽取精确度, 可能会涉及多重、联合、往返地抽取, 其计算成本也会被无限制的拔高. 再者说, 如此复杂的过程, 真的是她所展示的那寥寥几行代码所能实现的吗？
三. 一般来说, 作诗算法都是分词、计算关联, 给定每句诗的首字(藏头)或者整首诗的首字或者特定种子, 根据训练集中抽取的语义规则, 从关联库里挑出词一个一个的往后挂, 算法再高端也不会跳出这个模式. 于是, 我去把她提到的训练集《全唐诗》、《全宋词》都跑了一遍, 把她这首诗拆分检索. 全宋词超20000首, 全唐诗超50000首, 然而她这首诗中用到的词汇在其中占比相当低, 这完全不符合几乎所有算法所追求的最优选择, 甚至于像"雅调"、"清圆"、"捷才"、"常开"这些词, 是在总量超70000条的数据集中完全没有出现过的. 这表明这个数据集完全不可能训练出一个能作出这首诗的模型.
她特地强调了自己的学校以及专业背景优势, 把这些用在主持人大赛中, 当做自己的闪光点, 然而这首诗实在是侮辱了广大观众的智商, 与江湖骗子何异？
