评分范围

[rantianhua]

请问每一项的评分范围是 1-5 吗？找了很久没有看到一个准确的说明

[morecry]

是的

[lycfight]

人工标注的详细guideline有吗？这些主观指标如何打1~5分，不同的标注人员能给出一致的评分吗？

[morecry]

标注文档放上去了。

[lycfight]

标注文档放上去了。

感谢，不过还有一点关于粒度1~5分的疑问，文档上只有1和5分，而中间2、3、4分有明显的评判标准吗？这个分数区间有点大，不会带来人工标注一致性结果的困难吗？还是说实际上人只标1或5分，实际上是两分制。

[morecry]

会有一些困难，人工标注分布一般都是中间高两头低，但是即便我们给了中间分数的评判标准依然解决不了这个问题，所以我们就把最好的和最坏的让标注人员知道，然后根据个人感受去评估就行了。

每个case+dimension会有两组打分，然后不一致的会再次讨论重新汇总一个一致的分数。实际上，没汇总之前，两组的一致性是比较低的，之前算过，现在找不到了。作为很主观的评估维度，我们认为一致性低是正常的。

[zinJoyce]

“人工标注分布一般都是中间高两头低，但是即便我们给了中间分数的评判标准依然解决不了这个问题，所以我们就把最好的和最坏的让标注人员知道”既然这样的话，那为什么不直接分好坏两类，对每个指标直接训练二分类模型，然后通过投票原则来对比模型在不同指标上的表现

[morecry]

一开始是想做的更细粒度一点，这样模型也会学到更有区分度的打分。您说的这种二分类也有道理，降低了标注人员的标注难度。

[lycfight]

“人工标注分布一般都是中间高两头低，但是即便我们给了中间分数的评判标准依然解决不了这个问题，所以我们就把最好的和最坏的让标注人员知道”既然这样的话，那为什么不直接分好坏两类，对每个指标直接训练二分类模型，然后通过投票原则来对比模型在不同指标上的表现

明显有些指标就只适合二分类，有些指标像信息量可能适合更多粒度