有评论指出，在量刑程序中对COMPAS的使用侵犯了被告的正当程序权利，因为法院存在着对算法技术准确性的错误假设。无论是在理论上还是在实践中都存在着对风险评估算法准确性的质疑。[3]

首先，有研究发现，COMPAS的评估并不像法院所认为的那样准确。ProPublica[4]作出的评估显示：该算法评分在预测罪犯累犯概率方面的正确率达到61％，但在预测暴力累犯率方面的正确率只有20％。它还发现：“该算法在预测黑人和白人被告累犯概率方面的正确率大致相同（白人被告为59％，黑人被告为63％），但是预测失误的方式却大不相同。在为期两年的后续随访期内，该算法对白人和黑人被告进行的分类方式是不同的。”[5]

其次，由于缺乏外部监督，开发者可能为了自身商业利益而忽略算法的准确性。为了促进风险评估算法的准确性，需要不断向其训练数据库增添新的数据，因而也需要持续监督，但目前由于算法受到商业秘密保护，只有开发商有权监督。但问题是，开发商的利益并不总是与社会利益一致，业务逻辑并不总是与对科学准确性的需求一致。例如，如果风险评估算法高估了罪犯的累犯风险而要求对其采取措施，这种错误通常很难被发现，即使被发现也不会给公司造成社会丑闻。但如果该算法低估了罪犯的累犯风险而建议将其释放，一旦罪犯再次实施了暴力犯罪，开发者可能会面临强烈的批评，公司的商业形象和商业利益也会受损。因此，开发者可能会在预防后一种错误方面付出更多成本，而可能忽略了前一种错误。(www.daowen.com)

最后，开发者可能为了消除政治或道德风险，在算法中故意排除统计学意义上的重要因素，从而降低算法准确性。例如，尽管有些自变量（例如种族、性别、少数族裔地位等）已经显示出与人口中的暴力行为有统计学意义上的相关关系，但乍看之下，如果将这些因素纳入风险评估算法可能是令人不快的。[6]实践中，已经有开发者在算法中排除了这些重要的统计变量，就政策制定而言这些变量被认为是“有问题的”。[7]例如，弗吉尼亚州官员开发的风险评估工具故意将种族排除在规定变量之外，尽管这样做违反了基本的统计需求。[8]又如，联邦系统定罪后风险工具的开发者故意将性别排除在算法之外，“尽管他们的原始回归模型发现，女性在作为累犯的阴性预测指标方面具有统计学上的显著性”。[9]