显卡 频道

与屌丝软件不同 Futuremark谈基准测试

        【IT168 资讯】前一段时间有安兔兔引发的测试程序跑分与优化的问题沸沸扬扬,备受争议的安兔兔也做了官方回应,并在本月19日推出了V4.0版安兔兔程序,虽然跑分还是最重要的部分,但是安兔兔也在努力寻求救赎,大谈应用体验,希望借应用体验得分改变大家对他们只会跑分的印象。

  作弊与优化的问题在基准测试行业由来已久,这个行业中比安兔兔更有资历的公司都曾遭遇过这样的质疑,比如芬兰的Futuremark公司,现在他们的业务也从PC平台伸向了Android、iOS及Windows RT、WP移动平台,3DMark的跑分也有过这样的争议(高通CPU在跑分中无比强大),他们是如何看待这个行业,如何评价安兔兔事件,又如何保证基准测试的公平性的?VR-Zone最近在台北采访了Futuremark老总Oliver Baltuch,后者谈到了这些问题。

与屌丝软件不同 Futuremark谈基准测试
▲原文内容比较多,我们捡有关基准测试的部分来看。

  Oliver Baltuch回答的第一个问题是“他们如何确保不出现安兔兔门事件?”,他详细解释了Futuremark是如何设计3DMark这样的基准测试软件并保证公平性的。Futuremark内部负责运营的团队和负责技术的团队之间有中国墙隔离。首先他们会面向所有成员起草一份规格说明书提议介绍测试程序,然后收集成员们的反馈形成最终的规格说明书,3DMark的说明书提议就有25页之多。

  中国墙:Chinese Wall,证券行业用语,这个词与我朝实际上毫无关系,是美帝先用的,详见百科。

  Futuremark的driver审批原则非常明确地宣布了你不能自己定义、改变测试程序。一旦我们发现有人没遵守我们的规则,我们并不会向世界大张旗鼓地宣传这事,我们会悄悄地与这些人沟通,让他们知道这些跑分是不会公开在我们的网站上的,除非他们改变自己的作为。通常情况下,他们都会认识到自己的错误,改正之后我们才会接受。

  安兔兔只是简单地跑分,人们也就简单地用这个跑分,就像使用某个设备一样。对我们来说,我们不相信基准测试是某个产品,它需要包含一整套的评测者指导、驱动规则、批准政策及完整的后端服务器,这样才可以对比测试结果,检查是否有什么猫腻。我们有服务,我们有(品质保证),我们确保我们的产品是完整的产品。

  另外,很多人都没有意识到芬兰这个国家对企业监管有非常严苛的透明度,就算我们是个私人企业,任何人只要花欧元就可以查询到过去五年中我们的账簿和财务信息。我们与其他公司的商业合作是无法隐藏的,也没有什么秘密交易是可以隐藏的。(喂,你黑安兔兔也就算了,这是把我朝都顺带着黑了啊,不想混了啊)

  这就是我们所拥有的一个非常透明的监督系统。规格书中涉及的任何改变都是公开的,所有的参与者都能看到这些。你们可能听到一些“天啊,xxx的跑分这么高,一定是收钱了!”,但这并不是真的。

  VR-Zone又接着问了Baltuch一个尖锐的问题,“你这样说是不是意味着你们比安兔兔更诚实?”,Baltuch也很狡猾,说他不是这个意思,他只是解释了Futuremark做基准测试程序一以贯之的准则。他说安兔兔的情况是独立的问题,是他们自己的事。他并不知道其中有什么内幕工作(inner workings),Futuremark只能做好自己的事。

  采访中还有其他问题,比如iOS版为什么这么晚还没发布之类的,不过都是些小问题了。

  Oliver Baltuch的回答都很官方化,也很巧妙,多多少少也在打安兔兔的脸。另外,VR-Zone原文的标题是“世界上最诚实的基准测试业务公司?”,这个问号加的很好,Futuremark是不是真的那么小纯洁大家都有自己的看法,至少去年Virtu MVP被揭露跑分作弊、Hwbot封杀Virtu跑分之时,Futuremark依然接受Virtu MVP跑分,即使他们强调了Virtu MVP开关跑分不具可比性。

1
相关文章