SPEC、Intel CPUのベンチマーク結果2,600件以上を無効に。ベンチマークに特化した不正な最適化を行ったため

SPEC CPU 2017ベンチマークは、主にハイエンドサーバー、データセンター、ワークステーションPCで使用されるベンチマークだ。異なるコンピューター同士を比較できるように標準化された方法でさまざまなワークロードの性能をテストする。

SPEC CPU 2017のパフォーマンスは、ハードウェアだけでなくソフトウェアにも依存する。ソフトウェア側の重要な要素の1つはコンパイラだ。コンパイラは記述されたコードをプロセッサーが最適に実行できるように再フォーマットするプログラムだ。

SPECの調査によると、Intelが使用したコンパイラ『Intel oneAPI DPC++/C++』は、SPEC CPU 2017ベンチマークのためだけに特別な最適化が施されているという。この最適化はSPECの定めるルールに反した不正行為に該当するため、SPECは2,600件以上のIntel CPUのベンチマーク結果を無効とした。

Phoronixによると、この最適化により、SPECintのベンチマーク結果が9％向上する可能性があるという。また、『Intel oneAPI DPC++/C++』のバージョン2022.0から2023.0がこの影響を受けると指摘している。無効となったベンチマーク結果のほとんどは、主に第4世代Xeonスケーラブル・プロセッサーSapphire Rapids CPU上で2022年に実行されたものだ。

性能を向上させるためにコンパイラを最適化すること自体は悪いことではないが、ベンチマークに特化して最適化するのはいかがなものだろうか。これは一般的には非難される行為だ。