Pengukuran Kinerja Komputer dan Permasalahannya
Tulisan berikut ini akan mengulas salah satu benchmark yang banyak dipergunakan, yakni SPEC, yang dikembangkan oleh System Performance Evaluation Corporation. Uraian tentang benchmark SPEC ini dimaksudkan untuk menjelaskan cara pengukuran kinerja komputer dengan membandingkan waktu eksekusi yang diperlukan oleh suatu komputer untuk satu program tertentu dengan waktu eksekusi pada komputer rujukan. Pada bagian berikutnya diuraikan mengenai kelemahan pengukuran kinerja berbasis 'waktu eksekusi program' tersebut dan alternatif lain yang dapat dilakukan untuk memperbaiki pengukuran kinerja komputer tersebut.
SPEC95
Sebagai upaya untuk mendapatkan tolok-ukur baku agar dapat membandingkan kinerja berbagai sistem komputer, sekelompok perusahaan besar antara lain: DEC, Hewlett-Packard, IBM, Intel, dan Sun sepakat membentuk lembaga non-profit yang diberi nama System Performance Evaluation Corporation (Sharp dan Bacon, 1994:66; Reilly, 1995). Lembaga ini ditugasi untuk mengembangkan dan memberi dukungan terhadap pembakuan benchmark kinerja komputer.
Sebelum membuat program untuk mengukur kinerja komputer, SPEC telah mempelajari sejumlah program yang umum dipakai, menganalisis algoritma dan bahasa mesinnya, menentukan cara mengukur kinerja komputer, dan menentukan rumusan untuk membuat rerata skor kinerja komputer dari skor-skor yang diperoleh masing-masing elemen benchmark. Benchmark SPEC terdiri atas dua kelompok program. Satu kelompok merupakan program-program yang dititik-beratkan pada operasi atas bilangan integer dan satu kelompok lainnya dititikberatkan pada operasi atas bilangan floating-point.
Perangkat benchmark pertama yang dibuat diperkenalkan pada tahun 1989, karenanya disebut SPEC89. Pada tahun 1992 dimunculkan versi baru, dan dengan demikian SPEC89 tidak digunakan lagi. SPEC92 terdiri atas 20 program yang terbagi menjadi dua kelompok, yakni untuk operasi bilangan integer dan untuk operasi bilangan floating-point. Saat ini, SPEC92 juga sudah tidak digunakan lagi karena telah dimunculkan perangkat benchmark baru yakni SPEC95. Pada SPEC95 ini, komputer rujukan yang digunakan sebagai pembanding berubah dari semula VAX-11/780 menjadi Sun SPARCstation 10/40. Dengan demikian, bila dikatakan skor SPECint95 adalah 5.0, maka berarti sistem yang diuji 5 kali lebih cepat dibanding Sun SPARCstation 10/40.
SPEC95, yang diperkenalkan pada bulan Agustus 1995, merupakan perangkat benchmark yang terdiri atas dua bagian, yakni CINT95 (ditulis dalam bahasa C) dan CFP95 (ditulis dalam bahasa Fortran). CINT95 merupakan bagian dari perangkat SPEC95 yang mengukur kinerja komputer terhadap operasi bilangan integer, yang diasumsikan mewakili program aplikasi bisnis. Bagian lain, yakni CFP95, mengukur kinerja komputer terhadap operasi bilangan floating-point yang diasumsikan mewakili program aplikasi ilmiah-numerik.