Kerangka kerja 5 langkah Thomson Reuters untuk mengukur nilai analitik

“Bagaimana Anda mengukur dan menunjukkan nilai analisis produk?”

Ini adalah pertanyaan yang menarik perhatian banyak orang di Pendomonium 2023, termasuk direktur senior analisis produk Thomson Reuters, Drew Harden. Tidak ada yang mencapai kesimpulan pasti, dan itulah akhirnya. Namun kemudian, Harden menemukan jawaban atas masalah ini di organisasinya sendiri dan kembali pada tahun 2024 untuk berbagi.

Mengukur dampak analisis produk Anda

Thomson Reuters berinvestasi besar dalam analisis produk: Mereka memiliki 30+ analis yang mengelola data Pendo dari 150+ aplikasi.

Dan karena pendekatan tradisional untuk mengukur dampak analitik—seperti menghitung jam kerja yang dihemat—hanya menangkap sebagian kecil dari dampaknya, Harden menemukan pendekatan yang lebih holistik: Menghitung jumlah keputusan produk yang terpengaruh.

Langkah 1: Definisikan kesuksesan sebagai keputusan produk yang dipengaruhi

Harden membahas beberapa cara berbeda untuk mengukur “keberhasilan” analisis produk—mulai dari keseluruhan nilai atau persentase proyek yang didukung, hingga penghematan jam kerja, dan bahkan produktivitas yang diukur dalam bentuk penjualan.

Peringatan spoiler: Tidak ada diantaranya memuaskan. Menghasilkan uang dalam jumlah yang dapat diukur, penghematan waktu, atau keuntungan tidak pernah menjadi tujuan tim mereka. Oleh karena itu, mereka mengalihkan fokusnya ke metrik yang lebih nyata: Jumlah keputusan produk yang dipengaruhi oleh tim mereka.

Harden mendefinisikan “mempengaruhi keputusan” sebagai merekomendasikan serangkaian tindakan kepada tim produk. Hal ini berarti beralih dari sekedar menyediakan data, dan beralih ke memberikan wawasan yang dapat ditindaklanjuti. Pada tahun 2023, tim mereka menetapkan tujuan untuk memengaruhi 250 keputusan produk.

Langkah 2: Lacak jumlah keputusan yang Anda pengaruhi

Harden berpendapat bahwa mempengaruhi suatu keputusan berarti merekomendasikan suatu tindakan. Daripada mengambil data (seperti tanggapan para pencela NPS) untuk manajer produk (PM) mereka, tim tersebut ingin mendukung proyek dan menjawab pertanyaan strategis, seperti:

• Langkah apa yang harus Anda ambil untuk meningkatkan skor NPS Anda?
• Bagaimana Anda bisa meningkatkan retensi pelanggan?
• Siapa pelanggan berisiko saat ini? Bagaimana dengan masa depan?

Untuk menghitung berapa banyak keputusan produk yang mereka pengaruhi, mereka menambahkan item ke sistem manajemen proyek mereka, Azure DevOps (ADO).

Selanjutnya, mereka merekomendasikan tindakan untuk berinteraksi dengan PM. Ini bisa didapat super berbeda, jadi mereka memulai dengan mempertimbangkan perilaku yang ingin mereka dorong. Beberapa pedoman termasuk:

• Keputusan untuk tidak melakukan apa pun masih penting.
• Satu proyek dapat mempengaruhi banyak keputusan.
• Dasbor dapat memengaruhi banyak keputusan dari waktu ke waktu.
• Tidak masalah jika tim mitra tidak mengambil tindakan atas keputusannya.

Langkah 3: Libatkan dan kelola tim mitra

Thomson Reuters adalah organisasi yang sangat besar. Tim analisis produk peduli dengan nilai pekerjaan mereka—tetapi bagaimana mereka dapat menarik semua orang kalau tidak peduli?

Salah satu cara mereka mengatasinya adalah dengan membuat formulir aplikasi Pendo. Tim lain banyak terlibat dengan formulir ini, dan membantu mereka beralih dari mengatakan “Saya ingin melihat keluhan dari para pengkritik NPS saya,” menjadi “Saya memiliki keputusan pengembangan yang akan datang, dan saya dapat membuat keputusan yang lebih baik jika saya tahu apa yang menjadi 10 teratas. fitur-fiturnya adalah.”

Meskipun dolar bukan merupakan indikator utama nilai, dolar memberikan ruang untuk bidang ini dalam penerapannya. Hal ini membantu kami memahami apa dan kapan PM akan meluncurkan proyek mereka, dan bagaimana proyek tersebut terhubung dengan sasaran atau pendapatan secara keseluruhan.

Inilah bagian kerennya: Semua orang menyukai ini. Mereka beralih dari sekedar diperlakukan sebagai pengurus Pendo menjadi mitra bisnis internal. Tim produk kini dapat lebih memikirkan pengembangannya, dan analis produk mereka dapat meluangkan waktu yang biasanya dihabiskan untuk proyek berdampak rendah ke proyek bernilai lebih tinggi.. Kualitas proyek mereka segera meningkat.

Langkah 4: Sering-seringlah menunjukkan hasilnya

Mereka telah melakukan semua upaya ini—sekarang saatnya menunjukkan dampaknya kepada organisasi Thomson Reuters yang lebih luas.

Ada empat cara utama mereka menunjukkan hasil tim mereka:

• Masukan singkat dalam Tinjauan Bisnis Kuartalan (QBR). Saat mereka mendesain ulang produk pajak, mereka mendalami fitur tertentu, mengungkapkan bahwa fitur tersebut tidak banyak digunakan, dan merekomendasikan agar mereka menghentikan fitur tersebut.

• Ringkasan email untuk menampilkan bagaimana analitik dapat membantu PM. Saya akan memilih enam hingga delapan keputusan teratas, memberikan beberapa sapaan kepada para pahlawan tanpa tanda jasa, dan menyoroti bagaimana mereka membantu produk memahami apakah mereka dapat menghentikan fitur ini berdasarkan data penggunaan yang rendah.
• Pertemuan pemangku kepentingan untuk meninjau kemenangan dan bertukar pikiran. Mereka menggunakan kerangka keputusan ini untuk berbicara dengan para pemimpin senior, bertukar pikiran tentang solusi, dan membuat daftar semua keputusan yang mereka ambil untuk mendukung tim mereka.
• Laporan analisis produk. Mereka menulis secara rinci dan menawarkan perpustakaan yang dapat ditelusuri sehingga pengguna dapat menjelajahinya untuk memahami apa yang mereka lakukan di berbagai area produk. Berikut pratinjau tempalte kami:

Langkah 5: Ulangi dan kembangkan

Pendekatan kami dalam mengukur nilai pekerjaan analitik melampaui ekspektasi: Pada tahun 2023, hal tersebut memengaruhi 341 keputusan—136% lebih tinggi daripada tujuan awal mereka. Namun hasilnya tidak hanya sampai disitu saja: tim peneliti UX Thomson Reuters juga mengadopsi kerangka keputusan ini untuk program CXO mereka.

Ke depan, mereka berfokus pada peningkatan dampak analisis produk dengan dua cara: Menggabungkan AI ke dalam perkiraan penggunaan dan pemodelan retensi, serta membangun kemitraan yang lebih dalam dengan tim produk.

Lebih suka menonton? Saksikan rekaman sesi Pendomonium dari Thomson Reuters.