Menjadi Ahli Critical Appraisal Jurnal Medis

Anda tidak cukup mampu menjawab “apa hasil penelitian ini?”. Level expert adalah mampu menjawab:

“Apakah hasil penelitian ini valid, seberapa besar efeknya, apa sumber biasnya, apakah hasilnya applicable pada pasien saya, dan seberapa yakin saya boleh menggunakannya untuk clinical decision-making?”

Di bawah ini saya susun program 90 hari intensif, dari dasar sampai level advanced, dengan orientasi dokter/residen Obsgin dan evidence-based medicine.

---

1. Reverse engineering: bagaimana seorang expert critical appraisal berpikir?

Saya akan memecah kemampuan expert menjadi 7 lapisan.

Level 1 — Membaca

Anda mampu memahami:

• research question
• population
• intervention/exposure
• comparator
• outcome
• results

Level 2 — Memahami desain

Anda langsung mengenali:

• RCT
• cohort
• case-control
• cross-sectional
• diagnostic accuracy
• prognostic study
• systematic review
• meta-analysis
• clinical prediction model

Level 3 — Menilai validitas internal

Anda bertanya:

Apakah penelitian ini dapat dipercaya?

Di sinilah masuk:

• selection bias
• information bias
• confounding
• attrition bias
• measurement bias
• reporting bias
• immortal time bias
• time-varying bias

Level 4 — Memahami statistik

Anda tidak hanya melihat:

p <0,05.

Tetapi memahami:

• effect size
• confidence interval
• absolute risk
• relative risk
• OR
• HR
• ARR
• RRR
• NNT
• NNH

Level 5 — Menilai clinical importance

Pertanyaannya:

Apakah efeknya cukup besar untuk mengubah praktik klinis?

Karena:

Statistically significant ≠ clinically important.

Level 6 — Applicability

Anda bertanya:

Apakah pasien penelitian sama dengan pasien saya?

Meliputi:

• population
• baseline risk
• intervention
• setting
• resources
• patient preference

Level 7 — Evidence synthesis

Level tertinggi:

Bagaimana hasil penelitian ini dibandingkan dengan keseluruhan evidence yang tersedia?

Di sini Anda mulai berpikir seperti reviewer jurnal/editor.

---

2. Framework utama yang harus tertanam

Saya ingin Anda membangun satu algoritme mental:

5A

1. ASK

Apa pertanyaan penelitian?

2. ACQUIRE

Bagaimana evidence diperoleh?

3. APPRAISE

Apakah metodologinya valid?

4. APPLY

Apakah applicable kepada pasien?

5. ASSESS

Apa implikasinya terhadap clinical decision?

Ini adalah cara berpikir Evidence-Based Medicine.

Untuk critical appraisal jurnal, saya kemudian menambahkan:

Question → Design → Bias → Effect → Precision → Importance → Applicability

Kalau Anda konsisten menggunakan urutan ini, kemampuan appraisal akan berkembang jauh lebih cepat.

---

3. Tools gratis/low-cost

A. JAMA Users' Guides

Sangat bagus untuk memahami EBM dan interpretasi penelitian klinis. Koleksi Users' Guide to the Medical Literature tersedia di JAMA.

B. EQUATOR Network

Gunakan sebagai peta reporting standards:

• CONSORT → RCT
• STROBE → observational
• STARD → diagnostic
• TRIPOD → prediction model
• PRISMA → systematic review

EQUATOR juga menyediakan toolkit khusus untuk peer reviewing research.

C. Cochrane

Gunakan terutama untuk:

• RCT
• risk of bias
• intervention studies
• systematic reviews

RoB 2 adalah framework Cochrane untuk menilai risiko bias pada RCT dan menggunakan domain/signalling questions, dengan judgment low risk, some concerns, atau high risk.

D. PubMed

Untuk latihan membaca paper primer.

E. Zotero

Untuk menyimpan paper dan membangun database critical appraisal pribadi.

F. R

Gratis dan sangat berguna untuk memahami statistik, terutama ketika Anda mulai melakukan re-analysis.

---

4. PROGRAM 90 HARI

FASE I — MINDSET CRITICAL APPRAISAL

Hari 1–14

---

Hari 1 — Apa itu critical appraisal?

Pelajari perbedaan:

Reading

vs

Critical reading

vs

Critical appraisal

vs

Peer review

Latihan:

Ambil satu artikel Obsgin.

Jangan lihat hasilnya dulu.

Tuliskan:

Apa yang ingin dibuktikan peneliti?

---

Hari 2 — Research question

Identifikasi:

• Population
• Exposure/intervention
• Comparator
• Outcome
• Time

Kemudian ubah menjadi PICO/PECO.

---

Hari 3 — Study design

Ambil 20 artikel Obgyn secara acak.

Tebak desainnya sebelum membaca Methods.

Kemudian cek.

Target:

≥90% benar.

---

Hari 4 — Hierarchy of evidence

Pelajari:

• case report
• case series
• cross-sectional
• case-control
• cohort
• RCT
• systematic review/meta-analysis

Tetapi jangan menganggap hierarchy sebagai:

"RCT selalu lebih baik daripada semua penelitian."

Pahami:

Study design harus sesuai dengan causal question.

---

Hari 5 — Internal vs external validity

Bedakan:

Internal validity

Apakah hasil penelitian valid?

External validity

Apakah hasilnya dapat diterapkan ke populasi lain?

---

Hari 6 — Bias

Mulai membangun "radar bias".

Pelajari:

• selection bias
• information bias
• measurement bias
• recall bias
• observer bias
• attrition bias
• reporting bias

---

Hari 7 — Confounding

Ini wajib dikuasai.

Pahami:

Exposure → Outcome

dan:

Exposure ← Confounder → Outcome

Contoh Obgyn:

Obesity → preeclampsia

Apa yang dapat menjadi confounder?

---

Hari 8 — Collider

Ini salah satu konsep yang membedakan reviewer biasa dari reviewer advanced.

Pelajari:

Collider bias

Gunakan DAG sederhana.

---

Hari 9 — Effect modification

Bedakan:

Confounding

vs

Effect modification

Ini sering salah dalam paper medis.

---

Hari 10 — Measurement

Tanyakan:

Apakah variabel diukur dengan benar?

Misalnya:

• BP measurement
• proteinuria
• fetal growth
• blood loss
• pain score
• recurrence

---

Hari 11 — Outcome

Bedakan:

Hard outcome

misalnya:

• maternal death
• neonatal death
• stroke

dengan:

Surrogate outcome

misalnya:

• biomarker
• laboratory endpoint
• imaging endpoint

---

Hari 12 — Protocol vs analysis

Tanyakan:

Apakah analisis sesuai dengan pertanyaan awal?

Cari:

• outcome switching
• subgroup fishing
• post-hoc analysis

---

Hari 13 — Reporting guidelines

Mulai menggunakan:

• CONSORT
• STROBE
• STARD
• TRIPOD
• PRISMA

EQUATOR memiliki database yang sangat luas dan dapat dicari berdasarkan study design dan specialty, termasuk Obstetrics and Gynaecology.

---

Hari 14 — MINI APPRAISAL

Ambil satu RCT Obgyn.

Buat appraisal satu halaman:

Question
Design
Population
Intervention
Comparator
Outcome
Bias
Effect
Precision
Applicability
Bottom line

---

FASE II

RCT CRITICAL APPRAISAL

Hari 15–28

---

Hari 15 — Randomization

Pahami:

• sequence generation
• random allocation
• block randomization
• stratification

---

Hari 16 — Allocation concealment

Ini berbeda dari blinding.

Pahami:

Allocation concealment ≠ blinding.

---

Hari 17 — Blinding

Bedakan:

• participant blinding
• investigator blinding
• outcome assessor blinding

Dan tanyakan:

Apakah blinding benar-benar relevan terhadap outcome ini?

---

Hari 18 — Intention-to-treat

Kuasai:

ITT

vs

per-protocol

vs

as-treated

---

Hari 19 — Missing data

Pelajari:

• loss to follow-up
• missing outcome
• differential attrition
• multiple imputation

---

Hari 20 — Outcome assessment

Apakah outcome:

• objective?
• subjective?
• blinded?
• validated?

---

Hari 21 — Selective reporting

Bandingkan:

protocol → registry → published paper

Cari apakah outcome berubah.

---

Hari 22 — Composite outcome

Ini sangat penting.

Misalnya:

Maternal death OR ICU admission OR severe hypertension OR cesarean delivery.

Tanyakan:

Apakah semua komponen memiliki clinical importance yang sama?

---

Hari 23 — Absolute vs relative effect

Misalnya:

Risk:

10% → 5%

RR = 0,50

Tetapi:

ARR = 5%

dan:

NNT = 20.

Anda harus bisa melihat ketiganya secara simultan.

---

Hari 24 — Confidence interval

Pahami:

Precision

bukan sekadar:

statistical significance.

---

Hari 25 — p-value

Anda harus bisa menjelaskan mengapa:

p = 0,04

tidak berarti:

"kemungkinan hipotesis penelitian benar = 96%."

---

Hari 26 — RoB 2

Pelajari framework RoB 2 secara penuh. Cochrane menyediakan panduan dan training resources yang dapat digunakan secara publik.

---

Hari 27 — Appraise RCT

Pilih 3 RCT:

• satu excellent
• satu mediocre
• satu problematic

Bandingkan.

---

Hari 28 — Ujian

Appraise satu RCT dalam:

30 menit.

Target:

Tidak membaca paper secara linear dari Introduction sampai Discussion.

Anda harus belajar strategic reading.

---

FASE III

OBSERVATIONAL STUDIES

Hari 29–42

---

Hari 29 — Cohort

Pahami:

exposure → outcome

---

Hari 30 — Case-control

Pahami:

outcome → historical exposure

---

Hari 31 — Cross-sectional

Pahami:

exposure dan outcome diukur pada waktu yang sama.

Konsekuensi:

sulit menentukan temporality.

---

Hari 32 — Confounding

Cari confounder dalam paper.

---

Hari 33 — DAG

Gambarkan causal diagram dari satu paper.

---

Hari 34 — Matching

Pelajari:

• individual matching
• frequency matching

dan:

overmatching.

---

Hari 35 — Regression

Pahami:

• linear regression
• logistic regression
• Cox regression

---

Hari 36 — Adjusted vs unadjusted

Bedakan:

crude estimate

vs

adjusted estimate.

---

Hari 37 — OR

Pahami mengapa:

OR ≠ RR.

Terutama ketika outcome common.

---

Hari 38 — HR

Pahami:

• hazard
• censoring
• proportional hazards assumption

---

Hari 39 — Time-related bias

Pelajari:

• immortal time bias
• time-window bias
• time-varying exposure

---

Hari 40 — Propensity score

Pelajari:

• propensity score matching
• inverse probability weighting
• propensity score adjustment

---

Hari 41

Appraise:

3 observational studies.

---

Hari 42

Ujian:

Apakah association tersebut benar-benar causal?

---

FASE IV

DIAGNOSTIC & PROGNOSTIC PAPER

Hari 43–52

---

Hari 43 — Diagnostic accuracy

Kuasai:

Sensitivity

Specificity

---

Hari 44

Kuasai:

PPV

NPV

dan mengapa keduanya bergantung pada prevalence.

---

Hari 45

Kuasai:

LR+

LR−

Ini jauh lebih berguna untuk clinical reasoning.

---

Hari 46

Pelajari:

ROC

AUC

---

Hari 47

Diagnostic study appraisal.

Gunakan:

QUADAS-2

---

Hari 48

Pelajari:

reference standard

dan:

verification bias

---

Hari 49

Prognostic studies.

Bedakan:

prognostic factor

vs

predictive factor.

---

Hari 50

Prediction model:

• discrimination
• calibration
• validation

---

Hari 51

Pelajari:

TRIPOD

---

Hari 52

Appraise satu:

diagnostic study

dan satu:

prognostic/prediction study.

---

FASE V

STATISTICAL CRITICAL APPRAISAL

Hari 53–70

Ini bagian yang akan membuat kemampuan Anda naik signifikan.

---

Hari 53 — Descriptive statistics

Kuasai:

• mean
• median
• SD
• IQR
• range

---

Hari 54 — Distribution

Pahami:

mean ± SD

vs

median [IQR]

---

Hari 55 — Risk

Kuasai:

absolute risk

relative risk

risk difference

---

Hari 56

Kuasai:

RR

OR

---

Hari 57

Kuasai:

HR

---

Hari 58

Kuasai:

MD

SMD

---

Hari 59

Kuasai:

ARR

RRR

NNT

NNH

---

Hari 60

Confidence interval.

Anda harus mampu melihat sebuah tabel dan langsung bertanya:

"Apakah estimasinya cukup precise?"

---

Hari 61

Statistical significance vs clinical significance.

---

Hari 62

Multiple comparisons.

Pelajari:

Type I error.

---

Hari 63

Type II error.

Pelajari:

power

dan:

beta.

---

Hari 64

Sample size.

Pahami faktor yang memengaruhi:

• alpha
• power
• effect size
• variance
• event rate

---

Hari 65

Subgroup analysis.

Cari:

interaction test.

---

Hari 66

Post-hoc analysis.

Cari tanda:

data dredging / p-hacking.

---

Hari 67

Missing data.

Pahami konsekuensinya terhadap estimate.

---

Hari 68

Sensitivity analysis.

Tanyakan:

Apakah kesimpulan stabil?

---

Hari 69

Recalculate.

Ambil data dari paper dan hitung ulang:

• RR
• OR
• ARR
• NNT

Gunakan kalkulator/R/Excel.

---

Hari 70

Statistical audit.

Periksa apakah:

angka dalam abstract → tabel → figure → text

konsisten.

---

FASE VI

SYSTEMATIC REVIEW & META-ANALYSIS APPRAISAL

Hari 71–80

---

Hari 71

Apakah search strategy adequate?

---

Hari 72

Apakah inclusion criteria tepat?

---

Hari 73

Apakah risk of bias assessment valid?

---

Hari 74

Apakah studi layak dipool?

Ini pertanyaan yang sangat penting.

---

Hari 75

Interpretasi:

forest plot

---

Hari 76

Interpretasi:

I²

τ²

heterogeneity

---

Hari 77

Fixed vs random effects.

---

Hari 78

Publication bias:

• funnel plot
• Egger

---

Hari 79

Sensitivity/subgroup analysis.

---

Hari 80

Appraise satu systematic review/meta-analysis menggunakan:

AMSTAR 2 + PRISMA + clinical reasoning.

---

FASE VII

LEVEL EDITOR / PEER REVIEWER

Hari 81–90

Sekarang Anda berhenti menjadi "pembaca jurnal".

Anda mulai berpikir seperti reviewer jurnal.

---

Hari 81 — Read like an editor

Jangan mulai dari Discussion.

Mulai:

Title → Abstract → Methods → Results → Figures/Tables → Discussion

---

Hari 82 — Find the fatal flaw

Cari:

Apa satu masalah terbesar yang dapat membuat kesimpulan paper ini tidak valid?

Ini latihan yang sangat powerful.

---

Hari 83 — Methods audit

Tanyakan:

• Is design appropriate?
• Is sample appropriate?
• Is comparator appropriate?
• Are outcomes valid?
• Is analysis appropriate?

---

Hari 84 — Statistical audit

Periksa:

• effect measure
• CI
• p-value
• model
• missing data
• adjustment
• subgroup
• sensitivity analysis

---

Hari 85 — Clinical audit

Tanyakan:

Apakah outcome yang dipilih benar-benar penting bagi pasien?

---

Hari 86 — Applicability

Bandingkan:

Study population

vs

your patient

Misalnya penelitian dilakukan pada:

tertiary referral center

tetapi pasien Anda:

primary hospital.

Apakah treatment effect tetap applicable?

---

Hari 87 — Write peer review

Buat:

Major concerns

Minor concerns

Recommendation

---

Hari 88 — Journal club

Ambil satu paper Obgyn dan presentasikan dalam:

10 menit.

Struktur:

Clinical question
Design
Validity
Results
Clinical relevance
Applicability
Verdict

---

Hari 89 — Blind appraisal

Ambil paper baru.

Anda hanya boleh melihat:

Title + Abstract.

Prediksi:

• study design
• likely bias
• likely effect
• major methodological issue

Kemudian buka full text dan lihat apakah prediksi Anda benar.

---

Hari 90 — FINAL EXAM

Ambil 3 paper:

Paper 1

RCT

Paper 2

Cohort

Paper 3

Systematic review/meta-analysis

Anda memiliki:

60 menit/paper.

Untuk masing-masing harus menghasilkan:

1. Clinical question
2. Study design
3. Population
4. Exposure/intervention
5. Comparator
6. Outcome
7. Internal validity
8. Bias
9. Statistical analysis
10. Effect size
11. Precision
12. Clinical significance
13. Applicability
14. Bottom line

---

5. Framework appraisal yang saya ingin Anda hafalkan

Untuk setiap paper, gunakan:

Q-B-E-P-A

Q — Question

Apa pertanyaan penelitian?

B — Bias

Apa yang dapat membuat hasilnya salah?

E — Effect

Seberapa besar efeknya?

P — Precision

Seberapa precise estimasinya?

A — Applicability

Apakah berlaku untuk pasien saya?

Kemudian tambahkan:

C — Clinical importance

Sehingga framework akhirnya:

Q → B → E → P → C → A

---

6. Contoh berpikir expert

Misalnya sebuah RCT melaporkan:

Aspirin menurunkan preterm birth
RR 0,80; 95% CI 0,68–0,94; p=0,004.

Reviewer pemula mengatakan:

"Signifikan karena p<0,05."

Reviewer intermediate mengatakan:

"RR 0,80 berarti risiko turun 20%."

Reviewer advanced bertanya:

1. Apakah randomisasi valid?

2. Apakah allocation concealment baik?

3. Apakah outcome measurement valid?

4. Apakah ada attrition?

5. Apakah analysis ITT?

6. Berapa baseline risk?

Karena:

RR 0,80

belum memberitahu absolute benefit.

Jika baseline risk:

10%

maka risk menjadi kira-kira:

8%

ARR:

2%

NNT:

50

Tetapi kalau baseline risk:

30%

risk menjadi:

24%

ARR:

6%

NNT:

17

RR sama → clinical implication sangat berbeda.

Inilah pergeseran dari:

statistical literacy

menjadi:

clinical evidence reasoning.

---

7. Latihan yang paling cepat meningkatkan kemampuan

Saya sangat merekomendasikan "1 paper/day".

Bukan membaca satu paper penuh setiap hari.

Tetapi:

Senin

RCT

Selasa

Cohort

Rabu

Case-control

Kamis

Diagnostic

Jumat

Systematic review

Sabtu

Meta-analysis

Minggu

Review kesalahan minggu tersebut.

Dalam satu tahun:

≈300 paper appraisal.

Tetapi jangan hanya membaca.

Buat critical appraisal database.

Kolom:

Field	Isi
Citation	—
Clinical question	—
Design	—
Population	—
Exposure/intervention	—
Comparator	—
Primary outcome	—
Main effect	—
CI	—
Bias	—
Major flaw	—
Clinical significance	—
Applicability	—
Verdict	—

Setelah 100–200 paper, pola kesalahan penelitian akan mulai terlihat secara intuitif.

---

8. Target kemampuan Anda

Setelah 30 hari

Anda bisa:

membaca paper dengan struktur.

Setelah 60 hari

Anda bisa:

mengidentifikasi bias dan kesalahan statistik utama.

Setelah 90 hari

Anda bisa:

melakukan critical appraisal independen.

Setelah 6 bulan

Target:

mampu menjadi presenter journal club dan reviewer internal.

Setelah 12 bulan

Target:

mampu melakukan peer review manuskrip klinis dengan serius.

---

9. Untuk level "master", jangan berhenti pada checklist

Ini sangat penting.

Checklist seperti:

• CASP
• STROBE
• CONSORT
• QUADAS
• PRISMA

adalah alat bantu, bukan pengganti clinical reasoning.

EQUATOR sendiri mengorganisasi berbagai guideline berdasarkan jenis penelitian—RCT, observational, systematic review, diagnostic/prognostic, dan lainnya.

Pertanyaan tertinggi bukan:

"Apakah item 7 checklist terpenuhi?"

Tetapi:

"Jika item tersebut tidak terpenuhi, bagaimana hal itu mengubah estimasi efek dan kesimpulan penelitian?"

Itulah cara berpikir reviewer senior.

---

10. Jalur belajar yang saya rekomendasikan untuk Anda

Karena Anda berada di Obstetri & Ginekologi, saya akan menggunakan paper Obgyn sebagai "laboratorium".

Urutannya:

RCT

↓

Cohort

↓

Case-control

↓

Diagnostic accuracy

↓

Prognostic study

↓

Prediction model

↓

Systematic review

↓

Meta-analysis

↓

Network meta-analysis

↓

Guideline

↓

Clinical trial protocol

↓

Manuscript peer review

Dengan demikian Anda tidak hanya menjadi orang yang dapat membaca paper.

Target akhirnya adalah:

Anda membuka sebuah jurnal Obgyn dan dalam 10–15 menit sudah dapat mengetahui apakah paper tersebut metodologinya kuat, di mana kelemahannya, seberapa besar efeknya, apakah clinically meaningful, dan apakah hasilnya dapat diterapkan kepada pasien Anda.

---

Referensi utama

1. Guyatt G, Rennie D, Meade MO, Cook DJ. Users' Guides to the Medical Literature: A Manual for Evidence-Based Clinical Practice. 3rd ed. McGraw-Hill; 2015.
2. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA, editors. Cochrane Handbook for Systematic Reviews of Interventions. Cochrane.
3. Sterne JAC, Savović J, Page MJ, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ. 2019;366:l4898.
4. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016;355:i4919.
5. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement. BMJ. 2021;372:n71.
6. von Elm E, Altman DG, Egger M, et al. The STROBE statement. Lancet. 2007;370:1453–1457.
7. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement. BMJ. 2010;340:c332.
8. Whiting PF, Rutjes AW, Westwood ME, et al. QUADAS-2. Ann Intern Med. 2011;155:529–536.
9. Wolff RF, Moons KGM, Riley RD, et al. PROBAST: a tool to assess risk of bias and applicability of prediction model studies. Ann Intern Med. 2019;170:51–58.

Satu prinsip yang perlu Anda pegang selama 90 hari ini:

Jangan bertanya “Apakah paper ini bagus?”
Bertanyalah “Apa yang harus benar agar kesimpulan paper ini dapat dipercaya—dan apakah hal-hal tersebut benar-benar terpenuhi?”

Itulah inti critical appraisal tingkat expert.