„Naša prognoza je solidna“ je rečenica koju čujete u skoro svakoj firmi, i ona ne znači ništa. Solidna u odnosu na šta, mereno kako, na kom nivou i za koji horizont? Dok na ta pitanja nema odgovora, tačnost prognoze nije činjenica nego osećaj — a osećaj se ne može sistematski popravljati. Ovaj tekst je o tome kako se tačnost meri konkretnim brojkama i, još važnije, kako se te brojke pretvaraju u bolji sledeći ciklus, umesto da završe u izveštaju koji niko ne otvara.
Zašto „solidna prognoza“ nije merenje
Problem sa subjektivnom ocenom tačnosti je što se pamte pogotci, a zaboravljaju promašaji — ili obrnuto, zavisno od toga ko priča. Merenje postoji upravo zato da ukloni tu selektivnu memoriju. Ali samo merenje mora biti definisano do kraja: koja metrika, na kom nivou agregacije, sa kojim vremenskim pomakom i u odnosu na koju referentnu vrednost. Promena bilo kog od ta četiri parametra menja rezultat, pa broj tipa „87% tačnosti“ bez konteksta nije informacija nego marketing.
MAPE, WMAPE i pristrasnost — šta koja brojka meri
Tri metrike pokrivaju najveći deo potrebe, i svaka odgovara na drugačije pitanje. MAPE (Mean Absolute Percentage Error) meri prosečnu apsolutnu procentualnu grešku po artiklu. WMAPE (Weighted MAPE) je ista ideja, ali ponderisana količinom ili vrednošću. Pristrasnost (bias) meri nešto sasvim drugo — smer u kome se stalno greši. Njihova razlika je najlakša u tabeli.
| Metrika | Šta meri | Kada se koristi | Zamka |
| MAPE | Prosečnu apsolutnu grešku u procentima, po artiklu | Kada su artikli slične veličine i tražnja stabilna | Kod malih količina eksplodira — promašaj od 2 komada na prognozi od 3 je greška preko 60% |
| WMAPE | Grešku ponderisanu količinom ili vrednošću | Kada su artikli različite veličine (dakle skoro uvek) | Sakrije loše prognoze na malim artiklima; dobar ukupno, slep na rep asortimana |
Bias pristrasnost | Smer sistematskog odstupanja — stalno previše ili stalno premalo | Kada sumnjate da se greši uvek u istom smeru | Može biti blizu nule iako su pojedinačne greške ogromne (plus i minus se poništavaju) |
FVA forecast value added | Da li ljudska korekcija pobeđuje statistički baseline | Kada postoji ručno doterivanje prognoze | Zahteva discipliniran zapis baseline-a pre svake korekcije |
Pristrasnost i greška su dva različita problema
Najvažnija razlika koju većina firmi ne pravi je ona između pristrasnosti i greške. Greška je koliko prognoza promašuje u proseku, bez obzira na smer. Forecast bias je koliko promašuje uvek u istom smeru. To su dva različita kvara sa dva različita leka, i mešanje ta dva pojma je koren najvećeg broja pogrešnih zaključaka o prognozi.
Visoka greška uz nisku pristrasnost znači da prognoza „šeta“ oko tačne vrednosti — čas previše, čas premalo. Lek je bolji model ili više podataka. Niska greška uz visoku pristrasnost znači da prognoza stalno gađa pored u istom smeru — na primer, uvek malo previše. Taj kvar je zapravo bolja vest, jer se sistematska greška može ispraviti korekcijom, dok slučajna ne može. Opasno je meriti samo grešku, jer se pristrasnost u proseku poništi i ostane nevidljiva sve dok se ne pretvori u gomilu zaliha ili u hronični manjak.
Forecast value added — da li ljudska ruka pomaže
U mnogim firmama statistički model napravi prognozu, a onda je planer ili prodaja „doteruju“ ručno. Pitanje koje niko ne voli da postavi glasi: da li to doterivanje zaista poboljšava prognozu, ili je samo kvari? Forecast value added (FVA) je metod koji na to odgovara — poredi tačnost prognoze posle ljudske korekcije sa tačnošću golog statističkog baseline-a.
Rezultat ume da bude neprijatan. Nije retkost da ručne korekcije, u proseku, pogoršaju prognozu, jer u sebi nose optimizam, pritisak cilja ili reakciju na poslednji telefonski poziv jednog kupca. FVA ne znači da se ljudska procena izbacuje; znači da se meri, pa se zadrže korekcije koje pomažu, a odbace one koje samo dodaju šum. Bez tog merenja, firma plaća ljude da svakog meseca kvare sopstvenu prognozu, a da to niko ne primeti.
Test koji vredi: pre nego što bilo ko dodirne prognozu, zapišite goli statistički baseline. Na kraju perioda uporedite i baseline i korigovanu prognozu sa ostvarenjem. Ako korekcija u proseku ne pobeđuje baseline, problem nije u modelu nego u procesu doterivanja.
Na kom nivou i sa kojim pomakom se meri
Ista prognoza može izgledati odlično i katastrofalno, zavisno od toga kako je merite. Dva parametra tu odlučuju.
Nivo agregacije. Prognoza je uvek tačnija na višem nivou — ukupna prodaja jedne grupe je predvidljivija od prodaje pojedinačne šifre u pojedinačnom kanalu. Ako merite samo na vrhu, dobićete lepu brojku koja krije haos ispod nje. Ako merite samo na dnu, kaznićete se za šum koji ionako ne možete predvideti. Meri se na nivou na kom se donosi odluka: ako nabavka poručuje po artiklu, tačnost merena po grupi vas ne spašava.
Vremenski pomak (lag). Prognoza za sledeći mesec napravljena juče nije isto što i prognoza za isti mesec napravljena pre pola godine. Tačnost uvek mora nositi svoj lag — „koliko unapred smo ovo predvideli“. Merenje bez fiksiranog laga meša prognoze različite starosti i daje prosečan broj koji ne znači ništa.
Segmentacija i povremena tražnja
Jedna metrika preko celog asortimana je prosek koji krije sve što je važno. Zato se artikli segmentiraju, najčešće ukrštanjem dve podele:
- ABC po vrednosti — koliko artikal doprinosi prihodu ili marži. A-artikli zaslužuju najviše pažnje i najstrožu prognozu.
- XYZ po predvidljivosti — koliko je tražnja stabilna. X je gladak i predvidljiv, Z je skokovit i težak za prognozu.
Kombinacija daje mapu. AX artikli su vredni i predvidljivi — tu se isplati ulagati u tačnost. CZ artikli su jeftini i haotični — tu je borba za svaki procenat tačnosti bacanje vremena, i pametnije ih je pokriti zalihom nego prognozom. Bez segmentacije, firma troši isti trud na artikal koji nosi maržu i na onaj koji nosi šum.
Poseban slučaj je povremena tražnja (intermittent demand) — artikli koji se prodaju retko i u nepravilnim razmacima, poput rezervnih delova. Za njih klasičan MAPE nema smisla: u mesecima bez prodaje deli se nulom, a jedna porudžbina daje ogromnu procentualnu grešku. Takvi artikli se ne prognoziraju istom logikom kao serijski proizvodi; mere se drugim metrikama i planiraju kroz zalihu i tačku ponovnog naručivanja, a ne kroz mesečnu prognozu koja ionako neće pogoditi.
Kako tačnost vraćate u sledeći ciklus
Merenje koje se ne vraća u proces je samo groblje brojeva. Vrednost nastaje tek kada tačnost prošlog meseca menja odluke sledećeg. Minimalna petlja izgleda ovako:
- Zamrznite prognozu pre početka perioda. Bez zapisanog originala nema šta da se poredi sa ostvarenjem.
- Merite pristrasnost i grešku odvojeno. Prvo vam kaže da li stalno gađate pored u istom smeru, drugo koliko ukupno promašujete.
- Nađite gde je greška koncentrisana. Po grupi, po kupcu, po odeljenju — pristrasnost skoro nikad nije ravnomerno raspoređena.
- Ispravite proces, ne pojedinačni broj. Ako prodaja stalno precenjuje jednu grupu, problem je u načinu na koji se ta prognoza pravi, ne u tom jednom mesecu.
- Pratite trend metrike, ne apsolutnu vrednost. Da li se tačnost popravlja iz meseca u mesec važnije je od toga da li je danas 80 ili 85.
Ova petlja je prirodni deo planiranja prodaje: prognoza se pravi, meri, koriguje i vraća — svaki ciklus nad stvarnošću prethodnog. Da bi to uopšte bilo moguće, brojevi moraju biti na jednom mestu i uporedivi; ručno spajanje izveštaja iz tri sistema ubija merenje pre nego što ono počne. Zbog toga BI izveštavanje i dešbordi nisu ukras nego uslov: tačnost koja se ne vidi svakog meseca ne popravlja se. NG Operations povezuje prognozu, prodaju i izveštavanje u istom sistemu, pa se tačnost meri nad podacima koji se ne prepisuju ručno.
Na kraju, tačnost prognoze nije cilj po sebi. Cilj je manje zaliha uz kraće rokove i mirniju nabavku. Prognoza je samo ulaz — ali ulaz čija se greška, ako se ne meri, umnožava kroz ceo lanac planiranja i plaća na mestima koja sa prognozom naizgled nemaju veze.