Verktygslandskapet
Välj verktyg för de frågor du behöver få besvarade och de data du kan lita på, håll datan portabel och lägg mindre på plattformar än på de vanor som gör talen värda att läsa.
Översikt och motiv
Verktyg är där mätetalsprogram oftast går fel, i två motsatta riktningar. Vissa organisationer köper en stor analysplattform först och upptäcker senare att de saknar överenskomna definitioner, rena data och en publik. Andra bygger en hög skript och kalkylblad som en enda person förstår, och programmet tar slut när den personen går vidare. Båda börjar med verktyget och ignorerar de frågor det är avsett att besvara.
Landskapet är trångt och förändras snabbt, så det här ämnet är medvetet leverantörsneutralt. Det beskriver slagen av verktyg, dataflödena mellan dem, avvägningarna mellan att bygga och köpa och kriterier för val. Det nämner inga produkter, eftersom produktnamn åldras snabbt och en bok är en dålig vägledning till aktuella funktioner och priser. Mätprinciperna ändras inte med leverantören: veta vad du mäter, var datan kommer ifrån, vem som äger den och hur den ska läsas.
Det mesta av de data ett mätetalsprogram för tjänster behöver finns redan i system där uppgifterna förs. Verktyg för it-tjänstehantering rymmer incidenter, förfrågningar, problem, ändringar och konfigurationsposter. System för versionshantering, bygge, test och driftsättning rymmer historiken över tekniskt arbete. System för övervakning och observerbarhet rymmer tillgänglighets-, latens- och feldata. Enkätverktyg, ekonomisystem, personalsystem och avtalsarkiv rymmer resten. Ett mätetalsprogram förenar dessa källor utan att störa arbetet som utförs i dem (se ämne 1.5, Datakällor och instrumentering).
Förflyttningen av data från källor till en plats där de kan analyseras är en datapipeline, och det klassiska mönstret är extrahera, omvandla, läs in: läs från källor, omforma och rensa och skriv till ett lager. Lagret kan vara ett datalager, ett integrerat förråd av data från flera system organiserat för analys. Program når dessa system genom ett programmeringsgränssnitt, vilket är hur en programvara ber en annan om data på ett definierat sätt. Kvaliteten på det som flödar igenom avgör kvaliteten på varje diagram. Datakvalitet täcker riktighet, fullständighet, konsekvens och aktualitet, och disciplinen som upprätthåller den är datastyrning.
Den ekonomiska sidan förtjänar omsorg. En totalkostnad för ägande för ett verktyg inkluderar licenser, infrastruktur, integration, utbildning, administration och kostnaden för att lämna det. Leverantörsinlåsning är situationen där det är så kostsamt att byta leverantör att kunden i praktiken är bunden. Mätetalsprogram är särskilt utsatta, eftersom definitioner, historik och instrumentpaneler ansamlas inuti ett verktyg och det är svårt att ta ut dem senare.
De agila målen formar angreppssättet. Kontinuerlig leverans gäller programmet: sätt upp den tunnaste fungerande vägen från en källa till en vy för ett team, lär av dess användning och bygg ut. Kontinuerlig intressentinvolvering innebär att de som ska använda talen deltar i verktygsvalen. Ständig förbättring och fortlöpande utveckling innebär att verktygen förväntas förändras, så portabilitet spelar större roll än fulländning. En hållbar takt innebär att programmet inte blir ett datateknikprojekt som svälter det arbete det mäter. Och motiverade individer gör bättre arbete med verktyg de hjälpt till att välja och förstår än med verktyg som påtvingas uppifrån, särskilt verktyg som känns som övervakning (se ämne 11.3, Att införa mätetal utan att skapa rädsla).
Ämnet lutar sig mot vägledningen för utformning av instrumentpaneler (se ämne 11.1, Att utforma en instrumentpanel för tjänstemätetal) och styrningsämnena i del 1.
Nyckelprinciper
- Frågor före verktyg. Skriv frågorna och måtten först och se sedan vilka verktyg de behöver.
- Använd systemen där uppgifterna förs. Hämta data där arbetet sker och undvik att be människor mata in det två gånger.
- Håll definitioner utanför verktyget. Underhåll mätetalsdefinitioner i en enkel, portabel form som överlever ett plattformsbyte.
- Föredra portabla data. Lagra data i öppna format med dokumenterade gränssnitt och behåll en väg ut.
- Börja tunt och växa. En källa, en vy, ett team, bygg sedan ut.
- Räkna den fulla kostnaden. Licenser är en bråkdel av kostnaden för integration, datarensning och underhåll.
- Skydda människor. Verktyg bör aggregera till team och tjänster, upprätthålla åtkomstregler och göra övervakning svår.
- Behandla pipelinen som en tjänst. Den behöver en ägare, övervakning, test och ett sätt att hantera fel.
Mätetalsdefinitioner
Måtten nedan beskriver hälsan hos mätetalsverktygen och deras datatillförsel. De är till för programteamet, för att hålla infrastrukturen ärlig, och ska inte användas för att betygsätta människor.
| Mätetal | Definition | Formel | Enhet | Datakälla | ITIL-praktik | Agil motsvarighet | Rytm |
|---|---|---|---|---|---|---|---|
| Källtäckning | Andel av de system där uppgifter förs som behövs för de överenskomna måtten som automatiskt matar mätetalslagret | anslutna och testade källor / källor som behövs för överenskomna mått | procent | Källinventering; pipelinekonfiguration | Hantering av information och teknik; konfigurationshantering av tjänster | Kontinuerlig leverans av pipelinen | Kvartalsvis |
| Pipelinens tillförlitlighet | Andel schemalagda datainläsningar som slutförs i tid med godkända kontroller | inläsningar i tid med godkända kontroller / schemalagda inläsningar | procent | Pipelineloggar och testresultat | Övervakning och händelsehantering | Automatiska test och snabb återkoppling | Veckovis |
| Tid till ett nytt mått | Förfluten tid från en godkänd begäran om ett nytt mått till dess tillgänglighet med ett definitionskort | dagar från godkännande till publicerat, median och 85:e percentil | dagar | Begärans- och releaseregister | Hantering av serviceförfrågningar; ändringsmöjliggörande | Små värdeinkrement | Kvartalsvis |
| Avstämningsgrad | Andel nyckeltal som stämmer mellan mätetalslagret och källsystemet vid en stickprovskontroll | tal som stämmer inom tolerans / kontrollerade tal | procent | Avstämningskontroller | Hantering av information och teknik | Pålitlig återkoppling | Månadsvis |
| Andel manuell insats | Andel av insatsen på återkommande rapporter som läggs på manuell insamling och rensning | timmar på manuella steg / totala timmar på återkommande rapporter | procent | Tidsuppskattningar; teamenkät | Ständig förbättring | Att eliminera rutinarbete | Kvartalsvis |
| Beredskap för utträde | Om definitioner, historik och instrumentpaneler kan exporteras i en dokumenterad, användbar form | exporter som testats och är fullständiga / planerade exporttest | procent | Exporttestregister | Leverantörshantering; hantering av tjänstekontinuitet | Hållbara val | Årligen |
| Verktygskostnad per stött team | Programmets fulla årliga verktygskostnad dividerad med de team det betjänar | (licenser + infrastruktur + underhållsinsats) / betjänade team | valuta per team | Ekonomi- och insatsregister | Ekonomistyrning av tjänster | Hållbar takt | Årligen |
Räkna källor efter vad de överenskomna måtten behöver och inte efter vad som finns, så att täckningen inte höjs genom att ansluta irrelevanta system. Avstämning kräver att ett stickprov och en tolerans väljs i förväg. Verktygskostnad per stött team är ett beskrivande tal som används för att jämföra alternativ, inte ett mål att pressa ned. Det inkluderar insatsen hos de människor som underhåller pipelinen.
Rekommendationer
Bestäm vad du behöver
1. Skriv kraven som frågor och mått. Lista de mått programmet har kommit överens om att publicera (se ämne 11.1, Att utforma en instrumentpanel för tjänstemätetal), de källor var och en behöver, hur aktuell var och en måste vara, vem som får se den och hur länge historik måste sparas. Skilj måste-ha från önskemål. Ett kort dokument på två sidor är bättre än en lång begäran om anbud.
2. Inventera vad du redan äger. Många organisationer har analysfunktioner i sina verktyg för tjänstehantering, teknik och övervakning som förblir oanvända. Många har kalkylblad, skript och rapporter som redan besvarar en del av behovet. Börja med att se vad dessa kan göra. Det billigaste verktyget är det som redan är betalt och redan förstått.
3. Ta reda på läget i datan före verktyget. För varje källa, kontrollera om datan är fullständig, konsekvent inmatad och åtkomlig genom ett gränssnitt. Ett verktyg kan inte rätta incidentkategorier som ingen använder, ändringsposter som skapas i efterhand eller tidsstämplar som skrivs över. Något av det mest värdefulla tidiga arbetet är att rätta datainsamlingen vid källan (se ämne 7.4, Mätetal för konfigurations- och CMDB-kvalitet).
Bygga, köpa eller kombinera
4. Jämför att bygga och att köpa på full kostnad och passning. Att köpa en analysplattform eller en paketerad produkt för teknisk analys ger färdiga kopplingar, diagram och support, till priset av licenser, en fast världsmodell och beroende. Att bygga en pipeline och vyer ger passning och kontroll, till priset av ingenjörstid och underhåll. De flesta organisationer slutar med att kombinera: använd inbyggd rapportering där den är tillräckligt bra, använd ett allmänt analysverktyg för vyer och bygg tunna kopplingar där inget annat passar.
5. Testa en prototyp med verkliga data. Före åtagande, kör en tidsavgränsad prövning med två eller tre av dina egna mått, med verkliga data och verkliga användare. Kontrollera hur lång tid kopplingar tog, hur väl verktyget hanterade dina definitioner, om det kunde visa fördelningar och percentiler och hur det styrde åtkomst. Marknadsföringsdemonstrationer använder rena data, och dina är inte rena.
6. Planera utträdet innan du går in. Fråga hur definitioner, historik och instrumentpaneler kan exporteras och testa det. Föredra verktyg med öppna gränssnitt och standardformat och behåll din egen kopia av mätetalsdefinitionerna och de rensade data. Kostnaden för att lämna är en del av kostnaden för att stanna, och ett trovärdigt utträde förbättrar din förhandlingsposition (se ämne 8.4, Mätetal för leverantörer och avtal).
Välj med tydliga kriterier
7. Använd leverantörsneutrala urvalskriterier. Användbara kriterier inkluderar följande. Har de datakällor du behöver underhållna kopplingar? Kan definitioner skrivas, versioneras och granskas? Kan verktyget visa fördelningar, percentiler och trender såväl som medelvärden och antal? Aggregerar det till team och tjänster och låter dig begränsa vyer på individnivå? Stöder det rollbaserad åtkomst och spårbarhet? Är data exporterbara i öppna format? Hur hanterar leverantören ändringar, avbrott och säkerhetsincidenter? Vad kostar det i den skala du förväntar dig om tre år?
8. Var misstänksam mot inbyggd poängsättning. Vissa verktyg erbjuder sammansatta poäng, rangordningar av människor eller "produktivitets"-index direkt ur lådan. Dessa är lätta att införa och svåra att försvara (se ämne 1.2, Goodharts lag och mätetalens psykologi). Kontrollera om sådana funktioner kan stängas av och fastställ policyn innan något slås på.
9. Involvera de människor som ska använda det. Be teamen pröva de utvalda alternativen med sin data. Deras frågor kommer att blotta begränsningar som ett kravdokument inte gjorde. Ta med säkerhet, integritet, ekonomi och upphandling tidigt (se ämne 8.1, Mätetal för säkerhetsincidenter och sårbarheter).
Kör pipelinen som en tjänst
10. Automatisera, testa och övervaka pipelinen. Behandla datainläsningar som vilken annan produktionstjänst som helst. Kör automatiska kontroller av antal, intervall, dubbletter och aktualitet. Larma vid fel och visa datakvalitetsstatus på instrumentpanelen. Versionera omvandlingslogiken och se över ändringar av den som kod (se ämne 5.5, Mätetal för övervakning och larmkvalitet).
11. För en katalog över definitioner. Underhåll en delad katalog med varje måtts definition, formel, källa, ägare och begränsningar. Den kan vara ett förråd av enkla textfiler, ett datakatalogverktyg eller en wiki. Det som spelar roll är att den är sanningskällan för betydelse och att instrumentpaneler läser från den eller länkar till den (se ämne 1.4, Styrning och ägarskap av mätetal).
12. Se över verktygen årligen. Varje år, kontrollera vad verktygen kostar, vilka delar programmet använder, var manuell insats kvarstår och vilka nyare alternativ som finns. Avveckla det som ingen använder. Överväg balansen mellan bygga och köpa på nytt allteftersom programmet mognar. Planera för förändring som en normal del av arbetet.
Manipuleringsvektorer och skyddsräcken
| Mätetal | Hur det manipuleras | Parat skyddsräcke eller parad praxis |
|---|---|---|
| Källtäckning | Att ansluta lätta eller irrelevanta källor; att räkna en koppling som inte bär användbara data | Räkna efter överenskomna mått; kontrollera datafullständighet per källa |
| Pipelinens tillförlitlighet | Att lätta på kontroller så att inläsningar alltid klarar; att schemalägga färre inläsningar | Se över kontrollernas styrka; följ avstämning och källans radantal |
| Tid till ett nytt mått | Att publicera utan definitioner eller test; att snäva in vad som räknas som ett nytt mått | Kräv definitionskortet och en avstämningskontroll för slutförande |
| Avstämningsgrad | Att välja lätta tal att kontrollera; att vidga toleransen efter en miss | Välj stickprov före kontrollen; fastlägg toleransen i förväg; ta med svåra tal |
| Andel manuell insats | Att underskatta manuellt arbete; att gömma insats i andra budgetar | Fråga de som gör arbetet; jämför med tid som läggs sent i varje rapporteringscykel |
| Beredskap för utträde | Att testa en partiell export; att räkna en dokumenterad plan som beredskap | Kör en fullständig återställning till ett annat verktyg på ett stickprov; verifiera definitioner och historik |
| Verktygskostnad per stött team | Att utesluta underhållsinsats; att lägga till team på papperet | Inkludera personaltid; räkna team som aktivt använder sina vyer |
En sund avläsning visar data som kommer i tid och stäms av mot källan, nya mått som publiceras med definitioner, fallande manuell insats och ett utträde som testats minst en gång.
Avvägningar: för- och nackdelar
| Tillvägagångssätt | Styrka | Svaghet |
|---|---|---|
| Varje verktygs inbyggda rapportering | Billig; redan på plats; förstådd | Silos; inkonsekventa definitioner mellan verktyg |
| En enda svit från en leverantör | Integrerad; ett avtal | Inlåsning; passar leverantörens modell, inte din |
| Paketerad produkt för teknisk analys | Snabb start; färdiga kopplingar | Fast modell; risk för poängsättning på individnivå; kostnad i skala |
| Allmänt analys- och visualiseringsverktyg | Flexibelt; brett kunnande tillgängligt | Behöver datatillförsel och designkunnande |
| Datalager med ett omvandlingsskikt | Stark kontroll; sammanfogning över källor | Ingenjörsinsats; behöver ägarskap |
| Kalkylblad och skript | Snabbt att starta; ingen licens | Sköra; beror på individer; svåra att granska |
| Öppen källkodsstack | Kontroll; ingen licenskostnad | Underhållsinsats; support beror på dig |
| Handinsamlade mätetal | Fungerar utan verktyg | Långsamt; felbenäget; svårt att upprätthålla |
Svaret är att börja med vad du redan har, lägga till den tunnaste koppling som besvarar verkliga frågor, hålla definitioner och data portabla och gå över till tyngre verktyg först när de lättare påvisbart begränsar beslut.
Frågor att diskutera med teamet
1. Vilka tal producerar vi för hand varje månad, och vad skulle det krävas för att sluta? Lista de manuella rapporterna och timmarna de tar. Hitta källan till var och en och om den har ett gränssnitt. Facilitatorn bör fråga vilka rapporter som helt enkelt kunde släppas. Enas om en att automatisera och en att avveckla.
2. Om vårt nuvarande rapporteringsverktyg försvann i morgon, vad skulle vi förlora? Namnge definitionerna, historiken och instrumentpanelerna som bara finns inuti det. Kontrollera vilka av dem som går att exportera. Enas om var en kopia ska förvaras.
3. Vilka data i våra system litar vi minst på, och varför? Titta på inmatningsvanor, standardvärden och överskrivna fält. Uppskatta hur långt varje förvrängning påverkar de mått vi publicerar. Enas om vilken källrättelse som skulle tillföra mest förtroende för minst insats.
4. Vad låter verktyget människor se som vi inte skulle vilja att det gjorde? Kontrollera vyer på individnivå, aktivitetsloggar och rangordningar. Besluta vad som ska begränsas eller stängas av och skriv regeln innan någon använder funktionen.
5. Hur lång tid tar det för oss att lägga till ett nytt mått, och vad saktar oss? Följ en färsk begäran från godkännande till tillgänglighet. Markera väntorna. Enas om vad som ska tas bort, till exempel godkännanden, saknade definitioner eller manuell rensning.
6. Vad är den fulla kostnaden för det här verktyget för ett team under ett år? Lägg ihop licenser, infrastruktur, integration, utbildning och tiden för de människor som underhåller det. Jämför med de beslut det förbättrade. Diskutera vad vi skulle sluta betala för.
Fyra perspektiv
Produkt- och leveransteam
Team vill ha data som kommer från arbetet utan extra inmatning och vyer som besvarar deras frågor. De bör hjälpa till att välja och testa verktyg, äga definitionerna av sina egna mått och vägra funktioner som rangordnar individer. Deras tid är den knappaste indatan, och verktyg som ber dem logga arbete två gånger kommer att möta motstånd.
Service- och driftteam
Driftteam kör källorna och ofta pipelinen. De bör behandla pipelinen som en tjänst med övervakning och test, hålla källdatafälten pålitliga och flagga ändringar i system där uppgifter förs som kommer att bryta kopplingar. De är först att se när ett tal är fel.
Ledning och styrning
Ledare finansierar programmet och sätter förväntningar. De bör be om totalkostnad, inte licenspris, kräva portabilitet och ett utträde, motstå att köpa en plattform för att lösa ett definitionsproblem och insistera på integritets- och åtkomstregler. De bör acceptera en blygsam start och bedöma den efter de beslut den förbättrar.
Kunder och användare
Kunder och användare ser sällan verktygen, och de lever med deras följder: data om dem lagras, kombineras och analyseras. De förtjänar tydliga regler om vad som samlas in, hur länge det sparas, vem som ser det och hur det skyddas. Där mått bygger på deras återkoppling bör verktygen respektera samtycke och anonymitet.
I praktiken: ett exempel från tjänstehantering
Ett regionalt logistikföretag har ett verktyg för tjänstehantering, ett system för versionshantering och driftsättning, en övervakningsplattform och ett enkätverktyg, och vart och ett producerar egna rapporter. Chefen för tjänstehantering vill ha en enda vy över tjänstehälsa för 12 team. En leverantör erbjuder en allt-i-ett-analysplattform med ett treårsavtal. Siffrorna nedan är illustrativa.
Chefen för tjänstehantering skriver först frågorna och de 14 mått som teamen och ledarna kommit överens om i instrumentpanelssessionerna. Hon inventerar vad som finns: verktyget för tjänstehantering kan exportera incident- och ändringsdata genom sitt gränssnitt, driftsättningssystemet tillhandahåller tidsstämplar för driftsättning och övervakningsplattformen redovisar tillgänglighet mot mål. Hon ber en liten grupp teamrepresentanter pröva två alternativ på tre mått med verkliga data: leverantörens plattform och en kombination av ett allmänt visualiseringsverktyg med ett litet datalager och tunna kopplingar.
Prövningen visar skillnader. Plattformen anslöt till alla källor på två dagar, men den beräknade ledtid som ett medelvärde och kunde inte visa en hög percentil, den hade en inbyggd "teamproduktivitetspoäng" som inte kunde stängas av och export av instrumentpanelsdefinitioner gav en fil som inget annat verktyg kunde läsa. Kombinationen tog 11 dagar att ansluta, men den visade medianer och percentiler, höll definitioner som enkel text i ett förråd och begränsade fält på individnivå i datalagret. Gruppen upptäcker också att 30 procent av ändringsposterna skapades efter driftsättning, så ledtiden var fel oavsett vilket verktyg som läste den. Att rätta inmatningsvanan vid källan blir det första arbetet.
Företaget väljer kombinationen. Källtäckningen stiger från 3 av 8 nödvändiga källor till 7 av 8 under två kvartal. Pipelinens tillförlitlighet startar på 71 procent av inläsningarna i tid med godkända kontroller och når 96 procent efter att teamet lagt till test och felvarningar. Tid till ett nytt mått faller från en median på 31 dagar till 9. Manuell insats på den månatliga rapporten faller från ungefär 40 timmar till 6. En direktör frågar om leverantörsplattformens produktivitetspoäng kunde läggas till för att ge en enda rangordning av teamen. Chefen för tjänstehantering förklarar analysen i ämne 1.2, visar vad som hände när en liknande poäng användes på annat håll i företaget och föreslår den nuvarande balanserade vyn. Beslutet registreras, och poängfunktionen stängs av i varje verktyg som har en.
Agilitet, AI, automatisering och analys
Agilitet
Välj verktyg i små experiment med ett verkligt team och en verklig fråga och behåll förmågan att ändra kurs. Varningen är att ett stort plattformsbeslut som fattas tidigt låser in definitioner innan teamet har lärt sig vad det behöver.
AI
Många analys- och tjänstehanteringsverktyg innehåller nu AI-funktioner. Fråga vad AI:n gör, med vilka data, på vilka villkor, hur dess utdata kontrolleras och hur den stängs av, och mät AI-funktionerna som vilken annan användning som helst (se ämne 10.5, Mätetal för AI-styrning och AI-risk). Varningen är att AI-funktioner som är påslagna som standard kan ändra rapporter i det tysta, så fråga leverantörer om varje release.
Automatisering
Föredra verktyg som låter dig samla in data automatiskt genom dokumenterade gränssnitt och hålla dina data portabla. Mät integrationerna på fel och tid till ett nytt mått. Varningen är att proprietära kopplingar kan göra dina data svåra att ta därifrån, så testa en export.
Analys
Bedöm verktyg efter källtäckning, avstämning och tiden att besvara en ny fråga. Beslutet detta ger underlag för är vilket verktyg som ska införas, behållas eller lämnas. Varningen är att demonstrationsdata ser rena ut, så testa med dina egna stökiga data.
Branschperspektiv
Startup. Använd vad produkten och de befintliga verktygen redan ger. Ett kalkylblad och de inbyggda rapporterna i de verktyg du använder kan besvara de flesta tidiga frågor. Motstå en dataplattform tills frågorna är stabila och den manuella insatsen gör ont. Håll mätetalsdefinitioner nedskrivna så att ett senare byte är lätt.
Småföretag. Få mått och få system innebär enkla verktyg. Inbyggda rapporter och ett kalkylblad räcker ofta. De huvudsakliga riskerna är data som bara finns i en persons huvud och i verktyg utan export. Välj produkter du kan lämna och skriv ned definitionerna.
Storföretag. Många system, många team och många definitioner talar för ett styrt datalager, en katalog över definitioner och skiktade vyer. Federerat ägarskap fungerar bättre än ett centralt team som bygger varje rapport. Var uppmärksam på inlåsning, åtkomstkontroll, integritet och leverantörsbedömning och överväg ett litet plattformsteam som tillhandahåller pipelinen som en tjänst.
Offentlig sektor. Upphandlingsregler, datasuveränitet och tillgänglighet påverkar verktygsval. Öppna standarder och portabilitet är värdefulla eftersom avtal är långa och förvaltningar förändras. Planera för säkerhetsbedömningar, lagring av handlingar och regler om offentlig insyn och kontrollera gällande vägledning om drift och upphandling (se ämne 8.5, Reglerad och statlig rapportering).
Affärscase: motiv, ROI och TCO
Kostnaderna inkluderar licenser eller prenumerationer, infrastruktur, integrations- och kopplingsarbete, datarensning, arbete med definitioner och katalog, utbildning, support och den återkommande insatsen att hålla pipelinen frisk. Byggalternativ bär ingenjörskostnader som är lätta att underskatta, och köpalternativ bär avgifter som växer med skala och kostnaden för att lämna.
Avkastningen kommer från sparad rapporteringsinsats, snabbare svar, färre tvister om tal och bättre beslut från betrodda data. Bygg caset ur dina egna data: timmar som nu läggs på manuella rapporter, antalet konkurrerande versioner av ett tal, fördröjningen mellan en fråga och ett svar och kostnader för verktyg som överlappar. Undvik att citera analytikertal om avkastning på analys utan en spårbar källa och relevans för ditt sammanhang. En rättvis jämförelse räknar den fulla kostnaden för varje alternativ över tre år, inklusive utträde (se ämne 7.5, Tjänstekostnad och enhetsekonomi, och ämne 7.7, Avkastning på investering och affärscase).
Antimönster och fallgropar
- Verktyg först, frågor sedan. Plattformen kommer, och ingen vet vad man ska fråga den. Skriv måtten först.
- Att köpa för att lösa ett definitionsproblem. Oenighet om betydelse består i vilket verktyg som helst. Reda ut definitionerna.
- Inbyggda poäng för individer. De lockar och de förvränger. Stäng av dem och fastställ policyn först.
- Inget utträde. Historik och definitioner är fångade. Testa export och behåll en kopia.
- Enmanspipelinen. Den stannar när personen lämnar. Dokumentera den, testa den och dela ägarskapet.
- Dubbelinmatning. Människor loggar samma arbete två gånger, och kvaliteten på båda faller. Hämta data från systemen där uppgifterna förs.
- Överdesign tidigt. En dataplattform kommer innan en enda vy har visat sitt värde. Börja tunt.
- Att ignorera datakvalitet. Rena diagram på smutsiga data vilseleder mer övertygande. Rätta insamlingen vid källan.
Mognadsmodell
| Dimension | 1 Initiera | 2 Utveckla | 3 Standardisera | 4 Styra | 5 Orkestrera |
|---|---|---|---|---|---|
| Datatillförsel | Manuell insamling; kalkylblad | Vissa automatiska flöden; enskilda skript | Överenskomna källor matar ett delat lager genom testade pipelines | Tillförlitlighet, avstämning och aktualitet hanteras och är synliga | Federerade pipelines med delade kontrakt över team och leverantörer; källor förbättras utifrån återkoppling |
| Definitioner och katalog | I människors huvuden | Vissa dokumenterade | En katalog över definitioner med ägare, versionerad och granskad | Katalogen driver instrumentpaneler; ändringar ses över med användare | Definitioner samägs över team och leverantörer; avvecklas när de slutar ge underlag för beslut |
| Val och kostnad | Ad hoc-inköp | Överlappande verktyg | Kriterier nedskrivna; utträde testat; full kostnad räknad | Kostnad per stött team och manuell insats hanteras | Verktygsval ses över regelbundet med användare och anpassas när behoven ändras |
Checklista
- De överenskomna måtten och deras frågor är nedskrivna innan verktyg jämförs.
- Befintliga verktyg och rapporter har inventerats och prövats först.
- Datakvaliteten vid huvudkällorna har kontrollerats och de värsta luckorna rättats.
- Urvalskriterier är skrivna och inkluderar fördelningar, åtkomstkontroll och export.
- En tidsavgränsad prövning med verkliga data och verkliga användare gjordes före varje åtagande.
- Funktioner för poängsättning och rangordning på individnivå är avstängda eller begränsade genom policy.
- Definitioner förvaras i en portabel katalog utanför varje enskilt verktyg.
- Pipelinen har en ägare, automatiska kontroller, övervakning och en felvarning.
- En export av definitioner och historik har testats.
- Full kostnad över tre år, inklusive utträde, har räknats.
AI-prompter
Skriv krav utifrån frågor.
Here are the questions our audiences ask and the measures we plan to publish:
[paste]. Draft a two-page requirements document for a metrics tool or pipeline.
Cover data sources, freshness, access control, retention, distributions and
percentiles, export and portability, and a list of must-haves versus preferences.
Do not name products. List your assumptions and the points to confirm with the
teams.
Planera en verktygsprövning.
We are comparing [options] for our metrics program. Design a two-week trial using
three of our measures and real data. State what to test, how to score the options
against written criteria, who should take part, how to check access control and
export, and what evidence we will record. Do not claim results about specific
products. List your assumptions and risks.
Granska en datapipeline.
Here is a description of how data flows from [sources] to our dashboards: [paste].
Identify points where data could be late, duplicated, overwritten, or lost, and
suggest automated checks for each. Propose a way to reconcile key figures with the
source. Do not invent system behavior. List your assumptions and what you could not
tell from the description.
Jämför full kostnad.
Help me compare the three-year full cost of building, buying, and combining tools
for our metrics program. List the cost categories for each option, including
licenses, infrastructure, integration, data cleaning, training, upkeep, and exit.
Provide a table with blanks for our own figures. Do not supply prices. List your
assumptions.
AI-färdigheter
- Service Management Metrics skill: använd för att hitta datakällan och skyddsräcket för varje mått när krav skrivs.
- Service Management Metrics maintainer skill: använd för att kontrollera att ett verktygsbeslutsunderlag bär definitioner, datakällor och skyddsräcken.
Viktigaste slutsatser
- Skriv frågorna och måtten först och välj verktyg som tjänar dem.
- Använd systemen där uppgifterna förs, rätta datainsamlingen vid källan och testa avstämning.
- Håll definitioner och data portabla och testa utträdet innan du åtar dig.
- Stäng av poängsättning och rangordning på individnivå och fastställ policyn innan någon funktion slås på.
- Kör pipelinen som en tjänst med en ägare, test och övervakning.
- Räkna den fulla kostnaden över flera år och börja med den tunnaste väg som besvarar verkliga frågor.
Referenser och vidare läsning
- Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
- Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
- Axelos, ITIL 4 Foundation, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, IT service management.
- Wikipedia, Observability (software).
- Wikipedia, Data pipeline.
- Wikipedia, Extract, transform, load.
- Wikipedia, Data warehouse.
- Wikipedia, Application programming interface.
- Wikipedia, Data quality.
- Wikipedia, Data governance.
- Wikipedia, Total cost of ownership.
- Wikipedia, Vendor lock-in.