Mae pob metrig yn y llyfr hwn yn gorffwys ar dybiaeth bod cynhyrchu'r peth a gyfrifir yn cymryd ymdrech go iawn. Roedd tocyn a ddatryswyd yn adlewyrchu gwaith. Roedd erthygl a ysgrifennwyd yn adlewyrchu gwybodaeth. Roedd newid a unwyd yn adlewyrchu gofal. Mae AI cynhyrchiol yn gwanhau'r dybiaeth honno. Gall ddrafftio ateb, erthygl, prawf neu floc o god mewn eiliadau, ac mae'r hyn y mae'n ei ddrafftio yn aml yn ymddangos yn gredadwy ac weithiau'n anghywir. Mae'r cyfrifon yn codi. Mae a yw'r bobl a wasanaethir yn well eu byd yn gwestiwn ar wahân na all y cyfrifon ei ateb.

Mae AI hefyd yn ychwanegu pethau newydd i'w mesur. Mae angen mesurau datrys, trosglwyddo a niwed gweithredoedd anghywir ar gynorthwywyr sgwrsio ac asiantau sy'n gweithredu ar ran defnyddiwr. Mae angen mesurau cwmpas, rheolaeth a thrin digwyddiadau ar lywodraethu modelau, anogion a chyflenwyr. Ac mae angen gwarchod sgiliau, dealltwriaeth a chyflymder cynaliadwy y bobl sy'n gweithio wrth ymyl yr offer hyn. Mae'r mesurau yn y rhan hon yn tynnu ar weddill y llyfr, oherwydd mai'r un canllawiau amddiffynnol ydynt: paru pob metrig â gwiriad ar yr hyn y gallai ei guddio, cymharu â llinell sylfaen, samplu gyda phobl, a chadw data am bobl allan o werthuso (gweler pwnc 1.2, Cyfraith Goodhart a seicoleg metrigau).

Mae ffyrdd ystwyth ac ITIL o weithio yn cynnig safbwynt synhwyrol tuag at hyn i gyd. Trinwch bob defnydd o AI fel arbrawf bach. Nodwch y budd disgwyliedig, rhowch gynnig arno gyda phobl barod, cymharwch â gwaith tebyg a wnaed hebddo, a phenderfynwch ar sail y dystiolaeth. Cadwch randdeiliaid yn gysylltiedig yn barhaus, oherwydd nhw yw'r cyntaf i sylwi pan fo'r signal yn dirywio. Anelwch at gyflymder cynaliadwy, fel bod amser a arbedir yn ddewis ynghylch ansawdd a dysgu, nid yn gynnydd awtomatig mewn galw. A chofiwch nod adeiladu o amgylch unigolion ysgogol: dylai AI leddfu gwaith diflas a pharchu barn pobl, ac ni ddylai ddod yn ffordd o'u monitro.

Mae ffeithiau am offer, cynhyrchion a rheolau AI yn newid yn gyflym. Mae datganiadau yn y rhan hon am reoliadau, safonau ac offer penodol wedi'u dyddio fel o fis Hydref 2026, a dylai'r darllenydd eu hailwirio. Mae'r egwyddorion mesur yn fwy parhaol nag unrhyw un o'r dechnoleg a ddisgrifiant.

Mae'r rhan hon hefyd yn trafod y ddwy lens arall o'r pedair, awtomeiddio a dadansoddeg. Mae awtomeiddio a threfnu yn newid pwy sy'n gwneud y gwaith ac yn gwneud methiannau'n gyflym ac yn eang, felly cânt eu mesur ar yr hyn a ddilëir ganddynt a'r hyn a dorrant. Mae piblinellau yn cynhyrchu llawer o'r dystiolaeth ar gyfer newid a chydymffurfio, felly cânt eu mesur fel systemau. Mae dadansoddeg, rhagolygu a arsylwadwyedd yn cynhyrchu'r rhifau a ddefnyddir ym mhobman arall yn y llyfr, felly mae angen mesurau eu hunain ar eu hansawdd data, eu hansicrwydd a'u cost.

Pynciau yn y rhan hon

  • 10.1 AI mewn mesur rheoli gwasanaethau: ble mae AI yn dod i mewn i'r gwaith, llinellau sylfaen cyn mabwysiadu, cymariaethau, amser i ganlyniad wedi'i wirio, a chost lawn.
  • 10.2 Mesur gwaith â chymorth AI: cadw, ailwampio, llwyth adolygu, diffygion a ddihangodd, dealltwriaeth a sgiliau.
  • 10.3 Metrigau asiantau AI a sgwrsfotiau: datrys wedi'i wirio, cysylltiadau dychwel, trosglwyddiadau, amser i berson, cywirdeb atebion, a gwrthdroi gweithredoedd asiantau.
  • 10.4 Chwyddiant metrigau a gwanhau ansawdd: sut mae cyfaint a chyflymder yn chwyddo, samplu defnyddioldeb, baich gwirio, a thorri dolenni adborth.
  • 10.5 Metrigau llywodraethu a risg AI: y gofrestr o ddefnyddiau, dosbarthiadau risg, rheoli newid ar gyfer modelau ac anogion, gwerthuso, goruchwylio a digwyddiadau.
  • 10.6 Metrigau awtomeiddio a threfnu: yr hyn y mae awtomeiddio yn ei ddileu ac yn ei dorri, cwmpas sy'n golygu rhywbeth, methiant a dychwelyd, a dylunio gyda pherson yn y ddolen.
  • 10.7 Metrigau piblinellau a newid awtomataidd: iechyd piblinellau, cymeradwyaethau awtomataidd, polisi fel cod, a'r dystiolaeth y mae piblinell yn ei chynhyrchu.
  • 10.8 Metrigau dadansoddeg ac ansawdd data: cyflawnrwydd, amseroldeb, llinach, cysoni, a'r hyn y gall rhif ei ddangos a'r hyn na all.
  • 10.9 Metrigau rhagolygu a dadansoddeg ragfynegol: gwall rhagolygon, graddnodi, cyfyngau, a'r penderfyniadau y mae rhagolygon yn eu llywio.
  • 10.10 Metrigau arsylwadwyedd a thelemetreg: cwmpas logiau, metrigau a thraciau, ansawdd signalau, a chost telemetreg.

Sut mae'r pynciau hyn yn perthyn i'w gilydd

Mae'r pwnc sylfeini (gweler pwnc 10.1, AI mewn mesur rheoli gwasanaethau) yn gosod y dull: llinell sylfaen, cymhariaeth, samplu a chost lawn. Mae'n berthnasol i bob pwnc arall yn y rhan. Mae'r pwnc gwaith â chymorth (gweler pwnc 10.2, Mesur gwaith â chymorth AI) yn defnyddio'r dull hwnnw ar y gwaith y mae pobl yn ei wneud gydag AI wrth eu hymyl, ac yn edrych ar yr hyn sy'n goroesi a'r hyn sy'n digwydd i ddealltwriaeth. Mae'r pwnc sgwrsfotiau ac asiantau (gweler pwnc 10.3, Metrigau asiantau AI a sgwrsfotiau) yn ei gymhwyso i systemau sy'n wynebu defnyddwyr yn uniongyrchol neu'n gweithredu ar eu rhan, lle mae cost ateb neu weithred anghywir yn disgyn ar rywun arall.

Mae chwyddiant a gwanhau (gweler pwnc 10.4, Chwyddiant metrigau a gwanhau ansawdd) yn gydymaith rhybuddiol i bob un o'r rhain. Mae'n egluro pam mae'r rhifau hawdd yn codi a beth i'w baru â hwy, ac mae'n cysylltu â'r gwiriadau defnyddioldeb yn y pynciau eraill. Llywodraethu (gweler pwnc 10.5, Metrigau llywodraethu a risg AI) yw'r strwythur sy'n dal y gweddill yn ei le: mae'n darparu'r gofrestr sy'n dweud wrthych beth i'w fesur, y dosbarthiadau risg sy'n dweud wrthych pa mor ddwfn, y rheolaeth newid sy'n cadw ymddygiad rhag drifftio'n ddiarsylwi, a'r broses digwyddiadau ar gyfer pan fydd rhywbeth yn mynd o chwith.

Mae sawl pâr o ganllawiau amddiffynnol yn dilyn. Dylid darllen mesur cyflymder gyda'r amser i ganlyniad wedi'i wirio a'r baich gwirio. Dylid darllen ffigur cyfyngu neu ddargyfeirio gyda datrys wedi'i wirio a chysylltiadau dychwel. Dylid darllen cyfrif defnyddiau cofrestredig yn erbyn darganfod annibynnol. Dylid trin ffigur mabwysiadu ar gyfer offeryn AI fel un disgrifiadol, a chanlyniadau yn erbyn cymhariaeth sy'n cario'r pwysau.

Mae'r rhan yn cysylltu â rhai cynharach: mesurau adolygu a llif Rhan 2, mesurau gwybodaeth a hunanwasanaeth Rhan 3, mesurau diogelwch a risg Rhan 8, a mesurau pobl Rhan 9. Mae pynciau 10.6 i 10.10 yn ymestyn y dull i awtomeiddio, piblinellau, dadansoddeg, rhagolygu a arsylwadwyedd: yr un llinell sylfaen, yr un paru cyflymder ag ansawdd, a'r un arfer o wirio'r hyn na all y rhif ei ddangos. Mae mesurau awtomeiddio a phiblinellau (gweler pwnc 10.6, Metrigau awtomeiddio a threfnu, a phwnc 10.7, Metrigau piblinellau a newid awtomataidd) yn gorffwys ar y mesurau ansawdd data ym mhwnc 10.8 (gweler pwnc 10.8, Metrigau dadansoddeg ac ansawdd data), ac mae rhagolygon (gweler pwnc 10.9, Metrigau rhagolygu a dadansoddeg ragfynegol) a thelemetreg (gweler pwnc 10.10, Metrigau arsylwadwyedd a thelemetreg) yn bwydo'r ddau. Mae'n arwain i'r rhan gynnwys olaf, sy'n ymwneud ag adeiladu rhaglen fetrigau ei hun, oherwydd bydd rhaglen sy'n cyflwyno mesur heb ofal yn dioddef yr un ystumiadau ag y mae'r rhan hon yn eu disgrifio.