ServiceNow-en AutoSynthData-k agenteen porrotak prestakuntza-urrezko bihurtzen ditu

Erantzun laburra: ServiceNow CoreAIren AutoSynthData-k agenteen porrotak eta irakasleen arrakastak SFT zeregin sintetiko balioztatu bihurtzen ditu enpresek inguruneko gaitasuna behar dutenean, ez erreferentzia puntuazio orokorrak soilik. Hutsuneak gaitasun-espezifikazio txarteletan garbitzen ditu, egiaztagarria den lana biderkatzen du, eta gero kalitatea kontrolatzen du doikuntza egin aurretik. Egileak jakinarazi duenez, EnterpriseOps Gym-eko igoerak eusten dira irakasleen indarra, egiaztatzailearen kalitatea eta ingurunearen fideltasuna bat badatoz.

Ondorio nagusiak:

Gaitasun txartelak: Hutsuneak txarteletan garbitu, sortzaileek jatorrizko IDak inoiz ez ikusteko.

Egiaztatzailearen auditoria: Mutatutako emaitza okerrak baztertzen dituzten SQL azken egoeraren egiaztapenak hobetsi.

Zailtasun banda: Helburuak gutxitan ebazten dituen eta irakasleak normalean gainditzen dituen zereginak bakarrik entrenatu.

Giza berrikuspena: Berriro trebatu aurretik, mantendu gizakiaren berrikuspena politika garrantzitsuetan eta ekintza itzulezinen gainean.

Muga mugikorra: SFT-ren ondoren, berriro ebaluatu eta helburu-fasea geratzen diren hutsuneetarantz mugitu.

Enpresako IA agenteek gutxitan huts egiten dute ezagutza orokorra falta dutelako. Huts egiten dute ingurunea espezifikoa delako: txartelen politikak, eskema berezitasunak, tresnen kontratuak, datu-base haziak, ezagutza artikuluak eta testuliburuetako demoen itxura ez duten sistema anitzeko lan-fluxuak. Erreferentziazko proba irekietan puntuazio ona lortzen duen eredu bat gelditu egin daiteke hurrengo urratsak aldaketa-leiho bat, CMDB harreman bat edo txat jariakorra baino azken egoera egiaztatzen duen egiaztatzaile bat errespetatu behar duenean.

ServiceNow CoreAI / ServiceNow-AI-k AutoSynthData argitaratu zuten hutsune horri zuzenean aurre egiteko. Izendatutako egileak , Esakkivel Esakkirajak, agente baten porrotak -irakasle sendoago baten arrakastak batera- enpresa-inguruneetara egokitutako baliozko prestakuntza-zeregin sintetiko bihurtzen dituen kanalizazio bat deskribatzen du. Helburua ez da txat-erregistro gehiago biltzea. Lan gogor eta egiaztagarria biderkatzea da, gaitasun bera baldintza berrietan erabiltzen duena, gainbegiratutako doikuntza finak ingurune espezifikoetako zuloak itxi ahal izateko.

Artikulu honek ideia nagusia, zereginen abstrakzioa, sorkuntza eta kalitate-kontrol begizta, arkitektura partekatua eta egileek jakinarazitako emaitzak aztertzen ditu EnterpriseOps Gym-i buruz, ingurune hibridoetan eta ITSM-n. Ikerketak deskribatzen duenarekin bat egiten du: zeregin sintetikoen curriculuma mugikor bat, ez enpresa bateko arazoa bat-batean konpontzen denik dioen baieztapen bat.

Zergatik ingurumen-gaitasunak gaitasun zabala gainditzen du

Enpresek beren ingurunean lan egiten duten agenteak behar dituzte - beren sistemetan, arauetan eta datuen egoeran. Gaitasun zabala ez da inguruneko gaitasunaren gauza bera. Agente batek IT zerbitzuen kudeaketak nola funtzionatzen duen jakin dezake, eta hala ere, trantsizio batzuk debekatzen dituen tokiko politika edo aurrebaldintzazko erregistro bat egon ondoren bakarrik erlazionatutako taula bat eguneratzen duen tresna galdu.

Banakako hutsegiteak informatiboak dira, baina entrenamendu-datuak bezain meheak. Ibilbide hautsi batek ahultasun bat erakusten du; ez ditu ereduari aldakuntzen pean berreskuratzen irakatsiko lioketen dozenaka egoera hurbil eskaintzen. Taldeek gaitasun bera modu ezberdinean lantzen duten, ingurunearen barruan osatu daitezkeen, erabiltzaileak eskatzen duen bezala errealistak diren eta emaitzen egekin egiaztagarriak diren zeregin berri asko behar dituzte.

Hori da AutoSynthDataren atzean dagoen diseinu-presioa. Hutsak gaitasun-txartelen seinale bihurtzen dira. Txartelak zeregin berrien sortzaile bihurtzen dira. Irakasle sendoago batek ibilbide arrakastatsuak erakusten ditu. Iragazkiek eta egiaztatzaileek erabakitzen dute zer sartzen den gainbegiratutako doikuntza-multzoan. Entrenamenduaren ondoren, ebaluazioak muga gainerako hutsuneetara mugitzen du. Begizta curriculumaren formakoa da, datu-isurketa bakarrekoa baino.

Profesionalentzat garrantzitsua da markoak erabiltzea. Huts egiten duten galderak bakarrik gordetzen badituzu, entitate eta esaldi zehatz horietara gehiegi egokitzeko arriskua duzu. Mugarik gabeko eskaera sintetikoak bakarrik sortzen badituzu, ezinezkoak, errealistak edo egiaztatu ezinak diren zereginak izateko arriskua duzu. AutoSynthData mutur horien artean dago: gaitasun-espezifikazio batean huts egin duena garbitu, eta gero gainazalaren forma eta kontrola daitezkeen dimentsioak aldatzen dituzten bitartean muina mantentzen duten zereginak birsortu.

Zeregin praktikoaren forma: sistema, gonbita, egiaztatzailea

Lan eragilerako abstrakzio bideragarri bat hau da: zeregina sistemaren zehaztapena, erabiltzailearen gonbidapena eta egiaztatzailea da. Pieza bakoitzak datu sintetikoak oinarrituta eta fidagarriak mantentzen dituzten mugak ditu.

Sistemaren zehaztapenak mugak, politikak eta hasierako egoera hartzen ditu barne - adibidez, datu-basearen haziak eta ezagutza artikuluak. Eskuragarri dauden tresnekin eta egoerarekin bateragarria izan behar du. Tresna-kontratuak edo hazien errealismoa alde batera uzten dituzten zailtasun-murrizketa arbitrarioek ikasgai okerra irakasten duten zeregin hauskorrak sortzen dituzte.

Erabiltzailearen galderen kalitateak hiru lente ditu. Bideragarritasunak ibilbide baliodun bat existitzen den galdetzen du. Errealismoak erabiltzaile batek sinesgarritasunez hori eskatuko lukeen galdetzen du. Zailtasunak zereginak agentearen ahultasun bat agerian uzten duen galdetzen du, helburuak dagoeneko fidagarritasunez konpontzen duen zerbaiten ordez. Helburuarentzat hutsala den galde batek prestakuntza aurrekontua xahutzen du; ezinezkoa den galde batek ebaluazioaren konfiantza xahutzen du.

Egiaztatzailearen kalitatea koherentzia, sendotasun eta osotasunaren araberakoa da. Ibilbide lasaiegi eta ahulegiek gainditzen dute. Ibilbide bakarrerako murriztaileegiak eta alternatiba baliodunak huts egiten dute. Enpresen ezarpenek askotan SQL oinarritutako edo egoera oinarritutako emaitzen egiaztapenak nahiago dituzte, agenteak jardun ondoren mundua kalifikatzen baitute, ez agenteak hartu zuen token bide zehatza.

AutoSynthData triada honetan oinarritzen da sortutako lana oinarrituta mantentzeko. Sortzaileek ez dituzte galdetegi flotagarririk asmatzen. Ingurune-egokitzailean exekutatu eta azken egoeraren propietate beharrezkoak kontuan hartzen dituzten egiaztatzaileek epaitu ditzaketen zereginak sortzen dituzte.

Diagnostiko-ebaluaziotik gaitasun-espezifikazio txarteletaraino

Hodiak helburu-eragilearen eta ingurune barruko irakasle sendoago baten ebaluazio diagnostikoarekin hasten da. Alboko exekuzioek helburuak non huts egiten duen eta irakasleak non arrakasta duen agerian uzten dute. Kontraste-kasu horiek dira curriculumaren diseinurako lehengaia.

Ondoren, gaitasun-espezifikazio txartel garbituetan destilazioa dator . Txartel batek proban dagoen gaitasuna, tresna garrantzitsuak edo lan-fluxuaren forma, helburuak non huts egiten duen eta irakasleak arrakasta duen, beharrezko azken egoeraren propietateak eta zeregin berriak asmatzean alda daitezkeen dimentsioak jasotzen ditu. Garrantzitsua da sorgailuak ez dituela jatorrizko gonbidapenak, entitateak, ibilbideak edo egiaztatzailearen xehetasunak jasotzen; txartelak bakarrik.

Saneamendu hori gehiegizko egokitzapenaren aurkako mugimendu nahita bat da. Sortzaileak huts egiten duten txartelen zenbaki zehatzak, ezagutza artikuluen IDak edo irakasleen arrastoak ikusiko balitu, atal bera parafraseatzeko tentazioa izango luke. Txartelek abstrakzioa behartzen dute: gaitasuna aldakuntza kontrolagarriaren pean irakatsi, ez memorizatutako instantziaren pean.

Txartelak existitzen direnean, sistemak zeregin berriak sortzen ditu horietatik abiatuta. Irakasleak, ondoren, ibilbide arrakastatsuak erakusten ditu gainbegiratutako doikuntza finetarako. Erakustaldi horiek ez dira aholku libreak; ingurunean oinarritutako arrakastak dira, curriculumak axola duen egiaztapen mota bera gainditzen dutenak.

Bi faseko egitura-eskala. Helburu-faseak hutsuneen inguruko oinarrizko lagin egiaztatuetan jartzen du arreta - agente ahula hausten den tokitik gertu dauden seinale-handienak diren zereginetan. Biderketa-faseak onartutako helburuen aldaera berriak sortzen ditu. Biderkatutako laginek ezin dituzte biderketa-txanda gehiago eman, eta horrek desbideratzea mugatzen du. Arau hori txikia baina garrantzitsua da: aldakuntza errepikakor mugagabea txartelak izendatutako gaitasunetik urrundu daiteke.

Kontrolatzaile partekatua, ingurune egokitzailea eta muga mugikorra

Arkitekturari dagokionez, AutoSynthDatak kontrolatzaile partekatu bat eta ingurune-egokitzaile bat. Kontrolatzaileak diagnostikoa, txartelak jartzea, sorkuntza, irakasleen erakustaldiak, kalitate-ateak eta multzoen berrikuspena antolatzen ditu. Egokitzaileak urrats horiek enpresa-sandbox zehatz batera konektatzen ditu (tresnak, egoera, politikak eta egiaztatzaileak), kontrol-begizta berak domeinu desberdinak izan ditzan helburu, curriculumaren logika hutsetik berridatzi gabe.

Gainbegiratutako doikuntza finaren ondoren, prozesua berriro ebaluatzen da. Ondoren, curriculuma geratzen diren hutsuneetarantz mugitzen da: datu-multzo estatiko baten ordez, muga mugikor bat. Lanean deskribatutako esperimentuek gainbegiratutako doikuntza finetan jartzen dute arreta. Begizta berak geroago indartze-ikaskuntza lagun dezake; norabide hori planifikatuta dagoela adierazten da, ez amaituta dagoela aldarrikatzen da.

Enpresa-taldeentzat, arkitektura-ikasgaia modularra da. Kontrolatzaileek ez lukete txartel-eskema bakarrean kodetu behar. Egokitzaileek egoera eta tresnen fideltasun nahikoa erakutsi behar dute egiaztatzaileak esanguratsuak izan daitezen. Curriculumak ebaluazio-emaitzak hurrengo sarrera gisa tratatu behar ditu, ez behin-behineko markagailu gisa.

EnterpriseOps Gym da ikuspegi hau ilustratu den ingurunea. Eskala handiko enpresa-agenteen banku bat da 8 domeinutan zehar adituek zaindutako 1.150 zeregin inguru, gutxi gorabehera 512 tresna, 164 datu-base taula inguru, edukiontzietan oinarritutako exekuzioa, SQL oinarritutako emaitzen egiaztapena, politika bidez gobernatutako eragiketak, domeinu arteko eszenatoki hibridoak, bideraezintasun eta uko probak eta horizonte luzeko egoera-ibilbideak dituena. AutoSynthData ez da gimnasio hori asmatu duenik aurkezten; gimnasioa sintesi begiztaren estres-proba ohea da.

Lagin mailako QC, zeregin sintetikoak fidagarriak mantentzen dituena

Ate gabeko sorkuntza da agente sintetikoen datuak gaizki ateratzen diren modua. AutoSynthData-k lagin-mailako kalitate-kontrola deskribatzen du hainbat egiaztapen osagarrirekin.

Ebazlearen zailtasun-iragazki batek multzoa helburuarentzat zailak eta irakaslearentzat ebazteko modukoak diren zereginetarantz bideratzen du. Deskribatutako konfigurazioak helburuak gehienez hiru saiakeratik batean ebazten dituen zereginak lehenesten ditu, irakasleak gutxienez hirutik bitan arrakasta lortzen duen bitartean. Banda horretan, gainbegiratutako demoek eredu ahulak dagoeneko ez dakien zerbait irakatsi dezakete.

Egiaztapen positiboak erreferentziazko ibilbide batek egiaztatzailea gainditzea eskatzen du. Egiaztapen negatiboak emaitza okerrak huts egitea eskatzen du. Elkarrekin, egiaztatzailearen onarpen eta bazterketa aldeak probatzen dituzte. Positiboak bakarrik egiaztatzen badira, egiaztatzaile permisibo batek zaborra onar dezake. Negatiboak bakarrik egiaztatzen badira, egiaztatzaile zorrotzegi batek lan balioduna baztertu dezake.

Kritika eta konponketa begizta batek, berriro saiatzeko muga batekin, huts egiten duten zereginak konpontzen saiatzen da, ia-ia akats guztiak berehala baztertu beharrean. Berriro saiatzeko mugak garrantzitsuak dira: konponketa amaigabeak gero eta murrizketa artifizialagoak asma ditzake kontrol-zerrenda bat gainditzeko besterik gabe.

Multzo mailako metaberrikuspenak multzo osoa aztertzen du estaldura, aniztasuna, erredundantzia eta huts egiten duten helburuak bilatzeko. Lagin-ateek banakako elementuak sendo mantentzen dituzte; multzoko berrikuspenak curriculuma hutsegite-modu estu batean multzokatzea edo ia errepikatuak klonatzea eragozten du.

Kontrol hauek azaltzen dute zergatik eman ditzakeen orduak bide-lerroak milaka lagin ekoizten bolumena egokitzapenaren ordezko gisa tratatu gabe. Abiadura domeinuaren eta irakaslearen tamainaren arabera aldatzen da, baina QCren istorioa koherentea da: zailtasun-banda, egiaztapen positiboa eta negatiboa, konponketa mugekin, eta gero meta-berrikuspena.

Akats gordinak vs. txartelak vs. balioztatutako SFT multzoak

Artefaktu bakoitzak zertarako balio duen alderatzen laguntzen du. Hutsegiteen erregistro gordinak diagnostikoak dira. Gaitasun-txartelak kontratu sortzaileak dira. Praktikan trebatzen dituzun doikuntza finko multzo gainbegiratu balioztatuak dira.

EnterpriseOps Gym-eko hibrido eta ITSM argazkietan, egileek jakinarazitako exekuzioek Gemma-4-26B-A4B-it erabili zuten helburu gisa. Hibridoak helburu hori Qwen3.8-27B-rekin parekatu zuen irakasle gisa eta 2.000 lagin hibrido inguru sortu zituen 18 ordu ingurutan , kontrol-puntu onena 5. aroan izanik. Batez besteko Pass@1-a 7,2 puntu portzentual igo zen - % 35 inguru erlatiboa - egiaztatzailearen arrakasta % 63,01etik % 68,55era igaroz, erreferentziazko ereduarekiko Pass@1 aldea % 59 inguru itxiz

ITSM-k helburu bera DeepSeek-V4.1-Flash-ekin parekatu zuen irakasle gisa eta 1.994 lagin inguru ekoitzi zituen gutxi gorabehera 66 ordutan, denbora gehiagoz neurri batean irakasle handiagoa zelako eta zenbait optimizazio oraindik ez zeudelako martxan. 1. mailaren batez besteko Pass@1 ehuneko 18,77tik ehuneko 27,18ra igo zen.

Irakurri zenbaki hauek gimnasio honetan probatutako domeinuetarako enpresaren ikerketaren emaitza gisa - ez hirugarrenen erreplika independente gisa, ezta enpresaren berme unibertsal gisa ere. Irabaziak irakasleen indarra, egiaztatzailearen kalitatea eta ingurunearen fideltasuna lerrokatzen diren lekuan daude.

Zer kopiatu beharko lukete profesionalek begiztatik

Zure pila ServiceNow-en ikerketa-hodibidea ez bada ere, eredua transferitzen da. Hasi ekoizpen-helburu baten eta irakasle sendoago baten ebaluazio parekatuarekin sandbox fidel batean. Bihurtu kontraste-hutsegiteak gaitasun-txarteletan, identifikatzaileak eta ibilbideak kentzen dituztenak. Sortu baimendutako dimentsioak aldatzen dituzten zereginak, beharrezko azken egoeraren propietateak mantenduz. Eskatu irakasleari arrakastak erakustea. Atea zailtasun-bandekin, egiaztapen positibo eta negatiboekin, konponketa mugatuekin eta lote-aniztasunen berrikuspenarekin. Doitu, berriro ebaluatu eta mugitu muga.

Jarri arreta berezia egiaztatzailearen diseinuari. EnterpriseOps Gym estiloko SQL emaitzen egiaztapenek eta gidalerroek gobernatutako eragiketek erakusten dute zergatik diren txat-errubrikak berez ahulak egoera-lanerako. Zure egiaztatzaileak ezin baditu bereizi mutatutako emaitza okerrak azken zuzenetatik, eskala sintetikoak zarata anplifikatuko du.

Errespetatu arau anizkoitzaren espiritua ere: onartutako helburuen aldaerek ez lukete etengabe aldaera gehiago erein behar egiaztatutako nukleoetara itzuli gabe. Drift isila da. Murrizketa exotikoagoak poliki-poliki asmatzen dituen curriculumak iragazki azalekoak gainditu ditzake, jatorrizko gaitasuna gutxiegi entrenatuta utziz.

Azkenik, hartu domeinu arteko lan hibridoa lehen mailako estres kasu gisa. Eguneroko erabiltzaileak ez dira tresna-silo bakar batean geratzen. Zeregin hibridoak, horizonte luzeko ibilbideak eta uko edo bideraezintasun probak dira ingurunearen gaitasuna agertzen den lekua - edo huts egiten duen lekua.

Oharrak, mugak eta irabazien irakurketa arretatsua

Egileak EnterpriseOps Gym-en emandako emaitzak seinale informatiboak dira, ez berme orokorra. Argitaratutako Hybrid eta ITSM irabaziak domeinu eta modelo parekatze horiei aplikatzen zaizkie deskribatutako konfigurazioaren arabera. Beste domeinu batzuek, irakasle ahulagoek, egiaztatzaile zaratatsuagoak edo ingurune-fidelitate txikiagoek onura murriztu edo ezabatu dezakete.

Kalitatea hiru zutaberen mende dago, eta marketin-glosak ezin ditu saltatu. Irakaslearen indarrak erakustaldien muga ezartzen du. Egiaztatzailearen kalitateak etiketen eta iragazkien fidagarritasuna ezartzen du. Ingurunearen fideltasunak ikasitako jokabideek ekoizpen-sistemekin, arauekin eta datuen egoerarekin kontaktuan irauten duten ala ez zehazten du.

AutoSynthDataren esperimentuek gainbegiratutako doikuntza finak azpimarratzen dituzte. Errefortzu bidezko ikaskuntza begizta beraren geroagoko erabilera posible gisa aipatzen da, txostenean entregatu beharrean planifikatuta. Irakurleek ez lukete curriculumerako prest dagoen datu-motor bat RL entrenamenduaren baieztapen amaitu batekin nahastu behar.

Irakurleek ez lukete nahastu behar sintesi-hodia bankuarekin berarekin. EnterpriseOps Gym-ek zereginak, tresnak, taulak, edukiontzi-bilketa eta egiaztapen-ehuna eskaintzen ditu. AutoSynthDatak ingurune mota hori erabiltzen du hutsegiteak entrenamendu-urrezko bihurtzeko. Bi zatiei aitortza eman behar zaie zehatz-mehatz: gimnasioak agenteak estresatzen ditu; hodiak diagnostikatutako hutsuneetatik irakas daitezkeen zereginak biderkatzen ditu.

Ez dago doako bazkaririk konputazio eta egutegi denboran sandbox barruan. Sintesi hibridoa ordu gutxiren buruan burutu zen bi mila lagin ingururentzat; ITSM-k denbora gehiago behar izan zuen irakasle astunago batekin eta lehenagoko pipeline formarekin. Taldeek aurrekontua hartu beharko lukete irakaslearen inferentziarako, kritika edo konponketa saiakeretarako eta curriculumaren urrats bakoitzaren ondoren berriro ebaluatzeko.

Enpresako agente taldeentzako curriculumaren pentsamendua

AutoSynthDataren ideiarik sakonena kurrikularra da, sortzaile hutsa baino gehiago. Akatsek diagnostikatzen dute. Txartelek abstraktua egiten dute. Sorkuntzak biderkatu egiten du. QC-k baliozkotzen du. SFT-k helburua eguneratzen du. Berriro ebaluatzeak muga mugitzen du. Sekuentzia horrek agenteen hobekuntza ingurunean oinarritutako ikasgai sorta gisa tratatzen du, arrastoen lineaz kanpoko zabortegi bakar baten ordez.

Curriculumaren pentsamenduak liderrek ahalegina nola banatzen duten aldatzen du. Txartel gehiago edo giza oharpen gehiago eskatzearen ordez, galdetu zein gaitasunek huts egiten duten oraindik aldakuntzaren pean, gaitasun horiek azken egoerako propietate garbiak dituzten ala ez, eta irakasle sendoago batek fidagarritasunez erakutsi ditzakeen ala ez. Irakasleak nahikoa maiz arrakastarik izan ez badu, SFT sintetikoak portaera fidagarria ez dena irakatsiko du. Azken egoerako propietateak lausoak badira, egiaztatzaileek estrategia baliodunekin eztabaidatuko dute.

Arrakastaz hitz egiteko modua ere aldatzen du. Pass@1 hutsune baten zati bat ixtea Hybrid-en erreferentziazko eredu batera, edo ITSM Pass@1 hamar urtetik hogeita hamar urtera igotzea egileek jakinarazitako exekuzioetan, neurtutako ingurune-gaitasunean aurrerapena da. Ez da frogatzen lan-fluxu, politika edo uko kasu guztiak konpondu direnik. Mantendu mugako hizkuntza mugikorra: geratzen diren hutsuneak hurrengo Helburu fasea bihurtzen dira, ez ondorengo irristatze bat.

Programaren diseinurako, lotu begizta hau gizakien berrikuspenarekin, non arriskuak handiak diren - segurtasun politikak, ekintza itzulezinak, datu arautuak -, ate automatizatuek bolumena eramaten uzten duten bitartean ondo zehaztutako egoera egiaztapenetan. Datu sintetikoak hobeto funtzionatzen dute inguruneak SQL bezalako argitasunarekin baietz edo ezetz esan dezakeenean. Zailtasunak ditu arrakasta gustu subjektiboa denean.

Zailtasunari, errealismoari eta uko egiteari buruzko diseinu-oharrak

Zailtasunen araberako helburuak bigarren begirada bat merezi du. Helburuak gehienez ere denboraren heren batean konpontzen dituen zereginak lehenesteak entrenamendua bitxikeriak saihesten ditu. Irakasleak gutxienez denboraren bi herenetan arrakasta izatea eskatzeak erakustaldiak txanponak jaurtitzea saihesten du. Banda hori erronkaren eta ikasteko erraztasunaren arteko konpromiso praktikoa da.

Errealismoa irizpide leunagoa da oraindik, baina ezinbestekoa da oraindik. Enpresa erabiltzaileek beren rol eta sistemetara egokitzen diren gauzak eskatzen dituzte. Gogortasunak soilik gidatzen dituzten sorgailuek operadore batek eskatuko ez lituzkeen muga anitzeko puzzle landuak asmatu ditzakete. Dimentsio aldakorrak zerrendatzen dituzten gaitasun-txartelek laguntzen dute, baina gizakiek edo meta-berrikuspenek oraindik ere gonbidapen surrealistak harrapatu behar dituzte.

uko egiteko eta bideraezintasun probaktaldeei gogorarazten diete gaitasunak ezetz esatea barne hartzen duela. Zeregin osagarrietarako soilik optimizatutako bide batek uko egitea gutxiegi entrenatu dezake. AutoSynthData estiloko begiztak zabaltzean, sartu txartelak non azken propietate zuzena politikaren araberako uko segurua den, ez soilik datu-basearen egoeraren mutazio arrakastatsua.

Horizonte luzeko egoera-ibilbideek beste diseinu-ohar bat sortzen dute. Irakasleen demoek koherenteak izan behar dute tresna-dei askotan zehar. Taularen azken errenkada bakarrik egiaztatzen duten egiaztatzaileek tarteko politika-hausturak gal ditzakete. Egiaztatzaileen diseinuan osotasunak esan nahi du gaitasun horren arrakasta benetan definitzen duten propietateak estaltzea - ​​prozesu osoan zehar egiazkoak izan behar diren murrizketak barne, ez bakarrik amaieran.

Amaierako laburpena

AutoSynthData, ServiceNow CoreAI / ServiceNow-AI-rena eta Esakkivel Esakkirajak idatzitako artikulu publikoan, agenteen porrotak eta irakasleen arrakastak enpresa-inguruneetarako balioztatutako prestakuntza-zeregin sintetiko bihurtzen dituen kanalizazio bat da. Hutsak gaitasun-espezifikazio txartel garbituetan laburbiltzen ditu, jatorrizko gonbidapenak edo ibilbideak filtratu gabe zeregin berriak sortzen ditu, irakasleen erakustaldiak biltzen ditu eta lagin-mailako eta lote-mailako kalitate-kontrola ezartzen du gainbegiratutako doikuntza finaren aurretik.

Eredu mental praktikoa sistemaren zehaztapen, erabiltzailearen gonbidapen eta egiaztatzaile gisa duen zeregina da - bideragarritasuna, errealismoa eta zailtasuna tentsioan mantenduz, eta egiaztatzaileek ez oso lasaiak ezta bide bakar bati lotuta ere. Helburua eta gero biderkatu faseek, biderkatutako laginetarako hazi gehiagorik gabeko araua, kontrolatzaile partekatua gehi ingurune egokitzailea eta SFT osteko berrebaluazioak muga mugikor bat sortzen dute geratzen diren hutsuneen gainean.

EnterpriseOps Gym-en, Gemma-4-26B-A4B-it eta Qwen3.8-27B erabiliz egindako egileek jakinarazitako emaitza hibridoek bi mila lagin inguru erakusten dituzte hemezortzi ordutan, eta Pass@1 eta egiaztatzaile-arrakasta igoera esanguratsuak, erreferentziazko ereduarekiko aldea zati handi bat itxiz. DeepSeek-V4.1-Flash irakasle gisa duen ITSM-k Pass@1 % 18,77tik % 27,18ra igotzen dela erakusten du 1.994 lagin ingurutan, epe luzeagoan. Hartu zifra horiek domeinu espezifikoetan ikertutako seinale gisa, irakaslearen, egiaztatzailearen eta ingurunearen fideltasunaren araberakoak - eta mantendu indartze-ikaskuntza begiztaren luzapen planifikatu gisa, ez baieztapen amaitu gisa.

Esaldi bat gogoratzen baduzu: enpresako agenteak hobetzen dira porrotak egunero erabili behar dituzten sistemen barruko ikasgaiak abstraktu, biderkatu eta egiaztatu bihurtzen direnean, ez taldeek txartel hautsi bera errepikatzen dutenean soilik.

Adibide praktikoa: ITSM kasu gogorrak zabaltzea gimnasio estiloko hutsegite multzo izoztu batetik

Eszenatokia

Erresuma Batuko enpresa-plataforma talde batek -pentsa ezazu ServiceNow estiloko ITSM exekutatzen duen tamaina ertaineko finantza-zerbitzuen eragiketa talde bat, aldaketa-leihoekin, CMDB harremanekin eta politika-mugatutako trantsizioekin- ekoizpen-agente bat du, lan-klase berarekin etengabe topo egiten duena: onarpen-aurrebaldintza bat errespetatu behar duten taula gurutzatuen eguneratzeak, tokiko aldaketa-izozteekin gatazkan dauden ezagutza-artikuluen bilaketak eta ITSM ondoko eragiketa-tresnekin zeharkatzen duten eskaera hibridoak.

EnterpriseOps Gym estiloko suite pribatu bat izozten dute (edukiontzietan kokatzen den sandboxa, SQL emaitzen egiaztapenak, hazitako taulak, politika arauak), puntuazioak astetik astera konparagarriak izan daitezen. Diagnostiko exekuzioek erakusten dute helburuko agenteak huts egiten duela irakasle sendoago batek arrakasta izaten duen bitartean. Zuzendaritzak prestakuntza-seinale gehiago nahi du txartel-zenbaki eta entitate ID berdinak errepikatu gabe. AutoSynthData (edo baliokidea den sintetizazio-akatsetatik begizta bat, ikerketa-hodiak haien pilan blokeatuta badago) da hautagaia: kontraste-akatsak gaitasun-espezifikazio txartel desinfektatu bihurtu, zeregin berriak sortu, irakasleen demoak bildu, eta gero -funtsean- gizakiek berrikusi arrasto sintetikoak berriro entrenatu aurretik.

Ezer ez da berez Gym Pass@1-en bidaltzen. Sintetizazio datuak hautagai-curriculum gisa tratatzen dira, ez egia libre gisa.

Laguntzaileak zer behar duen

• Gimnasio estiloko ingurune egokitzaile izozturako sarbidea: tresnak, hazi egoera, politikak eta SQL (edo egoeran oinarritutako baliokide) egiaztatzaileak.
• Ebaluazio-erregistro parekatuak: helburuen porrotak irakasleen arrakastarekin alderatuta zeregin berdinetan.
• Gaitasuna, tresnen/lan-fluxuaren forma, huts egite/arrakasta kontrastea, beharrezko azken egoeraren propietateak eta baimendutako aldakuntza-dimentsioak jasotzen dituen txartel-eskema bat - jatorrizko gonbidapenik, entitaterik, ibilbiderik edo egiaztatzaile barneko elementurik gabe.
• IPI eta politika garbitu arauak (txartelen IDak, erabiltzaile izenak, CI izenak, araututako eremuak) ezer sandbox-etik irten edo sorgailu-gonbita batera sartu aurretik.
• Giza berrikuspen ilara bat laginketa-zeregin sintetikoetarako eta irakasle-aztarnetarako (bideragarritasuna, errealismoa, egiaztatzailearen sendotasuna, uko/bideraezintasun kasuak).
• Geldialdi-baldintzak garbitu: Helburua eta gero biderkatu faseak; biderkatutako laginek ez dute biderketa-txanda gehiago sortzen.

Adibide-argibidea

Plataformaren arduraduna curriculumaren operadorearentzat (edo txartelak eta berrikuspen paketeak soilik zirriborratzen dituen orkestrazio laguntzailearentzat - ez ditu ereduak berriro trebatzen edo sustatzen):

"Exekutatu diagnostikoa Pass@1 ITSM eta hibrido xerratan izoztutako xerratan gure egungo helburuaren eta izendatutako irakaslearen aurka. Helburuak huts egiten duen eta irakasleak hiru saiakeratik gutxienez bi gainditzen dituen kontraste bakoitzeko, idatzi gaitasun-espezifikazio txartel garbitu bat: izendatu gaitasuna, zerrendatu tresna garrantzitsuak, adierazi beharrezko azken egoeraren propietateak eta zerrendatu kontrola daitezkeen dimentsioak (lehentasun banda, erlazionatutako CI klasea, aldaketa-leihoaren bandera, ezagutza gatazka mota). Kendu txartelen zenbakiak, erabiltzaileen identifikatzaileak, CI izenak eta ibilbide gordinak. Sortu helburu-faseko zeregin berrien multzo bat txartel horietatik soilik. Eskatu irakasleari arrakastak erakustea. Aplikatu zailtasun banda (helburua ≤1/3, irakaslea ≥2/3), egiaztapen positiboa eta negatiboa, eta kritika/konponketa mugatua. Sortu % 5eko lagin estratifikatuen berrikuspen pakete bat gehi uko/bideraezintasun txartel guztiak. Ez hasi SFT bi berrikusleek paketea sinatu eta PII garbiketa egiaztapenak gainditu arte. Hautagai kontrol-puntu batean SFT egin ondoren, berriro ebaluatu izoztutako multzoa eta inoiz sortzeko erabili ez dugun multzo zehatz batean. Jakinarazi estaldura hutsegite klasearen eta atzerakada tasaren arabera aurreko ekoizpenaren aldean." kontrol-puntua. Ez egin sustapenik gimnasioko puntuazioaren arabera bakarrik

Nola probatu

1. Oinarrizko blokeoa: Erregistratu Pass@1 eta egiaztatzaile-arrakasta tasak multzo izoztuan hutsegite klasearen arabera (aurrebaldintzen ordena, aldaketa-leihoaren ukoa, tresna hibrido gurutzatuak, ezagutza gatazka). Mantendu multzoa eta haziak aldaezinak ziklo osoan zehar.
2. Txartelen auditoria: egiaztatu sorgailuek ez dituztela inoiz jatorrizko gonbidapenak, entitateak edo irakasleen arrastoak jasotzen - txartelak bakarrik.
3. Kalitate-probaren lagina: Berretsi ibilbide positiboek egiaztatzaileak gainditzen dituztela eta mutatutako emaitza okerrek huts egiten dutela. Baztertu helburuarentzat hutsalak diren zereginak edo txanpon-jaurtiketa irakaslearentzat.
4. Giza berrikuspena: Berrikusleek lagin bakoitza mantendu / konpondu / kendu gisa markatzen dute bideragarritasun, errealismo eta politika-segurtasunean oinarrituta. Jarrai ezazu berrikusleen arteko adostasuna partekatutako azpimultzo batean.
5. Bat etortze zehatza: Hautagai den SFT-aren ondoren, kartatzean edo sorkuntzan inoiz sartu ez diren benetako (edo aurretik izoztutako) zereginen bat baloratu. Prestakuntza-zereginen ia-parafrasiak bereiz baloratu, memorizazio azalekoa detektatzeko.
6. Erregresio-atea: Aurreko ekoizpen-kontrol-puntuaren aldean okerrera egiten duen edozein hutsegite-klasek sustapena blokeatzen du azaldu edo konpondu arte.

Emaitza

Ez asmatu hemen bake-off ehunekoak. Erabili neurketa-plan bat eta argitaratutako ikerketa-zifrak ARTIKULUKO ERREKLAMAZIO gisa etiketatu aipatzean.

Neurketa plana (talde honek zer jakinarazi behar duen):

• Hutsegite-klaseen estaldura: QC ondoren ≥N onartutako Helburu-faseko zeregin sortu dituzten diagnostikatutako hutsune-klaseen proportzioa (definitu N aldez aurretik, adibidez, 20 onartutako zeregin klase bakoitzeko).
• Erreserba zehatz-mehatz bat etortzea: Pass@1 / egiaztatzailearen arrakasta erreserba ukitu gabean SFT hautagaiaren aurretik vs ondoren (hazi berdinak, egiaztatzaile bera).
• Erregresio-tasa: aurreko ekoizpen-kontrol-puntuaren aldean Pass@1 jaisten den hutsegite-klaseen kopurua; blokeatu segurtasun-kritiko klaseren batek erregresioa egiten badu.
• Berrikuspenaren errendimendua: mantendu / konpondu / botatzeko tasak gizakien berrikuspen paketean; botatzeko tasak gora egiten badu, pausatu. Biderkatu eta konpondu txartelak edo egiaztatzaileak.
• Garbiketa-hutsegiteak: berrikuspena onartu aurretik PII/politika egiaztapenak gainditzen ez dituzten lagin kopurua (helburua: zero ihes egiten du SFT multzoan).

ARTIKULUAREN ALDAKETA (egileak EnterpriseOps Gym-en jakinarazia - ez talde honen neurtutako emaitza): Gemma-4-26B-A4B-it helburu gisa eta Qwen3.8-27B irakasle gisa erabiliz egindako exekuzio hibridoek 2.000 lagin inguru ekoiztu zituzten 18 ordu ingurutan, Pass@1 batez bestekoa % 7,2 puntu igoz eta egiaztatzailearen arrakasta % 63,01etik % 68,55era igaroz. DeepSeek-V4.1-Flash irakasle gisa erabiliz egindako ITSM-k Pass@1 batez bestekoa % 18,77tik % 27,18ra mugitu zuen 1.994 lagin ingurutan exekuzio luzeago batean (~ 66 ordu). Tratatu horiek domeinu eta bikote espezifikoetan ikertutako seinale gisa, ez Erresuma Batuko ekoizpen-pila baterako berme unibertsal gisa.

Programaren forma ilustratiboa (suposizioak, ez neurtutako irabaziak): Taldeak ~2.000 QC bidezko lagin onartzen baditu ITSM ziklo baterako, irakaslearen inferentzia eta berrikuspena aurrekontuatzen baditu % 5eko laginketa estratifikatuan, eta soilik sustatzen badu bazterketak segurtasun-kritiko klaseak atzera egiten ez dituenean, aurko sendotasunez aldarrikatu dezaketen "emaitza" prozesuaren heldutasuna da - ikuskatutako curriculuma, ezabatutako arrastoak eta antzeko izoztutako suite-deltak - ez agindutako ehuneko igoera bat.

Zer gaizki atera daiteke?

• Sintesia egia libre gisa tratatzea: Giza berrikuspena edo egiaztapen negatiboa saltatzeak egiaztatzaile permisiboei zaborra eskala handian onartzea ahalbidetzen die.
• Entitate-ihesa: Jatorrizko txartelen IDak edo irakasleen arrastoak sorgailuan sartzeak parafrasi gehiegi egokitzea eragiten du; txartelak daude hori saihesteko.
• Biderketa mugagabea: Biderkatutako laginei txanda gehiago haztea uzteak izendatutako gaitasunetik urruntzen du.
• Gimnasioko puntuazio bidalketa: Sustapena izoztutako suiteko Pass@1 igo delako, eta, aldi berean, geldiuneko edo ekoizpeneko itzaleko trafikoa okerrera egin duelako.
• Irakaslearen sabaia ahula: Irakasleak ≥2/3 arrakasta-banda gainditu ezin badu, SFT-k demo fidagarriak ez irakasten ditu.
• Egiaztatzaile lausoak: egoera-oinarritutako egiaztapenen ordez txat-errubrikek azken azterketa okerrak arrakastatsutzat kalifikatzen dituzte.
• Prestakuntza gutxiegi ukatzea: Osa daitezkeen mutazioetarako bakarrik optimizatzeak aldaketa-leihoa eta politika-gainbehera hauskor uzten ditu.
• PII ihesa: Benetako CI edo erabiltzaile-izenak berriro sartzen dituzten galdera sintetikoak, garbiketa arinaren ondoren.

Ondorio praktikoak

Erabili AutoSynthData estiloko begiztak -edo baliokide den synth-from-failures eredua ServiceNow CoreAI pipelinea ez badago zure maizterrean eskuragarri- diagnostikatutako hutsuneetatik ITSM kasu gogor eta egiaztagarriak biderkatzeko. Garbitu gaitasun-txarteletan, ateratu zailtasunarekin eta egiaztapen positibo/negatiboarekin, garbitu PII eta gizakiek berrikusitako laginak SFT aurretik. Neurtu hutsegite-klasearen estaldura, mantendu parekatze zehatza eta erregresio-tasa. Aipatu ARTIKULUAREN ERREKLAMAZIOA Gimnasioko zifrak kanpoko ikerketa-testuinguru gisa soilik. Synth datuak curriculumaren erregaia dira, ez bermea: auditatu laginak, mantendu suitea izoztuta konparazio justua egiteko eta ez bidali inoiz Gimnasioko puntuazioa bere kabuz.

Maiz egiten diren galderak

Zer da AutoSynthData eta zein arazori egiten dio erreferentzia?

AutoSynthData ServiceNow CoreAI / ServiceNow-AI pipeline bat da, Esakkivel Esakkirajak deskribatua, agente baten porrotak irakasle sendoago baten garaipenekin batera enpresa-inguruneetarako balioztatutako prestakuntza-zeregin sintetikoetan biltzen dituena. Ingurunearen gaitasunean zentratzen da - tokiko politikak, eskemak, tresnak eta egoera -, ezagutza orokor zabalaren ordez. Helburua lan gogorra eta egiaztagarria biderkatzea da, gainbegiratutako doikuntza finek ingurune espezifikoetako hutsuneak konpondu ahal izateko, txartel hautsi bera errepikatu beharrean.

Zergatik da desberdina ingurumen-gaitasuna eredu zabaleko gaitasunetik?

Enpresa-agenteek askotan estropezu egiten dute ingurunea bera berezia delako: txartelen politikak, eskema-berezitasunak, tresnen kontratuak, datu-base haziak eta sistema anitzeko lan-fluxuak. Erreferentziazko eredu irekietan sendoa dirudien eredu bat aldaketa-leiho batean, CMDB harreman batean edo azken egoera ikuskatzen duen egiaztatzaile batean blokeatu daiteke. Gaitasun zabala ez da zure sistemek, arauek eta datuen egoerak nola jokatzen duten jakitea politika-gobernuko trantsizioetan.

Zein da AutoSynthDatak erabiltzen duen zeregin-forma praktikoa?

Forma bideragarri bat zereginaren berdina da sistemaren zehaztapena, erabiltzailearen gonbidapena eta egiaztatzailea. Sistemaren zehaztapenak mugak, politikak eta hasierako egoera ditu, hala nola datu-baseko haziak eta ezagutza artikuluak. Erabiltzailearen gonbidapenei bideragarritasuna, errealismoa eta zailtasuna kontuan hartuta puntuatzen zaie. Egiaztatzaileek, idealki, SQL oinarritutako edo egoera oinarritutako emaitzen egiaztapenetan oinarritzen dira, agenteak jardun ondoren mundua kalifikatzeko, ez bakarrik hartutako token bide zehatza.

Nola saihesten dute gaitasun-espezifikazio txartel desinfektatuek gehiegizko egokitzapena?

Diagnostiko-exekuzioek helburuak huts egiten duen eta irakasleak arrakasta duen tokiak alderatzen dituzte, eta gero kasu horiek gaitasun-espezifikazio-txartel garbituetan laburbiltzen dituzte. Txartel batek gaitasuna, tresnak edo lan-fluxuaren forma, huts/arrakasta kontrastea, beharrezko azken egoeraren propietateak eta alda daitezkeen dimentsioak erregistratzen ditu. Sorgailuak ez ditu inoiz jatorrizko gonbidapenak, entitateak, ibilbideak edo egiaztatzailearen xehetasunak ikusten - txartelak bakarrik -, beraz, zeregin berriek muin gogorrari eutsi egiten diote buruz ikasitako pasarte bat parafraseatu gabe.

Zeintzuk dira Helburu eta Biderketa faseak bideratze-prozesuan?

Helburu faseak hutsuneen inguruko oinarrizko lagin egiaztatuetan jartzen du arreta - agente ahula hausten den tokitik gertu dauden seinale handieneko zereginetan. Biderketa faseak onartutako helburuen aldaera berriak sortzen ditu. Biderkatutako laginek ezin dituzte biderketa txanda gehiago eman, eta horrek izendatutako gaitasunetik aldentzea kontrolpean mantentzen du. Gainbegiratutako doikuntza finaren ondoren, berriro ebaluatzeak curriculuma geratzen diren hutsuneetara aldatzen du muga mugikor gisa, zabortegi estatiko baten ordez.

Nola mantentzen ditu lagin-mailako kalitate-kontrolak zeregin sintetikoak fidagarriak?

Ebazlearen zailtasun-iragazki batek helburuak gehienez hiru saiakeratik batean ebazten dituen zereginak lehenesten ditu, irakasleak gutxienez hiru saiakeratik bitan arrakasta izaten duen bitartean. Egiaztapen positiboak erreferentziazko ibilbide bat behar du gainditzeko; egiaztapen negatiboak emaitza oker mutatuak behar ditu huts egiteko. Berriro saiatzeko muga duen kritika eta konponketa begizta batek ia huts egiteak konpontzen saiatzen da, eta multzo mailako metaberrikuspenak multzo osoko estaldura, aniztasuna, erredundantzia eta huts egiten duten helburuak egiaztatzen ditu.

Zein arkitektura erabiltzen du AutoSynthDatak enpresa-domeinuetan?

Kontrolatzaile partekatu bat ingurune-egokitzaile batekin parekatzen du. Kontrolatzaileak diagnostikoa, txartelak ematea, sorkuntza, irakasleen demoak, kalitate-ateak eta multzoen berrikuspena exekutatzen ditu. Egokitzaileak urrats horiek hormigoizko sandbox batean konektatzen ditu - tresnak, egoera, politikak eta egiaztatzaileak -, kontrol-begizta berak domeinu desberdinak zuzendu ahal izateko curriculumaren logika hutsetik berridatzi gabe.

Zer da EnterpriseOps Gym ikerketa testuinguru honetan?

EnterpriseOps Gym estres-proba gisa erabiltzen den eskala handiko enpresa-agenteen bankua da, 8 domeinutan zehar adituek zuzendutako 1.150 zeregin ingururekin, gutxi gorabehera 512 tresnarekin, 164 datu-baseko taularekin, edukiontzietan oinarritutako exekuzioarekin, SQL oinarritutako emaitzen egiaztapenarekin, politika bidezko eragiketekin, eszenatoki hibridoekin eta horizonte luzeko egoera-ibilbideekin. AutoSynthData ez da gimnasio hori asmatu duenik aurkezten; gimnasioak sintesi-begizta martxan erakusten du.

Zein egile-emaitza agertzen dira ezarpen hibrido eta ITSMetarako?

EnterpriseOps Gym-en, Gemma-4-26B-A4B-it helburu gisa eta Qwen3.8-27B irakasle gisa erabiliz egindako exekuzio hibridoak 2.000 lagin inguru ekoiztu zituen 18 ordutan gutxi gorabehera, Pass@1 batez bestekoa % 7,2 puntu igoz eta egiaztatzailearen arrakasta % 63,01etik % 68,55era igaroz. DeepSeek-V4.1-Flash irakasle gisa erabilitako ITSM-k Pass@1 batez bestekoa % 18,77tik % 27,18ra mugitu zuen 1.994 lagin ingurutan, exekuzio luzeago batean. Tratatu horiek parekatze espezifikoetan ikertutako seinale gisa, ez ekoizpen-berme unibertsal gisa.

Zer akats saihestu behar dituzte taldeek synth-from-failures begiztak erabiltzean?

Ez hartu datu sintetikoak egia libre gisa edo saihestu gizakien berrikuspena eta egiaztapen negatiboa. Saihestu jatorrizko txartelen IDak edo irakasleen arrastoak sorgailuan sartzea, biderkatutako laginek txanda gehiago haztea uztea edo Gym Pass@1-en sustatzea bere kabuz, atzerapen edo itzal-trafikoa okerrera egiten den bitartean. Kontuz ibili, halaber, arrakasta-bandaren azpitik dauden irakasle ahulak, egoera-egiaztapenen ordez txat-errubrika lausoak, entrenamendu gutxiegiaren uko kasuak eta PII ihes egitea azaleko garbiketa baten ondoren.

Erreferentziak

1. Aurpegi Besarkatzailea — AutoSynthData — huggingface.co
2. EnterpriseOps Gimnasioa — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com