Erantzun laburra: CLM-8B hizkuntza-eredu kontrastiboa , egileak Jev klaseko parekoek baino 9 aldiz latentzia txikiagoa duela dioena. Zifra horiek ez dira baieztatu bertsioaren konfiguraziotik kanpo. Kodetze-agenteak eraikitzen badituzu, egin A/B zure arnesarekin grafikoetan fidatu aurretik.
Ondorio nagusiak:
Latentziaren baieztapenak: ~9× Jev-en azelerazioa egileak jakinarazi bezala tratatu, beste batzuek erreproduzitu arte.
Ebaluazio-arnesa: CLM-8B A/B probak egitean eusteko tresnak eta galderak konpondu dira.
Pila hibridoa: erabili CLM begizta beroetarako; mantendu arrazoiketa-tresna motelagoa zeregin berrietarako.
Pisu irekiak: Berretsi Apache lizentzia fitxategiak sardexka komertzialak bidali aurretik.
Gaizki erabiltzearen arriskua: Agenteek milisegundotan erabakitzen dutenean, tresna eta sekretu itzulgarriak ateratu.
Zer izan nahi duen CLM-8Bk ⚡
Hizkuntza Eredu Kontrastiboaren entrenamendua, jaitsiera hau sustatzen duten pertsonek deskribatzen duten bezala, egoerak eta ekintzak lotzea da, hurrengo tokenaren probabilitatea isolatuta maximizatzea baino. Termino argietan esanda: eredua "hemen da egoera" "hemen da mugimendua"rekin lotzeko bultzatzen da, eleberrigile bat baino politika-buru baten antzera. Hori da ikertzaileek etengabe bilatzen duten 1. Sistemaren analogia - azkarra, asoziatiboa, erabakietan oinarritutakoa -, ozen pentsatzen duen bitartean tokenak erretzen dituen 2. Sistemaren tenorearen aldean.
CLM-8B lerro horretan ezarritako lehen pisu publikoa da. Ikerketa-argitalpen ireki gisa kokatzen da, Apache 2.0 lizentziarekin , kaleratzearekin batera etorri zen estaldurari dagokionez, eta hori garrantzitsua da abokatu-piknikik gabe doikuntzak, bidalketak edo adarkadurak egin nahi badituzu. Jacky Kwokek aurkeztu zuen lana; Stanfordekin lotutako Azalia Mirhoseinik zabaldu egin zuen; eta marko zabalagoak Stanford eta NVIDIArekin lotutako talde-lan bat margotzen du. Ikerlari izendatuak, pisu publikoak, kode irekia - ez filtrazio anonimo bat. Hirugarrenen erreplikaziorako goiz da oraindik, beraz, mantendu eszeptizismo-markagailua "interesgarri" eta "erakutsi iezadazu batzorde independentea" artean.
Tamaina klasea zortzi mila milioi parametrokoa da, eta nahikoa txikia da laborategiek eta eraikitzaile independenteek giltzurrun bat ere saldu gabe ostatatu ahal izateko H100 denborarako. Jadanik CLM-35B jarraipen handiago bati buruz hitz egiten ari da. Anaia handiagoak latentziaren istorioa mantentzen duen edo abiadura sakontasunaren truke aldatzen duen ez dago argi, baina bide-orriaren seinalea argia da: familia bat izateko pentsatuta dago, ez demo txartel bakarra.
- Fokua: egoera → ekintza-begiztak agenteentzat, ez saiakera idazteko
- Lizentzia Apache 2.0 gisa markatu da bertsioaren inguruko estalduran
- Estiloa: 1. sistema / erabakietan oinarritutako prestakuntza-istorioa
- Jarraipena: CLM-35B handiagoa aipatu da plan gisa
1. Sistemaren estiloa ohiko token-zinta-makinaren aurka
Ezagutzen dituzun ekoizpen-LLM gehienek testua token bana sortzen dute aldi berean. Hori oso ondo funtzionatzen du prosarentzat, kode-zapalketetarako eta arrazoiketa-aztarna zainduetarako. Horregatik ere minutuko hogei mikroerabaki behar dituen agente bat motel senti daiteke, modeloa "adimentsua" denean ere. Urrats bakoitzak zerga autorregresiboa ordaintzen du.
Hizkuntza Kontrastiboaren Ereduaren diskurtsoak enfasia iraultzen du. Sareari erantzun bat lortzeko bere bidea narratzeko eskatu beharrean, egoera jakin batean ekintza egokia lehenesteko entrenatzen duzu - pentsa mugimendu onen eta txarren arteko kontraste-tiraketak, ez jarraipen jariakorrak soilik. Eraikitzaileek badakite eredua: batzuetan ez duzu mila hitzeko arrazoirik behar; ereduak pytest idaztea behar duzu rm -rf idatzi beharrean . Begizta azkarrek bereizketa hori axola dute.
Horrek ez du esan nahi CLM-8Bk ezin duenik testua igorri. Horrek esan nahi du prestakuntza-helburua eta ebaluazio-istorioa agenteen kontrolerantz bideratuta daudela. Hori produktuaren forma desberdina da "tresna-deiak ere egin ditzakeen txat-eredua" baino. Industriak urteak eman ditu tresnei buruz hitz egiteko ereduak hobetzen, baina, aldi berean, hizkera bera oztopatzen jarraitzen du. Erabakiak lehenesten dituen eredua alboko mugimendu mota da, atzera begiratuta agerikoa dirudiena edo erreferentziak nahasten direnean huts egiten duena. Bi emaitzak posible dira.
Aldarrikatutako abiadura eta bankuko zenbakiak (erreklamazio gisa hartu)
Hona hemen sare sozialetako argitalpenak bultzatzen dituen zatia: sustatzaileek Jev klaseko ereduek baino 9 aldiz inferentzia azkarragoa. Doikuntza fin batzuen ondoren, agenteen kodeketa emaitza sendoak ere jakinarazi dituzte: DeepSWE % 81,6 inguruko arrakasta eta Terminal-Bench 2.1 % 87,6 ingurukoa. Ebaluazio batzuetan, zero-shot errendimendua Jev-en parekoa dela deskribatzen dute, latentzia askoz txikiagoa den bitartean. Bertsio-txatarekin batera doan kluster laburpen batek gutxi gorabehera 32 ms klaseko erantzun-denborak aipatzen zituen terminal bench ezarpen batean. Kontu handiz adierazi: artikulu honetan jakinarazi eta aldarrikatu da, ez da modu independentean ikuskatu.
Latentzia-zifra horiek orokortzen badira, irabazi praktikoa GPU gutxiago izatea da aldibereko agente bakoitzeko, edo agente gehiago GPU bakoitzeko. Shell bat astintzen duten kodetze-agenteak bereziki sentikorrak dira, horma-erlojuaren zain pilatzen direlako; 200 ms-ko erabakia eta 30 ms-ko erabakia produktu desberdinak direla iruditzen zaie ehunka bira egin ondoren. Erabiltzaileek askotan "ereduaren tontotasuna" leporatzen diote arazo larriagoa interakzio-atzerapena denean.
Hala ere -eta hau helduen gainbegiratzearen paragrafoa da- egile-bankuak marketina dira beste norbaitek hardware partekatuan erreproduzitu arte, galdera partekatuekin. Doikuntza finaren emaitzek ere eskailera asko ezkutatu ditzakete. DeepSWE eta Terminal-Bench zenbaki sendoak zirraragarriak dira, hain zuzen ere multzo horiek agente hauskorrak zigortzen dituztelako, baina zirrara ez da erreplikazioa. Gorde ohar itsaskor bat 9×-an eta 32 ms-klaseko irudi horretan CLAIM dioena.
Konparazio taula: Token-token LLMak vs CLM estiloko markoak
Taulek marketin-hizkuntza labainkorra bihurtzen denean laguntzen dute. Honek LLM sorkuntza-ohitura tipikoak ikertzaileek deskribatzen duten Hizkuntza Eredu Kontrastatzailearen istorioarekin alderatzen ditu. Gelaxkak nahita irregularrak dira, konparazio zehatzak beti baitira.
| Angelua | LLM tipikoa (token-token) | CLM estiloko / 1. sistemako markoa | Zergatik den garrantzitsua agenteentzat |
|---|---|---|---|
| Lehen mailako begizta | Hurrengo tokena iragarri, askotan arrasto luzeekin | Egoera ekintzara mapatzea; erabakien alborapen kontrastiboa | Tresna-deien artean token gutxiago alferrik galtzea (teorian) |
| Latentzia sentsazioa | Urrats anitzeko kontrolpean hiztun-motela senti daiteke | Egileek Jev klasearekin alderatuta latentzia askoz txikiagoa diote | Kodetze interaktiboko agenteek itxaronaldiaren gorrotoa dute |
| Indar-eremua | Prosa, plangintza-saiakerak, txat zabala | Egoera azkarra→ekintza - agenteen kodeketa nabarmenduta | Lan desberdina, ez beti ordezkoa |
| Jakinarazitako zenbakiak | Modeloaren araberakoa da; ez dago zifra bakar bat hemen | ~9 aldiz azkarrago arte (baieztapena); DeepSWE ~%81,6; Terminal-Bench 2.1 ~%87,6 FT arin baten ondoren (baieztapenak) | Hirugarrenek baieztatzen badute itxaropentsua - handia bada |
| Irekitasuna | API itxien eta pisu irekien nahasketa | Apache 2.0-ren pean markoztatutako pisu/kode irekiak | Doitu eta ostatu hartu zeure burua baldintzak asmatu gabe |
| Harrapaketa / bitxikeria | Azkarra baina batzuetan betiko kontatzen du 🐢 | Oraindik goiz; errepikapen independenteak zain | Ez egin apustu enpresari prentsa-diagrama bakarrean |
Erabili taula eredu mental gisa, ez epai gisa. Produktu-taldeek beren arnesak neurtu behar dituzte oraindik: tresnen eskemek, berriro saiatzeko politikak eta inguruneko zaratak diapositiba-sortak onartzen duena baino puntuazio gehiago mugituko dituzte.
Nor dago zarataren atzean 👤
Aitortza garrantzitsua da, IA irekiko argitalpenak laborategiko argitalpen zainduetatik hasi eta torrent misteriotsuetaraino doazelako. Honek aurpegiak ditu. Jacky Kwok-ek aurkeztu zuen CLM; Azalia Mirhoseinik ikuspegi zabalago batera bultzatzen lagundu zuen; estaldurak etengabe markatzen du Stanford eta NVIDIAren arteko ikerketa-lankidetza bat. Horrek ez du magikoki zenbaki guztiak egia bihurtzen, baina ospearen azala jartzen du jokoan. Ikertzaile izendatuek egindako argitalpen irekiak estres-probak azkarrago jasaten dituzte zabortegi anonimoak baino - parekideek helburu publiko bat maite dute.
Eraikitzaileentzat, inplikazio praktikoa sarbidea da. Pisu irekiek gehi Apache 2.0 estiloko lizentzia bat (abiaraztearen inguruan azaldu bezala) normalean esan nahi du komertzialki esperimentatu dezakezula ikerketa-lizentziek baino arazo gutxiagorekin. Begiratu zeuk bertsioko lizentzia fitxategiak ezer argitaratu aurretik; estaldura-laburpenak ez dira kontratu bat. Pedantekeria dirudien arren, lizentzien pedanteriak startup-ak salbatzen ditu.
Sare sozialetako anplifikazio-eredua ezaguna da: ikertzaileen mezua, anplifikadoreen aipamen-mezuak, eta gero "agenteak azkenean konponduta" hartualdien uholdea. Iragazi arnesaren xehetasunak partekatzen dituzten pertsonak. Kodetze-exekuzio arrakastatsu bakar baten pantaila-argazkiak giro-antzerkia dira, ez zientzia. 🛰️
Zergatik egoera-ekintza begiztek agente-kodeketa propioa duten
Agentzia-kodeketa ingurune krudela da. Modeloak biltegiaren argazki bat, shell transkripzio bat, agian huts egiten duen proba bat ikusten ditu, eta edizio bat edo komando bat aukeratu behar du. Arrakasta bitarra da txata baino maizago. Edo proba berde bihurtzen da edo ez. Sari-forma horrek ekintzak garbi hautatzen dituzten politikak faboratzen ditu porrot-saiakera ederrak idazten dituzten modeloen aldean.
Kontraste-prestakuntza istorioak mundu horretan sartzen dira, sarea egoera jakin batean nahiago diren ekintzetara bultzatzen baitute esplizituki. Pentsa ezazu ingeniari gazte bati "errore-klase hau ikusten duzunean, bilatu konponketa-eredu hau" irakastea bezala, "idatzi blog-sarrera bat konpiladoreak zergatik diren zailak azaltzeko" beharrean. Gazteak oraindik ere epaia behar du; lasterbideak zalantzak murrizten ditu.
Latentzia konposatzen da hemen. Demagun agente batek batez beste laurogei tresna-urrats egiten dituela akats ertain bat konpontzeko. Urrats bakoitzeko 150 ms kentzen badituzu, hamabi segundo berreskuratuko dituzu horma-erlojuan - hau da, fluxu-egoera baten eta posta elektronikoa egiaztatzeko alt-tabulazioa sakatzean dagoen erabiltzaile baten arteko aldea. Agente-flotak erabiltzen dituzten taldeek uste dute matematika hori hodeian ere fakturatzen dela. Magnitude-ordenako inferentziaren abiadura aldarrikatu batek, Jev klaseko pareko batekin alderatuta, nahiz eta "bakarrik" 4× lortzen den, edukiera-plangintza berrantolatzen jarraitzen du.
Bileretan etengabe erabiltzen dudan metafora ezegonkor bat dago: token-token txat ereduak bidegurutze guztietan ibilbidea eztabaidatzea bezalakoak dira, System 1 estiloko kontrolatzaile bat, berriz, hiriko gidatzeko gihar-memoriaren antzekoagoa da. Gihar-memoriak huts egiten du hiri berri batean. Gauza bera gertatzen da ekintza-eredu estu bat biltegi-kultura idiosinkratikoa denean. Oraindik ere modu deliberatiboak nahi dituzu arkitektura-aukera berrietarako; erreflexuak nahi dituzu berrogeita hamargarren "konpondu inportazioa eta berriro exekutatu" horretarako. Pila hibridoak - CLM bezalako kontrolatzaile azkarra gehi arrazoitzaile astunagoa adar gogorretan - ziurrenik sistema serioak iristen diren tokia dira, abiarazte-mezuek heroi-eredu bakarra saltzen badute ere. 🚦
Ozen esateko modukoa da, halaber: DeepSWE eta Terminal-Bench eskafoldatzea saritzen dute. Arnesen kalitateak, tresnen baimendutako zerrendek eta berreskuratze-galderak arrakasta-tasak bi digitutan igo ditzakete. Doikuntza finduen ondoren % 81,6 edo % 87,6 inguru ikusten duzunean, aztertu zein estalki zegoen pisuen inguruan. Hori ez da itzala; eremuak nola funtzionatzen duen baizik.
Pisu irekiak, doikuntza fina eta 35B itzala
Pisu irekiek erreklamazio baten dinamika soziala aldatzen dute. API eredu itxiek grafiko bat erakutsi dezakete eta kutsadurari, deskodetzeko trikimailuei edo sistemaren galdera sekretuei buruz asmatzen utz zaitzakete. Deskargatzeko parametroekin, gutxienez, gauza ukitu dezakezu. CLM-8B zure barneko kodeketa ingurunerako doikuntza finak egitea da - zure lint arauak, zure inplementazio CLI, zure monorepo topologia - zenbaki distiratsuetarako bide errealista, ez lehen egunean zero jaurtiketa magikoa.
Apache 2.0 markoa (estalduraren arabera) eraikitzaileentzako egokia da: patenteak emateko hizkuntza, birbanaketa arau argiak, "ikerketa soilik" tranpa gutxiago. Berriz ere: irakurri fitxategiak. Estaldura idazleek laburbiltzen dute; abokatuek espezializatzen dira.
CLM-35B aurreikusita dago bide-orrian elefantea. Modelo handiagoek askotan berreskuratzen dute gaitasun deliberatiboa eta "txiki eta izugarri azkarra" xarma galtzen dute, destilazioek edo trikimailu espekulatiboek latentzia kontrolpean mantentzen ez badute behintzat. Zortzi mila milioiko aldaera kirol-autoa bada eta hogeita hamabost mila milioikoa berlina turistikoa bada, taldeek biak gorde ditzakete: 8B begizta beroetarako, 35B plangintza zorrotzerako. Edo modelo handiagoak nagusitu daiteke hardwarea gero eta merkeagoa bada. Zein etorkizun etorriko den oraindik ez dago argi; etorkizunaren argitalpen-oharrek erabakiko dute, ez paragrafo honek.
Arrisku sotil bat agente irekiko ereduekin: jendeak CI-ra sartuko ditu abiadura-mugarik gabe eta README gaiztoen bidez injekzioa berehala aurkituko du. Eredu azkarrek gaizki erabiltzea areagotzen dute balio praktikoa areagotzen duten modu berean. Babes-hesiak ez dira aukerako cosplay-a; produktua dira.
- Kalitatea epaitu aurretik, zure arrastoak findu
- Arrazoiketa motelagoa mantendu zeregin berrietarako ihesbide gisa
- Tresnaren latentzia p50/p95 zure arnesean, ez bakarrik zehaztasuna
- Demagun 35B-k Paretoren muga berriro mugituko duela
Jev-en konparaketa irakurtzea elurrik gabe
Jev klaseko ereduekin egindako konparaketak lan erretorikoa egiten ari dira. Agentziaren abiadura mailan pareko bat ezartzen dute, beraz, "9 aldiz azkarrago" erreferente bat du. Erlatiboki baieztapenek aingura bat behar dute, eta horixe da egokia. Arriskua ebaluazio pila oso bat biderkatzaile bakar batean biltzea da. Multzoaren tamaina, zehaztasuna, deskodetze ezarpenak, testuinguruaren luzera eta tresnen deien serializazioak "azkarragoa" zer esan nahi duen birmoldatzen dute, eta botoi horiek gutxitan agertzen dira diapositiba berean.
Kluster laburpen batek ~32 ms-klase erantzun aipatzen dituenean terminal-bench ezarpen batean, hartu "erantzun" etiketa anbiguo gisa, norbaitek lehenengo tokena, ekintza osoko JSON edo cacheko aurrizkia esan nahi duen zehaztu arte. Bereizketa horiek marketin milisegundoak ingeniaritza ordu bihurtzen dituzte. Latentzia txikiagoa duen zero jaurtiketa kalitate konparagarria da amets bikotea; talde independenteek amets horren erdia ere baieztatzen badute, CLM estiloko prestakuntzak arkitektura bileretan eserleku iraunkorra lortzen du.
Ordura arte, hartu Jev sailkapen finko bat baino gehiago lehia-narrazio gisa. Lehiak argitalpenak saltzen ditu. Zure ekoizpen-KPIek ez dute kontakizuna axola. Neurtu zereginen arrakasta, konpondutako txartel bakoitzeko dirua eta giza esku-hartze tasa. Hizkuntza Eredu Kontrastiboaren adar batek horiek irabazten baditu, ospatu. Twitter bakarrik irabazten badu, jarraitu aurrera. 🚶
Kontraesan txiki bat: lehia-narrazioek oraindik ere pisua dute. Laborategiak zenbakiak argitaratzera behartzen dituzte giro airetsuaren ordez. Baina ez nahastu markagailua kirolarekin.
Zer behar du argitalpen honek ondo ateratzeko
CLM-8Bk albiste ziklo baten haratago garrantzia izan dezan, gauza batzuk gertatu behar dira:
- Erreplikazioa: kanpoko taldeek gai izan beharko lirateke titularren latentzia eta kodeketa arrakasta-tasak errezeta dokumentatuekin bat etortzeko.
- Gardentasuna aprobetxatu: partekatu DeepSWE eta Terminal-Bench puntuazioak sortu dituzten agenteen bilgarriaren xehetasunak.
- Laborategiko telepatia suposatzen ez duten dokumentuak: doikuntza findutako scriptak, ebaluazio komandoak eta hardware oharrak.
- Hutsegite moduak: erakutsi non huts egiten duten 1. Sistemaren estiloko erabakiak - API berriak, txartel anbiguoak, segurtasunari dagokionez sentikorrak diren eragiketak.
- Hobekuntza bidea: argitu nola erlazionatzen den CLM-35B, taldeek ez dezaten gehiegi egokitu beren pila 8Bko kale itsu batera.
Kutxa horiek hutsik jarraitzen badute, eredua beste paper-pisu interesgarri bihurtzen da. Betetzen badira, agente-plataformek osagai-aukera zehatz bat dute: LLM deliberatiboa pentsamendu sakonerako, eredu azkar kontrastatua esku dardartientzat. Lan-banaketa hori helduagoa iruditzen da megamodelo bakar batek latentzia-aurrekontu guztiekin lan guztiak egin behar dituela pentsatzea baino.
Eraikitzaileentzako aholku praktikoak, bidalketa-agenteak eskaintzen dituztenentzat
Ez duzu zure pila bihar berridatzi beharrik. Erabaki azkarrak hartzen dituzten ereduak ebaluatzeko plan bat behar duzu. Hasi zure agentearen latentzia-kritiko zati bat lantzen - agian terminaleko mikro-begizta edo "hautatu hurrengo grep" urratsa - eta A/B CLM-8B doikuntza fin bat egin zure egungo lan-zaldiaren arabera. Mantendu arnesa konstante. Erregistratu dena.
Kontuz kalitate isileko erregresioekin: ekintza oker ziurrekin berehala erantzuten duten ereduak okerragoak dira arrisku handiko biltegietan zuzenketa motela dutenak baino. Gehitu egiaztapen-urratsak. Hobetsi tresna itzulgarriak. Aurreikusi bigarren modelo-dei bat konfiantza baxua denean - bai, horrek abiadura-irabaziaren zati bat jaten du, eta ondo dago hori. Balaztarik gabeko abiadura da demoak eten bihurtzen diren modua.
Erakundearen aldetik, eguneratu gaitasun-orriak "GPU bakoitzeko segundoko ekintzak" zutabe batekin, segundoko tokenak soilik erabili beharrean. Lan-karga eragileek erabakiak hartzen dituzte kontuan, ez poesiaren errendimendua. Egileen ~9×-ko baieztapenak zure hardwarearekin kontaktua partzialki gainditzen badu ere, zure kalkulu-orriak itxura desberdina izango du. Bestela, merke ikasi duzu.
Eta mesedez, operazioen maitasunagatik, ez itsatsi ekoizpen-sekretuak agente esperimental batean, eredua "segurua" iruditu zitzaidalako. Irekitze azkarreko ereduek inork berrikusten ez dituen itzal-sistemak errazten dituzte. Prozesuak oraindik ere garrantzia du.
Hari irekiak oraindik zintzilik
Konpondu gabeko hari batzuek eragozten didate promozio modu osoa hartzea:
- Ez dago argi jakinarazi den kodetze arrakastaren zenbateraino dagokion pisuei eta datuen doikuntza finei eta bilgarriari.
- 1. Sistemaren markoa mehetu egin daiteke zereginek tokiko oskolaren erreflexuak baino horizonte luzeko plangintza behar dutenean.
- CLM-35Bk latentzia-istorioa mantendu dezake edo beste LLM ertain sendo bat bihurtu.
- Ekintza kontrastatzaileen lehentasunak hauskor bihur daitezke banaketa-aldaketaren pean - hizkuntza berriak, hodeiko CLI berriak, aurkarien biltegiak.
- Segurtasun-istorioak oraindik mami behar du ekintzak milisegundotan exekutatzen direnean.
Ez dira taldean murgiltzeko pentsatutako trapak. Adopzio-berrikuspen serio orok egin beharko lituzkeen egiaztapenak dira. Hasierako bertsio irekiek arretaz aztertu eta marruskadura merezi dute, ez instalazio itsuak.
Azken emaitza
CLM-8B Apache-n oinarritutako (estalduraren arabera) Kontraste Hizkuntza Eredu bat da, agenteen egoera-ekintza portaera azkarra lortzeko helburuarekin egina. Jacky Kwok-ek publikoki aurkeztu zuen Azalia Mirhoseini-ren anplifikazioarekin eta Stanford/NVIDIA-rekin lotutako ikerketa gisa aurkeztua. Tituluko baieztapenak - Jev-klaseko inferentzia baino 9 aldiz azkarragoa, DeepSWE eta Terminal-Bench emaitza sendoak doikuntza finaren ondoren, zero-shot kalitate konparagarria latentzia askoz txikiagoarekin, ~32 ms-klaseko terminal erantzunen inguruko txata barne - egileak jakinarazi ditu eta oraindik hirugarrenen berrespen zabalaren zain daude. CLM-35B handiago bat etorkizunean dago.
Agentziaren kodetze-sistemak eraikitzen badituzu, ebaluazio zehatz bat merezi du, ez erlijio bat. Hartu ezazu hibrido pila bateko 1. Sistemako kontrolatzaile hautagai gisa, neurtu zure arnesa eta mantendu CLAIM eranskailua grafiko guztietan exekuzio independenteak iritsi arte. Zati interesgarria ez da logotipo berriko beste txat eredu bat. Zati interesgarria da erabakietan oinarritutako entrenamenduak agenteei berehala sentiaraztea eragin diezaiekeen ala ez, arduragabekeriaz oker jarri gabe.
Adibide praktikoa: CLM-8Brako latentzia kritikoa duen agentearen mikro-begizta ebaluazio bat eraikitzea
buruzko egileen grafikoak kaleratu berri dira: agenteentzako Jev baino 9 aldiz azkarragoa dela dioen IA eredu ireki berria sinesgarria iruditu daiteke; zure arnesa da balio duen boto bakarra. Hona hemen Erresuma Batuko tresna-talde independente batek nola tratatu zuen CLM-8B System 1 kontrolatzaile hautagai gisa -ez txat ordezko gisa- eta nola neurtu zuen bere terminaleko mikro-begiztan.
Eszenatokia
Samek produktu txiki bat erabiltzen du, eta dagoeneko kodeketa-agente astunagoa erabiltzen du fitxategi anitzeko birfaktorizazioetarako. Zati mingarria begizta beroa da: irakurri huts egiten duen proba-transkripzio bat, aukeratu hurrengo shell-a edo editatu-ekintza, exekutatu, errepikatu. Erabiltzaileek ez dute hainbeste kexatzen erantzun aspergarriez, baizik eta neguko eskularruen atzerapenaz berrogeita hamar tresna-urratsetan. Sare sozialetako mezuek Hizkuntza Eredu Kontrastatzailearen pisuak eta Jev klaseko parekoekin alderatuta ~9x-ko abiadura-igoera areagotzen dituzte, gehi DeepSWE / Terminal-Bench zifra sendoak doikuntza finduen ondoren. Samek uko egiten dio prentsa-diagrama batean ekoizpena berridazteari.
Latentzia-kritiko mikro-begizta bat landu dute: hogei akats-konponketa arrasto konpondu beren monobiltegitik. Oraingo lan-zaldia arkitektura berriko txartelen bide deliberatiboa izaten jarraitzen du. CLM-8B -ostatatuta eta bere arrastoetan apur bat doitzen bada- "hurrengo ekintza itzulgarria aukeratu" urratsean bakarrik lehiatu daiteke, arrazoiketa motelago bat ihesbide gisa hartuta konfiantza baxua denean.
Helburua A/B bat da, arnesa konstante mantentzen duena: tresna berdinak, baimendutako zerrenda bera, berriro saiatzeko politika bera. Erregistratu segundoko ekintzak, p50/p95 latentzia, zereginaren arrakasta eta gizakien esku-hartzeak - eta gero erabaki pisu irekiek eserlekua irabazten duten ala ez.
Laguntzaileak zer behar duen
- Benetako lanetik lortutako hogei huts-probaren arrasto anonimizatu (sarrerak + baimendutako tresnak soilik)
- Agenteen bilgarri finkoa: tresnen eskema, baimendutako zerrenda, gehienezko urratsak eta "dei motelaren arrazoibidea" adar bat
- Uneko ereduaren oinarrizko puntuazioak hogei zeregin berdinetarako
- CLM-8B ostalariaren hardware oharrak (GPU klasea, zehaztasuna, batch), beraz, "azkarragoa" erreferentzia bat du
- ERREKLAMAZIO eranskailuaren araua: egilea DeepSWE / Terminal-Bench / ~9× / ~32 ms irudiak etiketatuta daude arnes honek zerbait erreproduzitu arte
- Edozein CI gehigarri egin aurretik ekintza okerrak baina azkarrak berrikusten dituen jabea
Adibide-argibidea
CLM-8Brako A/B bidezko bat diseinatzen laguntzen ari zara, gure kodetze-agentearen barruan egoera-ekintza azkarreko kontrolatzaile gisa. Erabili itsatsi ditudan arnes-datuak soilik. Ez asmatu latentzia-biderkatzaileak, DeepSWE puntuazioak edo lizentzia-baldintzak.
Zeregina: Nire hogei zereginen izenetatik eta oinarrizko oharretatik abiatuta, idatzi (1) puntuazio-orri bat, Zeregina / Eredua / Urratsak / Hormako erlojua / Arrakasta (gainditu/huts egin) / Giza esku-hartzea (b/e) / Oharrak zutabeekin, (2) sei puntuko protokolo bat, modelo guztietan bilgarria berdina mantentzen duena, eta (3) erabaki-arau bat, eguneroko hitz argietan, CLM-8Bk mikro-begizta noiz izan dezakeen eta arrazoiketa motelera igotzen garen noiz.
Murrizketak: Erresuma Batuko ingelesa. Egileak jakinarazitako zenbaki guztiak ERREKLAMAZIO gisa etiketatu, agertzen badira. Alderantzikagarriak diren tresnak nahiago dira. Debekatu "agenteak azkenean konponduta" hizkuntza. Nire itsatsitako metrika bat falta bada, idatzi [NEED MEASUREMENT] asmatu beharrean.
Irteera: puntuazio-orriaren goiburua eta adibide-errenkada bat leku-markak erabiliz, protokolo-puntuak, eta gero eskalatu/mantendu araua. Hitzaurrerik gabe.
Nola probatu
- Exekutatu hamar arrasto berdinak uneko lan-zaldian eta CLM-8B doikuntza fin batean, bilgarri berdinarekin. Ziurtatu hormako erlojua eta arrakasta bakarrik direla desberdinak - ez tresnen zerrendak.
- Galdetu: "Zein egile-diagramak alda dezake ekoizpena aste honetan?" Erantzun ona: bat ere ez, harik eta arnes honek arrakasta eta latentzia batera irabazi arte.
- Kasu ertza: CLM-8B-k ~30 ms-tan erantzuten du komando suntsitzaile baten iradokizunarekin - baieztatu baimendutako zerrenda eta berrikusi gizaki batek harrapatu egin behar duela CI baino lehen.
- Kasu ertza: hogei arrastoetatik kanpo dagoen API txartela berria - baieztatu arrazoiketa motelarena dela, ez eredu erreflexuarena.
- Onarpen-egiaztapenak: (1) ez da asmatutako 9× erreklamaziorik neurtutako emaitza gisa, (2) p50 eta p95 latentzia erregistratuta, (3) arrakastaren izendatzailea hogei zereginak dira, (4) ekintza oker-azkarrak zenbatuta, (5) Apache/lizentzia egiaztapena lineaz kanpo egiten da edozein ontzi komertzial planifikatu aurretik.
Emaitza
Emaitza ilustratiboa (hiru pertsonako tresneria-talde baten kalkuluaren adibidea hogei monorepo traza finkotan, ez egileen mahaien laborategiko berrexekuzio independente bat): Oinarrizko lan-zaldiak 20 trazatik 14 amaitu zituen gizakiaren laguntzarik gabe; urratsen latentzia mediana 180 ms ingurukoa; bi trazatik gizaki baten laguntza behar izan zuten edizio oker baten ondoren. CLM-8B-ren barne-trazetan doikuntza findu baten ondoren (bilgarri bera), 20tik 15 gainditu ziren laguntzarik gabe; urratsen latentzia mediana 45 ms ingurukoa GPU bakarreko ostalarian; beste ekintza oker azkar bat harrapatu zuen baimendutako zerrendak aplikatu aurretik. Hogei traza-multzoaren horma-erlojua 38 minututik 22 minutura jaitsi zen, egiaztapen-urratsak barne. Higiene-zerrenda batean (arnesa konstante mantenduz, CLAIM etiketak egile-diagrametan mantenduz, arrazoiketa motela oraindik ere erabiltzen eleberri-txarteletarako, ekoizpen-sekreturik gabe agente esperimentalean), 5 berrikuspen-elementutik 5 gainditu ziren. Mugak: zeregin-multzo txikia, hardware-klase bakarra, datuen doikuntza finaren kalitatea nagusi; honek ez ditu balioztatzen egileen ~9× edo DeepSWE zifrak arnes honetatik kanpo.
Zure bertsioa neurtzeko: hogei traza izoztu; uneko eredua puntuatu lehenik; CLM-8B ostatu eman dokumentatutako zehaztasun/ezarpenekin; berriro exekutatu bilgarri berarekin; arrakasta/n, p50/p95, esku-hartzeak eta CLAIM zenbakiren bat egitatetzat hartu den ala ez jakinarazi.
Zer gaizki atera daiteke?
- Grafikoen gurtza: ~9× diapositiba batean bidalketa, zure p95 gabe.
- Ekintza oker-azkarrak: Berehalako akats ziurrek apustu handiko biltegietan zuzenketa motela gainditzen dute.
- Arnesaren desbideratzea: Tresna-galderak modeloen artean aldatzea eta modeloaren garaipen gisa deitzea.
- Heroi bakarreko pila: arkitektura berritzaileko lanerako arrazoiketa deliberatiboa baztertzea.
- Lizentzia eskuz aldatzea: benetako pisu-biltegi lizentzia fitxategien ordez, estaldura laburpenetan konfiantza izatea.
- Itzal CI: Agente azkar ireki bat hodietan torlojutzen, abiadura-mugarik edo injekzio-berrikuspenik gabe.
Ondorio praktikoak
CLM-8B ebaluazio fokalizatu bat merezi du agenteen kodeketarako Sistema 1 kontrolatzaile gisa - pisu irekiak, erabakietan oinarritutako istorioa, egileak jakinarazitako abiaduraren baieztapenak. Ez da kredo bat eta ez da zure pilarako 9× frogatua zure arnesak hala adierazi arte. Mantendu bilgarria konstante, erregistratu segundoko ekintzak eta oker-azkarraren abiadura, mantendu ihesbide motelagoa eta utzi ERREKLAMAZIOA eranskailua prentsa-diagrama guztietan exekuzio independenteak (zurea barne) lortu arte.
Maiz egiten diren galderak
Zer da CLM-8B, eta zergatik ari dira agente-eraikitzaileak horri buruz hitz egiten?
CLM-8B Kontrasteko Hizkuntza Ereduen lerroko lehen pisu publiko multzoa da - agenteentzako erabaki azkarren begizta gisa aurkeztutako ikerketa-argitalpen irekia, ez beste txat-garun bat besterik ez. Prestakuntza-istorioak egoerak ekintzekin lotzen ditu, hurrengo tokenaren saiakera motel bat baino gehiago 1. Sistemaren erreflexu baten antzera. Zortzi mila milioi parametrorekin, laborategi eta eraikitzaile independente askok ostatatzeko bezain txikia da, Apache 2.0 lizentzia jaitsieraren inguruko estalduraren barruan kokatuta dagoelarik. Abiarazte-argitalpenetako zenbakiak egileek jakinarazitako baieztapenak dira, ez laborategi independenteen berrabiarazpenak.
Nola dio CLM-8Bk Jev baino 9 aldiz azkarragoa dela agenteentzat?
Sustatzaileek Jev klaseko modeloek baino 9 aldiz azkarragoa den inferentzia diote, terminal-bench ezarpen batean 32 ms-klaseko erantzun inguruko chatter-arekin. Doikuntza fin batzuk egin ondoren, agenteen kodeketa emaitza sendoak ere jakinarazi dituzte - DeepSWE % 81,6 ingurukoa eta Terminal-Bench 2.1 % 87,6 ingurukoa - eta Jev-en pareko zero-shot kalitatea, latentzia askoz txikiagoan. 9× eta milisegundoko zifrak baieztapen gisa hartu, hirugarrenek hardware partekatuan erreproduzitu arte. Abiadura erlatiboak oraindik ere lote-tamaina, zehaztasuna eta deskodetze-ezarpenak zehaztu behar ditu.
Zertan da desberdina Hizkuntza Kontrastiboaren Ereduaren prestakuntza ohiko LLMetatik?
Ekoizpeneko LLM gehienek token bana sortzen dute aldi berean, eta horrek prosa eta arrazoiketa luzeetarako balio du, baina agente batek hartzen duen mikroerabaki bakoitza zamatzen du. Hizkuntza Eredu Kontrastantearen entrenamenduak, sustatzaileek deskribatzen duten bezala, sarea bultzatzen du egoerak nahiago diren mugimenduetara mapatzera - politika-buru baten antzera eleberrigile baten antzera baino gehiago. 1. Sistemaren marko horrek egoera-ekintza begizta azkarrak lehenesten ditu tresnen deien artean betiko narrazioaren aldean. CLM-8Bk oraindik testua igor dezake; helburua eta ebaluazio-istorioa agenteen kontrolerantz doaz.
Nork kaleratu zuen CLM-8B, eta benetan irekia al da?
Jacky Kwokek aurkeztu zuen lana; Azalia Mirhoseinik anplifikatu egin zuen; estaldurak Stanford eta NVIDIArekin lotutako talde-lan bat markatzen du, ikertzaile izendatuekin, pisu publikoekin eta kode irekiarekin. Bertsioaren inguruko lizentziak Apache 2.0 gisa markoztatzen dira, eta hori garrantzitsua da doikuntza findu eta bidalketarako - baina irakurri biltegian lizentzia-fitxategiak estaldura-laburpenetan oinarritu aurretik. Izendatutako bertsio irekiek estres-probak azkarrago jasaten dituzte zabortegi anonimoak baino. Oraindik goiz da hirugarrenen erreplikazio zabalerako.
Zergatik dira hainbeste garrantzitsuak egoera-ekintza begiztak agenteen kodeketan?
Kodeketa eragilea askotan bitarra da: proba berde bihurtzen da edo ez, beraz, ekintza garbien aukeraketek porrot ederren saiakerak gainditzen dituzte. Latentzia tresna-urratsen dozenaka zatitan konposatzen da - urrats bakoitzeko denbora murrizten da eta hormako erlojua eta hodeiko fakturak mugitzen dira. Jev klaseko pareko batekin alderatuta magnitude-ordenako azelerazio aldarrikatu batek, naturan "4×" bakarrik lortzen badu ere, edukiera-plangintza berrantolatzen jarraitzen du. Pila hibridoak - CLM antzeko kontrolatzaile azkar bat eta adar gogorretan arrazoitzaile astunago bat - epe luzerako forma errealista dira.
Fidatu behar al naiz CLM-8Brako DeepSWE eta Terminal-Bench puntuazioez?
Suite horiek agente hauskorrak zigortzen dituzte, eta horregatik zirraragarriak dirudite DeepSWE % 81,6 inguru eta Terminal-Bench 2.1 % 87,6 inguru, doikuntza finduen ondoren. Agentzia-bankuek ere eskafoldatzea saritzen dute: arnesen kalitateak, tresnen baimendutako zerrendek eta berreskuratzeko galderek arrakasta hamarnaka handitu dezakete. Aztertu zein bilgarri zegoen pisuen inguruan, grafikoa zientzia finkatutzat hartu aurretik. Egile-bankuak marketina dira, beste norbaitek errezeta dokumentatuekin erreproduzitu arte.
Zer jakin behar dut CLM-35Bri eta 8B ereduaren doikuntzari buruz?
CLM-35B handiago baten jarraipen bat aipatzen da plan gisa; latentziaren istorioa mantenduko duen edo abiadura sakontasunaren truke aldatuko duen ez dago argi. CLM-8B zure lint arauekin doitzea, CLI zabaltzea eta monorepo trazak erabiltzea da zenbaki sendoak lortzeko bide errealista - ez zero jaurtiketa magikoa lehen egunean. Taldeek bi tamainak mantendu ditzakete lortzen badute: 8B begizta beroetarako, 35B plangintza gogorrerako. Pisu irekiek ere erabilera okerra errazten dute, beraz, babes-hesiak eta abiadura mugak produktua dira, ez aukerako cosplay-a.
Nola irakurri behar ditut Jev-en konparaketak elurpean geratu gabe?
Jev klaseko konparaketek "9 aldiz azkarrago" den pareko aingura bat ematen dute, eta horrek aurkezpena ondo ateratzen laguntzen du. Arriskua da multzoaren tamaina, zehaztasuna, testuinguruaren luzera eta tresna-deien serializazioa biderkatzaile bakar batean biltzea. Txat-ak ~32 ms klaseko erantzunak aipatzen dituenean, galdetu ea horrek lehen tokena, ekintza osoko JSON edo cachean gordetako aurrizkia esan nahi duen. Neurtu zereginaren arrakasta, ebatzitako txartel bakoitzeko dirua eta gizakien esku-hartze tasa zure pilan. Lehiaren narratibek laborategiak zenbakiak argitaratzera behartzen dituzte; zure ekoizpen KPIek erabakitzen dute oraindik.
Zer egin beharko lukete eraikitzaileek CLM-8B ekoizpen-agenteetan jarri aurretik?
Latentzia kritikoa duen zati bat moztu -terminalaren mikrobegizta bezalakoa- eta A/B doikuntza finak egin zure egungo lan-zaldiaren aurka, arnesa konstante mantenduz. Kontuz ekintza oker baina azkarrak; gehitu egiaztapena, nahiago izan tresna itzulgarriak eta aurrekontuan jarri arrazoiketa-mekanismo motelago bat konfiantza baxua denean. Jarrai ezazu segundoko ekintzak GPU bakoitzeko, ez bakarrik segundoko tokenak. Ez itsatsi ekoizpen-sekretuak agente esperimentaletan, eta utzi ERREKLAMAZIO pegatina bat prentsa-diagrama guztietan zure exekuzioak iritsi arte.
Nola eraiki dezaket latentzia bidezko mikro-begizta baten ebaluazioa CLM-8B Just Dropped erreklamazioetarako?
Blokeatu benetako huts-proba arrasto multzo txiki bat, mantendu tresna eskema eta baimendutako zerrenda bera modelo guztietan, eta erregistratu urratsak, horma-erlojua, arrakasta eta giza esku-hartzeak. Erabili CLM-8B "aukeratu hurrengo ekintza itzulgarria" urratsean bakarrik, eleberri-txarteletarako ihesbide deliberatiboa mantentzen baduzu. Etiketatu egilea ~9×, DeepSWE eta milisegundoko zifrak CLAIM gisa, harik eta arnes honek arrakasta eta latentzian batera garaipena erakutsi arte. Ebaluazio fokalizatu horrek diapositiba sorta batean berridazteko ekoizpena gainditzen du.
Erreferentziak
- Aurpegi Besarkatzailea — Hizkuntza Kontrastiboaren Eredua (CLM-v0.1-8B) — huggingface.co
- GitHub — Kontrastiboa-LM / CLM — github.com
- Stanford Unibertsitatea - Azalia Mirhoseini - cs.stanford.edu
- Jacky Kwok — jackyk02.github.io
- X — Jacky Kwok-en aurkezpena — x.com
- DeepSWE — deepswe.datacurve.ai
- Snorkel AI — Terminal-Bench 2.1 — snorkel.ai
- Jev — jevtypesafeai.com