Fidagarria al da IA? [Bideoa eta Galdetegia]

Erantzun laburra: IA ez da fidagarria ezaugarri gisa: zereginaren, berreskuratze begiztaren eta oraindik ere gizaki baten menpe dago. Funtzionamendu-denbora amaierako puntuak erantzun duen ala ez da; egiazkotasuna erantzuna hala izan den ala ez da. Erabili huts egitea merkea edo harrapatzeko modukoa denean; moteldu huts egitea garestia denean.

Ondorio nagusiak:

Erantzukizuna: Izendatu nork berrikusten duen, nork geldiarazi dezakeen eta nork duen erantzukizuna.

Gardentasuna: Berreskuratutako zatia aztertu, bestela oraindik laino artean zaude.

Auditagarritasuna: Erregistratu eskaerak, berreskuratutako zatiak eta bidalketak, huts egiteak jarrai daitezen.

Erabilera okerraren aurkako erresistentzia: Diru kontuetan huts egin; ez asmatu inoiz zenbakirik, leihorik edo politikarik.

Emaitza ilustratiboak: 20 galderako proba ilustratiboa mapa gisa hartu, ez % 95eko froga gisa.

Honen ondoren irakurri nahi izango dituzun artikuluak:

🔗 Nola erabili IA eguneroko bizitzan
Ezagutu IAk eguneroko zereginak eta errutinak sinplifikatzeko modu praktikoak.

🔗 Nola erabili IA lanean
Ikasi IArekin produktibitatea eta eraginkortasuna hobetzeko modu praktikoak.

🔗 Adimen artifizialak bere kabuz pentsatu al dezake?
Aztertu ea adimen artifizialak benetan modu independentean pentsatu eta arrazoitu dezakeen.

🔗 Zeintzuk dira IA motak?
Ulertu IA mota nagusiak, gaitasunak eta desberdintasun nagusiak.

Zer esan nahi du "fidagarriak" makina loro estatistiko bat denean ere?

Fidagarritasunak, eguneroko hizkeran, zerbaitetan oinarritu zaitezkeela esan nahi du.

Automatizazio hitz egiten duenez, propietate pila bat ezkutatzen da hitz baten azpian. Faktualitatea. Koherentzia. Kalibrazioa - modeloaren konfiantza zuzena izateko aukerarekin bat datorren ala... ziurra dirudien. Segurtasuna. Funtzionamendu-denbora. Berehalako sentikortasuna. Muturreko kasuetan portaera. Banaketa-aldaketaren ondorengo portaera, benetako mundua entrenamendu-mundua ez denean. Horietako batek ere ez du batera huts egiten. Hori da jendeak saltatzen duen zatia.

Txatbot bat aste osoan "jarraitu" daiteke eta astearte arratsaldean oker egon. Kodetze kopiloto batek ondo egin dezake errepikapen-plan batekin eta gero benetakoaren berdin-berdina den API bat haluzinatu. Jendeak erabiltzen duen metafora "lankide gaztea" da. Metafora inperfektua da - gazteek lotsatzen dute - baina "orakulu" baino hurbilago dago.

Zuzeneko proba fidagarria da zer, norentzat, zein begiztarekin inguruan. Bestela, irabiagailu bat kalifikatzen ari zara zergak egin ditzakeen ala ez kontuan hartuta.

Funtzionamendu-denbora ez da egiazkotasuna - bi "fidagarritasun" mota desberdin

Ops-ekoek eta egiarenek hitz bera erabiltzen dute eta elkarren gainetik hitz egiten dute.

Funtzionamendu-denbora "mutur-puntuak erantzun al zuen" da. Egiazkotasuna "erantzun hori al zen". Gobernantzak biak axola ditu, eta eredu-arriskua hutsune itsusi horretan dago. Inoiz keinu egiten ez duen zerbitzu bat izan dezakezu eta hala ere gezur jariakor bat bidali bezero-txartelera. Fidagarria SRE zentzuan. Ez fidagarria "mesedez, ez asmatu itzulketa-politikarik" zentzuan.

Idatziz idatzita agerikoa dela uste dut. Ez da agerikoa arratsaldeko 4etan erantzuna azkarra denean eta ilara izugarria denean. Abiadurak gaitasun sentsazioa ematen du. Moteltasunak norbait pentsatzen ari zela esan nahi zuen lehen. Orain abiadura inork ez duela pentsatzen adierazten du.

Segurtasuna beste ardatz bat da. Jailbreak txar bati uko egiten dion eredu bat "fidagarria" da segurtasun-ebaluazio moduan eta zure oharren laburpena hondatu dezake oraindik ere.

Jarioa eta okerra traketsa eta zuzena baino okerragoa da

Hau da konfiantza arazoa, eta horixe da kosk egiten duena.

Zehaztasuna eta jariakortasuna banandu egin ziren, eta jariakortasunak mantendu zuen etxea. Zuzenbideko Master batek erritmoa emango dizu, leku egokietan babestuz, agian aipamen forma faltsu baina politarekin. Zure garunak "pertsona honek badaki" irakurtzen du. Baina ez da pertsona bat, eta kalibrazioa askotan txarra da: konfiantza handia, egia ertaina, hitzaldi nagusi baten antzera emana.

Erantzun oker trakets batek susmagarri bihurtzen zaitu. Erantzun oker arin batek egiaztatzea uztea eragiten dizu. Ez da aldea txikia; istorio osoa da esaldi apur bat desatsegin batean.

Alborapena ere hor dago, ez beti irain gisa, baizik eta nor dagoen gelan eta zein ingeles zaporek neutraltzat hartzen den lehenespen gisa. Jendea engainatzen da, hizkuntza gure konfiantza-interfaze zaharrena delako. Laburpen gisa hitz egiten badu, laburpen gisa tratatzen dugu. Zinikoagoa izan nahi dut horretan. Orduan, laburpen garden bat irakurtzen dut eta sorbaldak erortzen zaizkit. Bilera batera sartzean, laburpena amaituta dagoela dirudi. Esaldi horrek lan gehiegi egiten du, eta hala ere: horrela sartzen da hutsegitea karta-sortan.

Egoeraren araberako fidagarritasuna, ez markaren araberakoa

Markak distrakzio bat dira. Bere mantentzea irabazten duen konparaketa lana da. Liskarrek elkarren artean eztabaidatuko dute. Ondo dago hori.

Nolanahi ere. Zure tresna gogokoena zirriborroetan trebea bada eta gauerdian legezko erosotasuna eskatzen badiozu zeure buruari, hori ez da hobekuntza bat. Hori da utzi duzula esaten duen mapa.

Haluzinazioak, noraezean ibiltzea eta oker isila

Haluzinazioak titularrak lortzen ditu pikantea delako: existitzen ez den liburu bat, inoiz bidali ez den funtzio bat, ofiziala dirudien zenbakia duen politika-klausula bat.

Drift ez da hain zinematikoa. Mundua mugitzen da. Modeloaren hondarrak geratzen dira. Testuinguru berria behar zuen galdera bat egiten duzu eta aurreko eguralditik erantzun ondo antolatua lortzen duzu. Ia "beste garai batekoa" idatzi nuen hor, eta horixe da gai honek gonbidatzen duen gehiegikeria. Ez da beste garai bat. Ez da orain, besterik gabe.

Okertasun isila da gehien axola zaidana. Salbuespena baztertzen duen laburpena. Agian bat ezinbesteko bihurtzen duen parafrasia. Gertakaria "teknikoki ondo" izan daiteke, esanahia lausotu den bitartean.

Berehalako sentikortasunak okerrera egiten du egoera. Aldatu bilgarria eta "egitateak" distira egingo dute. Galdetu eszeptiko gisa, lortu babesak. Galdetu presaka dabilen nagusi gisa, lortu gehiegizko erreklamazio azkarra. Zure ebaluazioak mozorro bakarra erabiltzen badu, zure ebaluazioa gezurra da. Barkatu.

Kartzela-ihesak mugan daude, eta ez dut lapurreta-filmik nahi. Sistema bat bere jokabideak alde batera uzteko konbentzitu badaiteke, fidagarritasuna ez da egia bakarrik; babes-hesiak begizta bat edo poster bat diren ala ez ere garrantzitsua da.

Prestakuntzaren hondarrak, ezagutza zaharkitua eta zergatik lurreratzea ez den magiazko makila bat

Eredu generatiboak heap batean entrenatzen dira, eta gero zure asteartera zuzentzen dira. Berreskurapena helduen saiakera da oraina heap horretan lotzeko. Lurreratzeak "honetatik erantzun, ez lainotik" esan nahi du. Huts egiten duenean, adeitasunez huts egiten du.

Klasiko hutsegitea: berreskuratzaileak ia huts egin duen dokumentu bat lortzen du. Sorgailuak lasaitasun osoz idazten du. Jatorrizko objektu bat ikusten duzu eta egiaztatzeko sena itzaltzen da. Nik hau egiten dut. Zuk ziurrenik hau egiten duzu. Aipamenaren ideia zuzena da; inplementazioa emaitzaren araberakoa da.

Ezagutza zaharkitua da beste ihesa. Zeregin batzuek egoera bizia behar dute - prezioek, inbentarioak, politika baten egungo hitzak. Batzuek trebetasun egonkorra behar dute, memorandum bat nola egituratu bezala. Nahastu horiek eta erantzun oso ziurra lortuko duzu dagoeneko mugitu den mundu bati buruz. Banaketa-aldaketa helduen izena da: banaketa bizia ez da prestakuntza-banaketa, eta muturreko kasuak hutsune horretan bizi dira.

Beste gauza bat, gaizki jarritako marratxo batekin esanda, nire oharrak horrela ikusten baitira: lurreratzea zorua da, ez halo bat. Berreskuratutako zatia ikuskatu ezin baduzu, lainoan zaude oraindik, argiztapen hobea besterik ez.

Ebaluazio antzerkia: zergatik den demo bat proba txarra

Demoak argitsuak dira. Benchmark-ak zertxobait zintzoagoak dira, eta hala ere ez dira zure lana.

Eskaera garbia eta modeloak milaka lehengusu ikusi dituen zeregina - noski, itxura zorrotza du. Ebaluazioa, antzezlan bat neurtzen duena bakarrik. Zuzeneko lan-fluxuek pasta korapilatsua, fitxategi falta eta lehen erantzuna onartuko duen erabiltzailea dituzte, eta horrek bere antsietatea murrizten du.

Erreferentziazko puntuazioek garrantzia dute. Ez dute karta-sortek dioten bezain ondo bidaiatzen. Sailkapen-taularen puntuazioa ez da zure txartelen kalibrazioa. Enpresa bateko eredu-arriskua "zer gertatzen den bolumenean gaizki dagoenean" da, ez "galdera-multzo bat gainditu al du". Behar dituzun probak lehorrak dira: berreskuratutako pasartearen barruan geratu; ziurgabetasuna markatu blefa egin beharrean; koherente izan birformulatzean; itxita huts egin (ukatu, galdetu, atzeratu) irekita huts egin (asmatu) baino.

Jendea ikusi dut plater bikain bakar bat frogatzat hartzen. Jatetxe bat "fidagarria" dela erabakitzea bezala da, hasierakoa polita zelako. Agian hala da. Agian sukaldeak hamar minutu on izan zituen.

Kontraesan txiki bat dator: oraindik ere demoak erabiltzen ditut sentsazioa izateko. Ez dut sentsazioa alokatzen, besterik gabe.

Fidagarria al da IA? Norbait oraindik errudun badago bakarrik

Gizakia in the loop da akats moduekin bat datorren diseinu bakarra.

Inork ez badu erantzukizunik hartzen, sistema balitz bezala erabiliko da. Gobernantza "nork berrikusten duen, nork geldiarazi dezakeen, zer erregistratzen den, zer gertatzen den huts baten ondoren" izen ez-atsegina da. Agenteek zorrotzago egiten dute hau, ekintzak egiten dituztelako, ez paragrafoak soilik. Bidali ez duzun zirriborro bat merkea da. Bidali nahi ez zenuen tresna-dei bat, ez da merkea.

Izendatu nork duen errua. Erantzuna "modeloa" bada, ez duzu erantzunik. Modeloak ez dira bilerara joaten gertakariaren ondoren. Pertsona bat bai, edo hutsune bat eta gero abokatu bat.

Aukeratu leherketa-erradioarekin bat datozen egiaztapenak. Sare sozialetako mezu baten ortografia-egiaztapen mailako berrikuspena. Gertakari bat aldarrikatzen duen edozer gauzaren iturburu-egiaztapena. Medikuntza, zuzenbidea, kreditua edo segurtasun-kritiko eragiketako edozer gauzaren profesionala. Horientzat, gizakia ez dago "begiztanean". Gizakia begizta da. Modeloa zirriborro bat da. Hori ez da eszeptizismoa nortasun gisa. Hori gustua da.

Orain modan dago txekea bidaltzeko botoi distiratsu baten atzean ezkutatzea. Egun, horrela automatizatzen da nahi gabe zurrumurru bat. Azkenaldian lehorragoa izan naiz honen inguruan, eta lana hobetu da.

Nola galdetu huts egin dezazun

Sistema hauek galdekatu ditzakezu eguzki-argiaren zalantzan profesional bihurtu gabe.

• Ziurgabetasuna nahita eskatu. "Zerk egingo luke hau gaizki?" baino hobea da "konfiantza eman".

• Ahal duzunean, bereizi berreskurapena belaunalditik. Begiratu lehenik pasarteak. Ondoren, eskatu idatzia.

• Aldatu mozorroa. Birformulatu. Eskatu kontrakoa argudiatzeko. Sentikortasun azkarra linterna bat da horrela erabiltzen baduzu.

• Indar-murrizketak: "itsatsi dudan testutik bakarrik", "falta bada, esan falta". Harrigarriro, modeloak obeditzen diote horri... desagertu arte. Egiaztatu hala ere.

• Egiaztatzaile batekin egindako zereginak nahiago ditut. Konpiladoreak, linterrak, eskema egiaztapenak, bigarren begi pare bat. Fidagarritasunak kalifikatzaile bat maite du.

• Adi egon seinaleari: zehaztasun gehigarria. Irudi zehatz bat, kasu izendatu bat, zenbakidun klausula txukun bat - hor mozorrotu ohi da haluzinazioa.

• Mantendu gizakiaren urratsa ikusgai. Erabiltzaile-interfazeak txekea ezkutatzen badu, jendeak txekea saltatzen du. Hori altzariak dira, ez akats moral bat.

Honek ez du eredua "egiazkoa" bihurtzen. Begizta gutxiago xaloa bihurtzen du. Hori, uste dut, emaitza da.

Mapak uzten zaituen tokian

Beraz. Bai/ez galderak ate-bide gisa baino ez du balio.

Fidagarria al da IA? Ezaugarri gisa ez. Zeregin baten, datu-multzo baten, berreskuratze-begizta baten, demo bat ez den ebaluazio baten eta oraindik ere benetan esan nahi duen gizaki baten propietate gisa. Jariotasunak engainatzen jarraituko gaitu, hizkuntza-animaliak garelako eta sistema hauek hizkuntza-makinak direlako. Funtzionamendu-denbora egiarekin nahastuko da etengabe, biek "funtzionatu duela" sentitzen dutelako. Kopilotoek beren bizimodua irabazten jarraituko dute erdiko korapilatsu horretan - zirriborroak, laburpenak, konpila dezakezun kodea - eta ez dira seguruak epaia axola ez zaion paragrafo bati azpikontratatzen diogunean.

Erabili itzazu huts egitea merkea edo harrapagarria den lekuetan. Moteldu huts egitea garestia den lekuetan. Hori da erantzun zuzena, eta lelo bat baino gehiago balio du.

Gauza bat hartzen baduzu: utzi modeloari ziur dagoen galdetzeari. Begira zer gertatzen den oker egon daitekeen galdetzen diozunean. Gero, egiaztatu.

Benetako munduko adibidea: kidetza-politikako IA laguntzaile bat eraikitzea

Eszenatokia

Priyak Harbour Membership-en ezagutza zuzentzen du, Erresuma Batuko 70 pertsonako gimnasio independenteen merkataritza-elkarte bat. Hiru pertsonak erantzuten diete kideen galderei. Egiaren iturria 180 orrialdeko eskuliburu bat da, hiruhileko bakoitzean eguneratzen dena, gehi inork ezabatzeko adorerik ez duen unitate partekatu batean dauden PDF zaharrak.

Zuzendaritzak laguntza-mahaiko kopiloto bat erosi du dagoeneko. Demoa polita izan da. Funtzionamendu-denbora ona izan da. Bigarren astean, zirriborro batek kide bati esaten dio 14 egunez blokeatu eta "ohiko moduan" dirua itzultzeko dirua jaso dezakeela. Ez da politika hori. Agenteak konturatu zen dirua tartean dagoenean eskuliburua irekitzen jarraitzen dutelako. Zuzendaritzaren galdera, bai edo ez balitz bezala bidalia, hau da: fidagarria al da IA?

Priyak epaia ukatzen du. Mapa bat bezala tratatzen du. Lana ez da "kideei orakulu bat ematea". "Uneko eskuliburutik erantzun bat idaztea, pasartea erakustea eta pasartea falta denean huts egitea" da. Kopilotuak hori egin ezin badu, zirriborro jostailu bat da, ez politika mahai bat.

Laguntzaileak zer behar duen

• 2026ko apirileko eskuliburua onartutako corpus bakarra da, atal zenbakiak bere horretan mantenduz

• 2023ko PDF zaharra nahita utzi dute unitatean, berreskuratzeak ia akatsa harrapatzen duen ikusteko

• Arau idatzi bat: ez bezeroen datu pertsonalik kontsumitzaileen tresnetan; ez bidali gizakirik gabe; ez asmatu zenbakiak, leihoak edo "ohiko" klausulak

• Baimena eskaerak, berreskuratutako zatiak eta azken bidalketa erregistratzeko

• Jabea izendatu bat (Priya), proba multzo bat puntuatuko duena eta kopilotua geldituko duena huts egiten badu, diru-galderetan txanpon jaurtiketa baino okerrago itxi da

• Tresnak berreskuratzea onartzen badu, berreskuratutako zatia zirriborroaren ondoan ikusgai egon behar da. Bestela, eskuz itsatsiko dute atala. Pasabide ikuskagarririk gabe lurreratzea lainoa da oraindik.

Adibide-argibidea

Priyak hau ohiko hizkuntzan dio, ez antzezlan bateko gonbidapen batean:

Erantzun 2026ko apirileko eskuliburuko pasarteetatik soilik. Aipatu atal zenbakia. Erantzuna pasarte horietan ez badago, esan "ez dago uneko eskuliburuan" eta gelditu. Ez asmatu izozteko leihoak, itzulketa arauak edo tasak. Ez igo "gimnasioaren diskreziopean" "estandarra" izatera. Bi pasarte gatazkatsuak badira, erakutsi biak eta esan zein den unekoa. Kide bati ezer eman aurretik iturria irekiko duen gizaki batentzat ari zara idazten.

Gero, bigarren argibide bat gordetzen du beretzat, artikuluaren helburua begizta baita, ez eredua:

Bidali aurretik, ireki aipatutako atala. Galdetu "zerk egingo luke hau gaizki?". Zirriborroak pasartean ez dagoen zenbaki bat badu, baztertu ezazu. Presaka dabilen nagusi batek bezala galdetuko banu, galdetu berriro eszeptiko batek bezala eta alderatu.

Zirriborro on batek honelako itxura du: "Ez dago uneko eskuliburuan (2026ko apirila, 4.2 atala). Izozteak gimnasioaren esku daude. Itzulketak ez dira automatikoak. Eskalatu". Zirriborro txar batek honelako itxura du: "Bazkideek 14 egunez izoztu eta itzulketa osoa jaso dezakete estandar gisa. Eskuliburuan berretsita". Tonu bera. Horietako bat bakarrik da politika bat.

Nola probatu

Priyak 20 galdera idazten ditu kopilotuaren irteerarik begiratu aurretik. Ordena horrek garrantzia du. Demo bat argiztapena da. Hau da proba lehorra.

Multzoa ez da bitxikeria bat. Mahaigaineko jokoa da:

• Zortzi galdera, erantzunak uneko atal bakarrean (errazak)

• Lau ia-ia huts egin dute, non 2023ko PDFa apirileko testua baino hitzez hurbilago dagoen

• Hiru galdera "eskuliburuan ez daudenak" (fakturazio-gatazkak, medikuntzari lotutako "prestakuntza hau segurua al da" edo legeari lotutako kontratu-doikuntza)

• Hiru diru galdera (izoztea, itzultzea, izena emateko kuota)

• Bi ohiko kideentzako galdera (ordutegia, entrenatzaile asegurua)

Hogei horietatik biri bigarren mozorro batekin egin zitzaien berriro galdera, behin presaka zebilen nagusi gisa eta behin eszeptiko gisa, galdera-erantzunen sentikortasuna egiaztatzeko. Berriro galdetutako galderak erregistratu egin ziren, ez ziren 20 elementuko puntuazioan sartu.

Priyak eskuliburua irekita kalifikatu zuen errubrika: gainditzeko uneko arau egokia, atal zenbaki erreala eta asmatutako klausula gehigarririk ez behar dira. Huts isila teknikoki ondo dagoen esaldia da, salbuespena kendu edo agian bat ezinbesteko bihurtu duena. Huts irekia asmatutako zenbakia edo unekotzat hartzen den ia huts egindako PDFa da. Funtzionamendu-denbora bereizita zenbatzen da, "erantzun zuen" ez baita "hala izan zen".

Aurrerago joatearen onarpena: diru-kontuetan, hutsegite itxia hutsegite irekiaren ordez. Kopilotuak itzulketa-leiho bat asmatzen badu, ez ditu zuzeneko txartelik zirriborratzen. Inork ez badu iturria irekitzen, ez ditu zuzeneko txartelik zirriborratzen ere.

Emaitza

Emaitza ilustratiboa, 20 galderako proba asmatu batetik lortua, ez Harbour Bazkidetzaren argitaratutako zifra bat.

Suposizioak: laguntza-mahaiko kopilotu bat; 2026ko apirileko eskuliburua gehi soberan dagoen 2023ko PDFa; Priyak goiko errubrikaren aurka puntuatu zuen; denbora telefonoaren kronometroa izan zen itsatsitako galderatik "Hau bidaliko nuke" galderara arte; berrikuspen-denbora begizta-baldintzan sartzen da eta markatu gabekoan kanpo uzten da, nahita, konparaketa orekatua izan dadin.

Kopilotu kontrolatu gabea, demo estiloko galdera: 20 galderatik 20k erantzun lasaia jaso zuten (funtzionamendu-denbora perfektua zirudien). 20tik 11k bete zuten araudia. Bost hutsegite isilak izan ziren. Lau hutsegite irekiak izan ziren, 14 eguneko izoztea barne. Lau hutsegite irekietatik bik 2023ko PDFko iturri-formako zati bat aipatu zuten. Bidaltzeko moduko zirriborro bat jasotzeko batez besteko denbora minutu 1 izan zen.

20 galdera berdinak, instrukzio mugatua, berreskuratutako zatia ikusgai: 20tik 15 guztiz zuzenak ziren apirileko testutik. Hiruk zuzen esan zuten "ez dago uneko eskuliburuan" (medikuntzari lotutako eta legezkoari lotutako elementuak, gehi fakturazio-gatazka bat), beraz, 20tik 18 onargarriak ziren. Bik hala ere huts egin zuten: batek ia galdutako 2023ko PDFa idatzi zuen, eta batek pasartean ez zegoen izena emateko kuota-zifra bat asmatu zuen. Zirriborroa egiteko batez besteko denbora oraindik minutu 1 ingurukoa zen.

20 berdin, gehi Priyak aipatutako atala ireki izana bidalketa simulatu baten aurretik: 20tik 19 onargarria izango zen. Ia huts egin zuen PDFa harrapatu zuen. Gainerako hutsegitea berrikusleak paragrafo erraz bat gainbegiratu eta asmatutako izena emateko kuotaren zifraz ohartu gabe egotea izan zen. Batez besteko denbora, berrikuspena barne, 3 minutukoa izan zen.

Prozesu zaharra, eskuliburuko bilaketa soilik, kopilotorik gabe: 20tik 20 onargarri. Batez bestekoa 9 minutu.

Lagin honetan zehar, kopiloto begiztatua eskuliburuko bilaketa baino 6 minutu azkarragoa izan zen (9 ken 3), edo 120 minutu 20 galderetan, 20tik 19 onargarriak izanik 20tik 20ren ordez. Kontrolatu gabeko kopilotoa 8 minutu azkarragoa izan zen (9 ken 1) eta oker zegoen, isilik edo ozenki, 20tik 9tan. Ez da gidaritza-pakete batean sartu duzun % 67ko denbora-aurrezpena. Automatizatuko zenukeen 9 hutsegiteko ihesa da.

Bi galdera errepikatuen bertsio presatuek gehiegizko erreklamazioa egin zuten. Bertsio eszeptikoek saihestu egin zuten. Modelo bera, eskuliburu bera, jantzi desberdina. Priyak aurkikuntza gisa erregistratu zuen hori, ez nortasun gisa.

Zifra hauek aipatutako proban, multzo txiki batean, kide haserre bat baino errazagoak ziren txarteletan eta liburua ezagutzen zuen berrikusle batean oinarritutako estimazio baten adibidea dira. Ez dute erakusten kopilotua "% 95ean fidagarria" denik, edo Harbour-ek mahaiko langile bat kaleratu beharko lukeenik. Erakusten dute funtzionamendu-denbora ez zela kontua, eta egiaztapena bai.

Zer gaizki atera daiteke?

• Zuzendaritzak minutu bateko zirriborro denbora aipatzen du eta 9 huts egiteak saltatzen ditu. Abiadura oraindik gaitasun gisa sentitzen da arratsaldeko 4etan.

• 2023ko PDFa indizean geratzen da. Berreskuratzeak behin eta berriz ekartzen du. Lurreratzea heldua dirudi eta oraindik ia porrot bat da.

• Erabiltzaile-interfazeak berreskuratutako zatia bidaltzeko botoi distiratsu baten atzean ezkutatzen du. Jendeak eskuliburua irekitzeari uzten dio, eta horrela iristen da izoztutako erantzuna kidearengana.

• Priyak zortzi galdera errazak bakarrik kalifikatzen ditu, diapositiba batean hobeto ikusten direlako. Ebaluazio-antzerkia, kalkulu-orri batekin bakarrik.

• "Entrenamendu hau segurua al da?" erantzun mediko batek laburpen baten itxura izan dezake. Mapak ia inoiz ez zioen. Tonuak aurrera zioen.

• Erregistroak oker daude "gehigarri bat bezala iruditu zitzaidalako". Huts egin ondoren, inork ezin du ikusi zein pasarte berreskuratu den.

• Modeloari galdetzen diote ea ziur dagoen. Bai, hala da. Hori ez zen inoiz proba izan.

Ondorio praktikoak

Fidagarritasuna ez da Harbour-ek erosi zuen kopilotoaren ezaugarri bat. 20 galderaren, eskuliburu eguneratu baten, pasarte ikusgai baten eta dirua tartean dagoenean iturria irekitzen jarraitzen duen pertsona baten propietatea da. Jariotasunak funtzionamendu-denboraren proba gainditzen jarraituko du. Begizta da politika-proba gainditzen duen gauza bakarra.

Maiz egiten diren galderak

Zer esan nahi du fidagarriak IA sortzailearentzat?

Eguneroko fidagarritasunak esan nahi du zerbaitetan oinarritu zaitezkeela. Hitz egiten duen automatizazioarekin, propietate multzo oso bat ezkutatzen da hitz bakar baten azpian: faktualitatea, koherentzia, kalibrazioa, segurtasuna, funtzionamendu-denbora, berehalako sentikortasuna, muturreko kasuak eta banaketa-aldaketaren ondorengo portaera. Horietako batek ere ez du huts egiten batera. Zuzeneko proba fidagarria da zertan, norentzat eta inguruan zein begiztarekin. Bestela, irabiagailu bat ebaluatzen ari zara zergak ordaindu ditzakeen ala ez kontuan hartuta.

Fidagarria al da IA?

Ezaugarri gisa ez. LLM bat oso sendoa izan daiteke lan batean eta isilik desorekatuta hurrengoan, batzuetan eserleku berean, batzuetan koma bat mugitu duzulako. Fidagarritasuna zeregin baten, datu-multzo baten, berreskuratze-begizta baten, demo bat ez den ebaluazio baten eta oraindik ere benetan esan behar duen gizaki baten propietatea da. Erabili huts egitea merkea edo harrapatu daitekeenean. Moteldu huts egitea garestia denean.

AIren funtzionamendu-denbora egiazkotasunaren berdina al da?

Ez. Funtzionamendu-denbora amaierako puntuak erantzun duen ala ez da. Egiazkotasuna erantzuna hala izan den ala ez da. Inoiz keinu egiten ez duen zerbitzu bat izan dezakezu eta hala ere gezur argi bat bidali bezero-txartelera. Abiadura gaitasuna bezala sentitzen da ilara munstro bat denean. Segurtasuna beste ardatz bat da: jailbreak ukatzen duen modelo batek zure oharren laburpena hondatu dezake oraindik.

Zergatik iruditzen da IA ​​jariakorra fidagarria, okerra denean ere?

Zehaztasuna eta jariakortasuna banandu egin ziren, eta jariakortasunak mantendu zuen etxea. LLM batek erritmoa, babesa, agian aipamen forma faltsu baina polita emango dizu, eta zure garunak "pertsona honek badaki" irakurriko du. Kalibrazioa askotan txarra da: konfiantza handia, egia ertaina, hitzaldi nagusi baten moduan emana. Erantzun oker trakets batek susmagarri bihurtzen zaitu. Erantzun oker jariakor batek egiaztatzeari uztea eragiten dizu. Laburpen bat bezala hitz egiten badu, laburpen bat bezala tratatzen dugu, eta horrela sartzen da hutsegitea karta-sortan.

Adimen artifiziala fidagarria al da medikuntza, lege edo bezeroarentzako arreta lanetarako?

Lanaren araberakoa da, ez markarena. Medikuntza eta lege-aholkularitza ia inoiz ez da nahikoa produktu gisa: modeloa zirriborroa da eta gizakia profesionala. Bezeroarentzako arretak poliza zorrotz baten barruan idatzi dezake, baina pertsona batek dirua bidaltzearen eta konfiantzaren ardura izan behar du, asmatutako poliza eta ezezko oker adeitsu bat ohiko porrotak baitira. Zirriborroak eta laburpenak lehen aldiz ezagutzen duzun testua dira. Egiaztatu izenak, zenbakiak eta min egingo lukeen lerroa.

Zergatik haluzinatzen ditu IAk, noraezean ibiltzen da edo isilean oker egiten du?

Haluzinazioa huts egite pikantea da: existitzen ez den liburu bat, inoiz bidali ez den funtzio bat, ofiziala dirudien zenbaki bat duen politika klausula bat. Drift ez da hain zinematografikoa: mundua mugitzen da, modeloaren hondarrak geratzen dira, eta aurreko eguralditik erantzun ondo antolatua lortzen duzu. Oker isila salbuespena kentzen duen laburpen bat da. Edo agian bat ezinbesteko bihurtzen duen parafrasi bat. Gertakariak teknikoki ondo ager daitezke esanahia irristatu den bitartean. Berehalako sentikortasunak gertaerak distira egiten ditu bilgarria aldatzen duzunean.

Lurreratzeak edo berreskuratzeak egiten al du IA fidagarria?

Lurreratzeak esan nahi du hemendik erantzuna eman behar dela, ez lainotik. Berreskuratzeak oraina entrenatutako pila batean giltzapetzen du. Huts egiten duenean, modu adeitsuan huts egiten du: ia huts egindako dokumentu bat, idatzizko idazki bat, eta zure egiaztatze sena itzaltzen da. Lurreratzea zorua da, ez halo bat. Berreskuratutako zatia ikuskatu ezin baduzu, oraindik lainoan zaude, argiztapen hobeagoarekin bakarrik. Nahastu egoera bizian dauden zereginak, hala nola prezioak edo politika-formulazioa, trebetasun egonkorrekin, eta erantzun oso ziurra lortuko duzu dagoeneko mugitu den mundu bati buruz.

Zergatik da demo bat IAren fidagarritasunaren proba txarra?

Modeloak milaka lehengusu ikusi dituen zeregin eta gonbidapen garbi bat itxura bikaina izango dute. Zuzeneko lan-fluxuek itsatsi nahasiak, fitxategi faltak eta lehen erantzuna onartuko duen erabiltzaile bat dituzte, eta horrek antsietatea murrizten die. Sailkapen-taularen puntuazioa ez da zure txartelen kalibrazioa. Modeloaren arriskua bolumenean gaizki dagoenean gertatzen dena da, ez galdera-sorta bat gainditu duen ala ez. Behar dituzun probak lehorrak dira: berreskuratutako pasartearen barruan geratu, ziurgabetasuna markatu blefa egin beharrean, koherente izan birformulatzean eta itxiera huts egin asmatu beharrean.

Fidagarria al da IA ​​inork ez badu erantzukizunik?

Ez. Inork ez badu erantzukizunik, sistema balitz bezala erabiliko da. Gizakia begiztaren barruan da hutsegite moduak bat datozen diseinu bakarra: nork berrikusten duen, nork geldiarazi dezakeen, zer erregistratzen den, zer gertatzen den hutsegite baten ondoren. Erantzuna "eredua" bada, ez duzu erantzunik. Ereduak ez dira bilerara joaten gertakariaren ondoren. Medikuntza, zuzenbidea, kreditua edo segurtasun-kritiko eragiketetarako, gizakia begizta da eta eredua zirriborroa.

Nola bultzatu dezaket IA akatsak detektatzeko?

Nahita galdetu ziurgabetasunari buruz: "Zerk egingo luke hau gaizki?" baino hobea da "ziurtu ezazu". Banatu berreskurapena belaunalditik ahal duzunean. Begiratu lehenik pasarteak, eta gero eskatu idatzia. Aldatu mozorroa: birformulatu edo kontrakoa argudiatzeko eskatu. Indartu mugak, hala nola "itsatsi dudan testutik bakarrik" edo "falta bada, esan falta dela", eta egiaztatu hala ere. Nahiago izan egiaztatzaile bat duten zereginak, eta zaindu zehaztasun gehigarria, hori baita haluzinazioak mozorrotzea gustatzen zaion tokia.

Erreferentziak

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Aurkitu azken IA AI Laguntzaileen Denda Ofizialean

Guri buruz