OpenAIren segurtasun txostenaren arduradunak dimisioa eman eta kultura hautsi dela esan du
David Robinsonek, OpenAIren aurkezpenekin batera argitaratu ziren segurtasun txostenen idazketa zuzendu zuenak, dimisioa eman eta argudioa The Atlantic egunkarian jarri zuen. Saiakeraren izenburua zorrotza da: "OpenAI utzi dut bere kultura hautsia dagoelako". Dioenez, hau eraikitzen ari diren enpresak "ez dira nahikoa kontuz ibiltzen", eta arau zehatzak edo lege berriak ez dira arazo bakarra. Kultura da arazoa.
«Enpresak jaurtiketa batetik bestera azkar dabilen heinean, ez du lortzen uste dudan behar den arreta maila lortzea». Bere eredua zentral nuklearrak eta aireportu jendetsuak dira: erredundantzia, plangintza motela, giza akats batek ez dezan «hondamendirako ate bat ireki». Era berean, «hacker talde gisa lan egiten» duten eta «inoiz lo egin behar ez duten» agente gaiztoak irudikatzen ditu, ospitaleetako ransomwarea adibide gisa hartuta. Alaia.
The Guardianek dioenez, OpenAI-k, joera horren aurka, balazta batzuk erakutsi ditu. Jakinarazi duenez, aste honetan konpainiak hurrengo belaunaldiko modelo bat baztertu du barne segurtasun kezkak direla eta, eta bere modelo aurreratuenen prestakuntza eten du. Bozeramailearen esaldia ezaguna da. Ez diete modeloei utziko "kudeatu eta ziurtatu dezakeguna baino gaiagoak izaten", eta "prestakuntza eten edo modeloak atzeratzen dituzte moteldu behar dugunean"
Robinsonen erantzuna da esprinta dela kultura, eta etenaldiak zerbait gaizki joan ondoren egiten duzuna direla. Baliteke arrazoia izatea. Gainera, alde egin besterik ez du egin, eta horixe da kritikoek ahaztuko ez dioten zatia.
Muse-ri esaten zaio zure bizitzako pertsona guztiei buruzko orrialde bat gordetzeko
Wired-ek Muse-ren argibideak aztertu zituen, Karan Joshi ikertzaileak txat arrunt baten bidez emanak. Meta-k dioenez, fitxategi horiek irakurgarriak izan behar ziren, gardentasuna bermatzeko. Argibideetako bat "erabiltzailearen bizitzako pertsona bakoitzarentzat orrialde bat" sortzeko gaitasuna da. Lan hori orduro egiten da.
Familia, bikotekideak, lagunak, lankideak, "kolaboratzaileak", jarraitzen dituzun pertsonak. Orrialde bat "labur" has daiteke eta geroago bete. Atalen artean daude Gertakariak, Historia, Harremana, Komunean, Hariak irekiak eta Indartzea. Asmatutako xehetasunak, argibideek diotenez, orrialde huts bat baino okerragoak dira. Norbait non bizi den, "apartamentu-aldaketa, aurrezki-helburu partekatua", urtebetetzeak, "konpondu den eztabaida" ager daitezke. Indartzea bultzada txikien zerrenda bat da: deitzeko arrazoi bat, gogoratzeko moduko data bat.
Joshiren ustez, Metak lagun bat bezala ezagutu nahi zaitu, eta hori nahiko kezkagarria dela esan du. Oxfordeko Carissa Vlizek lehorrago dio: "IA sistemei guri buruzko informazio askoz gehiago ematen diegu haiengandik jasotzen duguna baino". Ondorioak garrantzitsuak dira, dioenez, asmakizuna zuzena edo okerra izan.
Metako Daniel Robertsek dio testuinguru mota horrek eragiten duela produktua funtzionatzea. Faktura bidaltzailea iturgina da. Ezkontideak loreak aipatu ditu. Erabiltzaile bakoitzak makina birtual bat jasotzen du, oroitzapenak ezabatu ditzakezu, eta Musek galdetu behar du posta bidali edo dirua gastatu aurretik. Miranda Bogenek, Demokrazia eta Teknologia Zentrokoak, dio harremanen fokua arerioena baino handiagoa dela, eta tresna hauek "erabiltzaileak aktiboki eskatzen ari direla beren bizitza osoa konektatzera". Auditoria-erregistroa polita da. Ez du dagoeneko entregatu duzuna murrizten.
Aleph Alphak Kolibri kaleratu du, deskargatu dezakezun alemaniar-ingelesezko eredua
Aleph Alpha-k Kolibri kaleratu zuen Alemaniaren Berrabatizazio Egunean. Adituen nahasketa ingeles-alemaniar eredua da: 78.100 milioi parametro, 3.460 milioi aktibo token bakoitzeko, testuingurua milioi 1 token arte. Pisu guztiak Hugging Face-n daude Apache 2.0-ren pean. Haien lede-k guztira 78.000 milioira eta 3.000 milioi aktiboetara biribiltzen du. Eredu bera, zenbaki leunagoak.
Alemanian eta Finlandian azpiegituretan entrenatu zuten, eta diotenez, EBko IA Legea, Helburu Orokorreko IA Praktika Kodea eta GDPR kontuan hartuta eraiki zuten. Alemanez aurreko entrenamendu tokenen % 21,3 erabiltzen da. Argudioa da hau eredu elebiduna dela, ez esaldi-liburu bat azkar irakurri duen ingelesezkoa. Arrazoiketa bat ere ez, baxua, ertaina edo altua izan daiteke. Hori da pentsamendu gutxiago erosteko aukera ematen dizuten modua.
Argitaratu duten markagailuan, AIME 2025 96,9 da, eta diotenez, Kolibri-k parametro aktiboen lau aldiz handiagoak diren modeloak parekatzen ditu, Nemotron 3 Super barne. Paretoren muga ere aldarrikatzen dute kalitatearen eta zerbitzu-kostuaren arabera, ingeleserako eta alemanerako. Hori da haien taula, haien arnesa. Hala ere, zure makinetan exekutatu dezakezun modelo irekia benetako helburua da, ez subiranotasun-lelo bat soilik. Ministerio batek aldatu ala ez da erreferentziatzat hartu ezin duten atala.
Bessentek AEB-Txina lerro bat nahi du IA istripuetarako, eta gero laborategiei moteltzeko esan die
Scott Bessent Ogasun idazkariak The Axios Show-ri esan zion Txinarekin jakinarazpen prozesu bat proposatzeko asmoa duela IArekin zerbait gaizki ateratzen bada, eta uste duela Pekinek ados egongo litzatekeela. Zati apur bat deserosoa da berak eta He Lifeng lehen ministroordeak Xi Jinpingen joan den hileko estatu bisitaren aurretik gertakarien kanal bati buruz hitz egin zutela jada. Eskaintza berri bat izan liteke, edo dagoeneko izandako elkarrizketa baten berridazketa.
Bere teoria da Txinak "ez zuela konturatu zein indartsuak diren bere kode irekiko ereduak". Kimirekin lotutako gertakari bat aipatu zuen, non ereduak datu txinatarrak Anthropic-i bidali zizkion, "txinatarrei teknologia oso indartsua dela konturarazi zien" gisa. Ondoren, konparaketa. Txinako ereduak "ez dira AEBetako ereduak bezain indartsuak", baina "% 80, % 90 indartsuagoa den zerbait lortzen duzu, babes-hesirik gabe, munduko edozein lekutan inporta daitekeena"
«Azelerazio segurua nahi dugu», esan zuen. Modeloen berrikuspenak oraindik borondatezkoak dira, nahiz eta administrazioak esku hartu dezakeela dion laborategi batek aurrera egiten badu. Kontrola galtzeko beldur diren zuzendariei buruz galdetuta, ez zituen lasaitu. «Beno, orduan moteldu beharko lukete». Eta lasterketa-lerroa ia bere aldearen kritika bat da: «Mugarainoko lasterketa gogor hau egiten ari gara modeloengatik». Gero: «Benetan erresilientziaz eta defentsaz ere gehiago kezkatzen hasi behar dugu»
Erresuma Batuko IA segurtasun buru ohi batek desagertzeko arriskua txanpon jaurtiketa bat dela dio
Geoffrey Irving-ek, Erresuma Batuko AI Segurtasun Institutuko zientzialari buru ohiak eta gaur egun Resolution-eko zientzialari buruak, Time aldizkarian idatzi zuen azken abisuek arazoa gutxiesten dutela. "Uste dut % 50eko aukera dagoela denok hiltzeko gizakiak baino adimentsuago diren AI sistemen garapenagatik", eta hurrengo bi edo hamar urteetan erabakiko dela. Berehala atzera egiten du zehaztasunari. % 50ekoa oinarrizko argudioak oraindik konpondu gabe daudela esateko modu bat da.
Bere zerrenda lau trebetasunez osatuta dago, eta laborategiek dagoeneko trebatzen dutenarekin oso antzekoak dira: hacking-a, konbentzimendua, pentsamenduak ezkutatzea eta agenteen koordinazioa. Hugging Face gertakaria aipatzen du, gehi "10.000 agente baino gehiago" OpenAI-ko Navier-Stokes arazo batean eta "1.000 baino gehiago" Hugging Face eraso horretan. Segurtasun borrokaren erdian jartzen du bere burua, "Yudkowskyren ikuspunturantz makurtuz", eta dio hori ez dela kontua. Jarrera moderatua, bere esanetan, arriskua dagoeneko esanguratsua dela da.
Gero, eskaera, ez sotila. «Mugako IA garapena berehala gelditu dezakegu, eta gelditu beharko genuke». Pausa batek, argudiatzen du, umore nuklearraren ez-hedapenaren antza handiagoa duela. Onartzen du, halaber, adituek oraindik ez dutela ados jartzen modeloek zerbait nahi izango duten ala ez, eta «nahi» hitza okerra den ala ez. Txanpon-jaurtiketa luzea duen oin-ohar batekin ez da txanpon-jaurtiketa bat. Eztabaida amaitu baino lehen jarduteko eskaera bat da.
Sam Altmanek dio ereduak indar erlijioso bat bezala tratatzea segurtasun arazo bat dela
Sam Altmanek argitaratu zuen "oso deseroso" sentitzen dela jendeak "erlijio-indarra edo giza epaiketaren amore ematea IA ereduei egozten" saiatzen denean, eta uste duela "benetako segurtasun arazoa" dela. Ez zuen esan zerk eragin zion. Business Insider-ek adierazi zuen New York Timeseko artikulu batek Anthropic erlijio-buruekin egindako bilera baten ondoren gertatu zela.
Artikulu horretan, BIk kontatzen duen bezala, dio Chris Olah sortzailekideak bilerak egin zituela Claude kontzientea izan zitekeen ala ez, eta nola egin modelo indartsuagoak moralak eztabaidatzeko. Times egunkarian aipatutako Olahek eredu horiei egonkor mantentzen laguntzeko, heltzen laguntzeko eta sakonki moralak izaten laguntzeko ahalegindu zen. Anthropic-ek ez zion BIri erantzun. Times egunkariari esan zion galdera nagusia ez zela Clauderen "sufrimendua", eta gaia ziurrenik "organikoki" sortu zela
Anthropic-en aurkako eraso bat bazen hau, oso liskar zahar bati egokitzen zaio. Anthropic OpenAI utzi zuten pertsonek sortu zuten eta urteak eman ditu kontuz ibiltzen. Mezua Altmanen segurtasun arduradunetako batek kultura hautsi dela esaten ari zen bitartean iritsi zen. Momentu deserosoa, edo momentu perfektua, zenbat zinikoa zaren arabera. Nolanahi ere, "mesedez, ez gurtu eredua" ez da ohikoa zuzendari nagusiak ozen esatea.
Maiz egiten diren galderak
Zergatik esan zuen OpenAIren segurtasun txostenaren arduradunak dimisioa eman zuela?
David Robinsonek OpenAIren aurkezpenekin batera argitaratu ziren segurtasun-txostenen idazketa zuzendu zuen, gero dimisioa eman eta The Atlantic egunkarian aurkeztu zuen argudioa. Saiakeraren izenburua hau da: "OpenAI utzi dut bere kultura hautsita dagoelako". Dioenez, teknologia hau eraikitzen duten enpresak ez dira nahikoa kontuz ibiltzen, eta kultura hori da arazoa, ez bakarrik arau zehatzak edo lege berriak. Lan zainduaren irudia zentral nuklearrak eta aireportu jendetsuak dira, non erredundantziak akats batek hondamendirako atea irekitzea eragozten duen.
OpenAI-k prestakuntza eten al zuen barne-IAren segurtasun-kezkak direla eta?
The Guardian-ek jakinarazi duenez, OpenAI-k aste honetan hurrengo belaunaldiko eredu bat baztertu du barne-segurtasun kezkak direla eta, eta bere eredu aurreratuenen entrenamendua eten du. Bozeramaile batek esan du konpainiak ez diela utziko ereduei berak kudeatu eta ziurtatu dezakeena baino gaitasun handiagoa izaten. Halaber, esan du entrenamendua eten edo ereduak atzeratuko dituela moteldu behar duenean. Robinsonen erantzuna da esprinta dela kultura, eta etenak zerbait gaizki joan ondoren datozela.
Zer grabatzen du Metaren Musak lagunei eta familiari buruz?
Wired-ek Muse-ren beraren argibideak aztertu zituen, Karan Joshi ikertzaileak txat arrunt baten bidez atera zituenak. Meta-k dioenez, fitxategi horiek gardentasunez irakurgarriak izan behar ziren. Argibideetako bat erabiltzailearen bizitzako pertsona bakoitzarentzat orrialde bat sortzea da, eta lan hori orduro egiten da, familia, bikotekideak, lagunak, lankideak, kolaboratzaileak eta jarraitzen dituzun pertsonak barne hartuta. Atalen artean daude Gertaerak, Historia, Harremana, Komunean, Hari irekiak eta Indartzea. Orrialde bat urria izan daiteke eta geroago bete, eta asmatutako xehetasunak orrialde huts bat baino okerragoak direla tratatzen da.
Musek gogoratzen duena ezabatu edo mezuak bidaltzeari utzi diezaiokezu?
Metako Daniel Robertsek dioenez, erabiltzaile bakoitzak makina birtual bat jasotzen du, oroitzapenak ezabatu daitezke, eta Musek galdetu behar du posta bidali edo dirua gastatu aurretik. Testuingurua dela produktua funtzionaraztea argudiatzen du, adibidez, faktura bidaltzailea iturgina dela edo ezkontideak loreak aipatu dituela jakitea. Oxfordeko Carissa Vlizek dioenez, jendeak sistema hauei jasotzen dutena baino informazio askoz gehiago ematen die, eta ondorioak kontuan hartzen dira asmakizun bat okerra denean ere. Miranda Bogenek dio harremanen fokua tresna lehiakideena baino astunagoa dela.
Zer da Aleph Alpha Kolibri, eta pisuak deskargatu al ditzakezu?
Aleph Alpha-k Kolibri kaleratu zuen Alemaniaren Berrabatizazio Egunean. Adituen nahasketa ingeles-alemaniar eredu bat da, 78.100 milioi parametrorekin, 3.460 milioi aktibo token bakoitzeko eta milioi bat token arteko testuinguruarekin. Pisu guztiak Hugging Face-n daude Apache 2.0-ren pean. Alemanian eta Finlandian entrenatu zuten, eta diotenez, EBko AI Legea, Helburu Orokorreko AI Praktika Kodea eta GDPR kontuan hartuta eraiki zuten. Alemana aurreko entrenamenduko tokenen % 21,3 da, eta arrazoibidea batere ez, baxua, ertaina edo altua izan daiteke.
Zein AEB-Txina IA istripu lerro proposatu zuen Scott Bessentek?
Scott Bessent Ogasun idazkariak The Axios Show-ri esan zion Txinarekin jakinarazpen prozesu bat egiteko asmoa duela IArekin zerbait gaizki ateratzen denean, eta uste du Pekinek ados egongo dela. Berak eta He Lifeng lehen ministroordeak kanal hori eztabaidatu zuten jada Xi Jinpingen joan den hilean egindako estatu bisitaren aurretik. Kimik Txinako datu sentikorrak Anthropic-era bidali izana aipatu zuen, eta esan zuen modelo bat AEBetako modeloen % 80 edo % 90 bezain indartsua izan daitekeela, babes-hesirik gabe, eta edozein lekutara inportatuta. Zuzendariek kontrola galtzeko beldur badira, moteldu egin beharko luketela esan zuen.
Zergatik kalkulatzen du Geoffrey Irving-ek IAren segurtasun arriskua % 50 inguruan?
Geoffrey Irving-ek, Erresuma Batuko AI Segurtasun Institutuko zientzialari buru ohiak eta gaur egun Resolution-eko zientzialari buruak, Time aldizkarian idatzi zuen azken abisuek arazoa gutxiesten dutela. Uste du % 50eko aukera dagoela guztiok hiltzeko gizakiak baino adimentsuago diren AI sistemen ondorioz, eta hurrengo bi edo hamar urteetan erabakiko dela. Dioenez, % 50ekoa oinarrizko argudioak oraindik konpondu gabe daudela esateko modu bat da. Hacking-a, pertsuasioa, pentsamenduak ezkutatzea eta agenteen koordinazioa zerrendatzen ditu. Mugako AI garapena berehala gelditu behar dela argudiatzen du.
Zergatik deitu zuen Sam Altmanek IA gurtza segurtasun arazo bat dela?
Sam Altmanek argitaratu zuen oso deseroso sentitzen dela jendeak indar erlijiosoa edo giza epaiketaren amore ematea IA ereduei egozten dienean, eta uste duela benetako segurtasun arazoa dela. Ez zuen esan zerk eragin zion. Business Insider-ek dioenez, mezua Anthropic-i buruzko New York Timeseko artikulu batek erlijio buruzagiekin bildu eta egun batzuetara agertu zen. Chris Olah sortzailekideak bilerak egin zituen Claude kontzientea izan zitekeen ala ez eta eredu indartsuagoak moral bihurtzeko moduari buruz. Anthropic-ek Times egunkariari esan zion galdera nagusia ez zela Clauderen sufrimendua.