Az OpenAI újabb lépést tett az integráció felé mesterséges intelligencia a mindennapi számítógép-használattal a Codex, az asztali kódügynökprogramjának teljes átalakításával. Az eszköz, amely korábban elsősorban programozási segítségnyújtásáról volt ismert, most egy olyan asszisztenssé válik, amely képes kezelni az alkalmazásokat, megjegyezni a beállításokat és szinte zökkenőmentesen kezelni a projekteket.
Ezzel a frissítéssel a Sam Altman vezette vállalat közelebb viszi tervét egy Egy asztali „szuperalkalmazás”, amely egyesíti a ChatGPT-t, a Codex-et és az Atlas böngésződetA lépés célja a felhasználói élmény egyszerűsítése, az erőforrások egyetlen munkaterületen való koncentrálása, valamint az olyan riválisok felemelésé, mint az Anthropic, különösen a szoftverfejlesztési környezetben és a fejlett automatizálásban.
A Codex megtanulja használni a számítógépet, mint bármelyik másik felhasználó.
Az egyik legszembetűnőbb változás, hogy a Codex most már képes a számítógép vezérlése a háttérbenAz ügynök képes látni a képernyőn lévő tartalmat, mozgatni a kurzort, kattintani, szöveget beírni és reagálni a telepített alkalmazásokban történtekre anélkül, hogy megszakítaná a felhasználó egérrel vagy billentyűzettel végzett tevékenységét.
Ez a képesség lehetővé teszi több Codex ügynök együttműködését párhuzamosan, ugyanabban a csapatbanEz magában foglalja a tesztek végrehajtását, a konfigurációk módosítását vagy ismétlődő feladatok végrehajtását, miközben a személy folytatja a szokásos tevékenységeit. Ez megnyitja az utat a munkafolyamatok automatizálása előtt, amelyek korábban állandó felügyeletet igényeltek, például egy alkalmazás tesztelése minden kódmódosítás után vagy a felhasználói felület műveleteinek ismétlése.
Az OpenAI ezt a funkciót javasolja az asszisztens számára a működéshez API-val nem rendelkező eszközök vagy közvetlen integrációk, ami sok asztali programban gyakori. A Codex a képernyő „látásával” és a kurzor irányításával ugyanúgy képes interakcióba lépni ezekkel az alkalmazásokkal, mint egy emberi felhasználó, bár egyelőre ellenőrzött módon és különös figyelmet fordítva a biztonságra.
A cég szerint a számítógép-használat kezdetben elérhető lesz macOS a Codex asztali alkalmazáson keresztül, egy ChatGPT fiókhoz kapcsolva. A Windows verzió később érkezik, miután a teljesítményt tesztelték és a funkciókat a Microsoft környezethez igazították.
Európa és az Egyesült Királyság esetében az OpenAI megerősítette, hogy a számítógépes vezérlés, speciális testreszabás, kontextuális javaslatok és memória Később aktiválódnak. Ennek oka az, hogy ezeket a funkciókat hozzá kell igazítani az adatvédelmi előírásokhoz, ami különösen szigorú követelmény az Európai Unióban és a brit piacon.
Integrált böngésző és közvetlen munka weboldalakon
A frissítés a Codex és az internet kapcsolatát is erősíti egy… magába az alkalmazásba integrált böngészőAz ágens nem egyszerűen általános szöveges utasításokat kap, hanem közvetlenül az oldal adott elemeire vonatkozó parancsokat is fogadhat.
Frontend fejlesztés során például a felhasználó Válasszon ki egy webes komponenst, és írja le a módosítást. A felhasználó tenni akar valamit (például megváltoztatni egy blokk színét, szövegméretét vagy elrendezését), és a Codex megérti az utasítást az adott vizuális kontextusban. Ezáltal elkerülhető, hogy hosszú utasításokat kelljen írni, amelyek elmagyarázzák, hogy a webhely melyik részét kell megváltoztatni.
Ez a beágyazott böngésző a Codexet is engedélyezi Elemezze a tartalmat, gyűjtsön információkat, és használja kontextusként Más feladatok, például a kód dokumentálása, a termékleírások áttekintése vagy a műszaki dokumentációk összehasonlítása esetében minden ugyanabban a környezetben történik, anélkül, hogy több operációs rendszer ablaka között kellene váltani.
Képek generálása és szerkesztése a gpt-image-1.5 segítségével
A Codex új verziójának egy másik pillére a modell integrációja. gpt-image-1.5 képek létrehozásához és módosításához Magán az asztali alkalmazáson belül az ügynök szövegből, illetve utasítások képernyőképekkel és kódrészletekkel kombinálásával grafikonokat, diagramokat, maketteket vagy vizuális vázlatokat generálhat.
Ez a képesség közvetlenül a következő csapatoknak szól: terméktervezés, felhasználói felületek vagy videojáték-prototípusokPéldául egy fejlesztő képernyőképet készíthet egy félig kész felületről, megkérheti a Codexet, hogy javasoljon egy menü újratervezését vagy egy új színsémát, és a kontextushoz illeszkedő generált képeket kaphat, eszközök módosítása nélkül.
Mivel minden a Codexben központosítva van, az ügynökök kódolási és tervezési feladatok láncba foglalása: megírhatja egy funkció logikáját, frissítheti a hozzá tartozó frontendet, és létrehozhat egy vizuális makettet a csapatnak való bemutatáshoz anélkül, hogy el kellene hagynia a munkafolyamatot, vagy külső grafikus szerkesztőalkalmazásokat kellene megnyitnia.
Memória, kontextus és hosszú távú feladatautomatizálás
A számítógépes vezérlésen és a képalkotáson túl az OpenAI nagy célja ezzel a verzióval a Codex felruházása egy… perzisztens memória és sokkal szélesebb körű kontextuskezelésAz eszköz képes újra felhasználni a korábbi beszélgetéseket, megőrizni a fontos információkat, és szükség esetén előhívni azokat egy projekt folytatásához.
A jelenleg előzetes verzióban megjelenő memóriafunkció lehetővé teszi a Codex számára emlékezzen a személyes preferenciákra, a gyakori javításokra vagy a nehezen gyűjthető adatokraEz magában foglal mindent a csapat tipikus technológiai rendszerétől kezdve a mappák rendszerezésén át a leggyakrabban használt jelentésformátumokig és a GitHubon bizonyos típusú problémákhoz jellemzően használt címkékig.
Ezzel a felhalmozott kontextussal az ágens képes proaktívan javasoljon feladatokatEz felhasználható egy befejezetlen projekt folytatásának javaslatára, függőben lévő refaktorálás ajánlására, vagy a felhasználók értesítésére a régóta fennálló pull requestekről. Egyes vállalatok már használják a Slackben, Gmailben vagy Notionban folytatott beszélgetések nyomon követésére, és reagálnak bizonyos események bekövetkeztekor.
A kódex is képes tervezd meg a jövőbeli munkádat, és önállóan aktiváld magad hosszú távú feladatok elvégzésére. Például napokig vagy hetekig képes kezelni a kódellenőrzések sorát, megválaszolni a megjegyzéseket és frissíteni a dokumentációt anélkül, hogy a fejlesztőnek folyamatosan figyelnie kellene azt.
Több mint 90 kiegészítő és továbbfejlesztett fejlesztői támogatás
A változás befejezéséhez az OpenAI közel 90 új Codex bővítményEzek közé tartoznak a Microsoft Suite, a GitLab Issues, a Neon by Databricks, a Render és a Superpowers integrációk, valamint az MCP (Model Context Protocol) szerverek támogatása. A cél az, hogy az ügynök több kontextusforrást és nagyobb működési képességeket kapjon.
Ezeknek a bővítményeknek köszönhetően a Codex képes információkat gyűjtsön különböző szolgáltatásoktól, és cselekedjen azok alapján Egyetlen munkaterületről áttekintheti a problémákat a GitLabban, lekérdezheti az adatokat egy Databricks környezetben, frissítheti az Office-dokumentumokat, vagy interakcióba léphet a telepítési szolgáltatásokkal anélkül, hogy a felhasználónak platformváltásra kellene kényszerülnie.
Tisztán technikai szinten a frissítés megerősíti a tipikus fejlesztői munkafolyamatokA Codex mostantól segít áttekinteni a pull requesteket, egyszerre több terminállapotot kezelni, SSH-n keresztül távoli fejlesztői környezetekhez csatlakozni, és gazdag előnézettel megnyitni a fájlokat, legyenek azok PDF-ek, táblázatok, prezentációk vagy más formátumú dokumentumok.
Mindez egy egységes élményben koncentrálódik, amely – maga az OpenAI szerint – gyorsabb előrehaladást tesz lehetővé. a szoftver életciklusának minden szakaszábanA kezdeti kód megírásától a tesztelésen, telepítésen, dokumentáláson és karbantartáson át, a mesterséges intelligencia alapú ügynökök folyamatosan együttműködnek ugyanazon az asztali környezetben.
Elérhetőség, fejlesztőkre való összpontosítás és az európai helyzet
A Codex új verzióját már telepítik a ...-ban/-ben. asztali alkalmazás macOS-hez Azok számára, akik ChatGPT fiókkal jelentkeznek be. Nem minden funkcióhoz szükséges ugyanolyan típusú előfizetés, és egyes speciális funkciók a megvásárolt csomagtól függhetnek, ahogyan az más OpenAI eszközök esetében is történik.
Thibault Sottiaux, a Codex igazgatója elmagyarázta, hogy ez a frissítés Kifejezetten a fejlesztőknek szólBár a szándék az, hogy később egy szélesebb közönségre is kiterjesszék. Az elképzelés az, hogy a technikai csapatok legyenek az elsők, akik kihasználják az új ügynököket és az automatizált munkafolyamatokat, és idővel ezt a modellt átviszik az irodai feladatokra, a dokumentumkezelésre vagy a személyes termelékenységre.
Az OpenAI hangsúlyozza, hogy a számítási teljesítmény és a memória felhasználása egy biztonsági és szabályozási megfelelési megközelítésEz különösen fontos az Európai Unióban és az Egyesült Királyságban. Emiatt a fejlett testreszabási funkciók, a kontextuális javaslatok, a perzisztens memória és a közvetlen operációs rendszervezérlés elérhetősége ezeken a piacokon valamivel hosszabb időt vesz igénybe.
Mindenesetre a vállalat fenntartja, hogy a Codex ezen fejlődése megnyitja az utat egy intelligens automatizálásra összpontosító asztali szuperalkalmazásahol a mesterséges intelligencia ágensei nemcsak a kódírásban segítenek, hanem a feladatok koordinálásában, a felhasználó munkastílusához való alkalmazkodásban és az összetett projektek hosszabb ideig tartó futtatásában is segítenek. Az európai szoftverfejlesztők számára az üzenet egyértelmű: új képességek érkeznek, de a szükséges kiigazításokkal, hogy illeszkedjenek a meglévő szabályozási keretrendszerhez.