Helyi mesterséges intelligencia Windows alatt
Az NVIDIA új RTX Spark platformja az Anaconda Kilo Desktop alkalmazásával együtt olyan Windows on Arm környezetet kínál, amelyben a mesterséges intelligencia fejlesztése internetes szolgáltatás nélkül is megkezdhető. A modellek, a Pythonhoz szükséges eszközök és a projektek egyetlen alkalmazásban kaphatnak helyet, miközben a felhasználói kérések a számítógépen maradhatnak.
Az Anaconda október 16-i bejelentése szerint az RTX Spark NVIDIA RTX grafikát, a teljes NVIDIA AI-szoftvercsomagot és a konfigurációtól függően akár 128 GB egységes memóriát kínál. A platformot fejlesztésre, tartalomkészítésre és játékra szánják, az új Microsoft Surface Laptopot is beleértve. A részletekről az AI Hírek helyi AI fejlesztési beszámolója is ír.
A készülék NVIDIA Grace processzormagokat kapcsol össze Blackwell RTX GPU-val. A CPU és a GPU közösen használja a memóriát, ami a gyártó szerint nagyobb helyi modellek és hosszabb kontextusok kezelését is lehetővé teheti. A natív CUDA támogatás ugyanazt a szoftveres alapot használja, amely az NVIDIA más hardverein is elérhető.
Egy alkalmazásban a kód és az AI ügynök
A Kilo Desktop célja, hogy az AI segítségével egyetlen munkafolyamatban lehessen megtervezni, megírni, tesztelni és hibakeresni a kódot. Az alkalmazás automatikusan létrehozza és beállítja a conda környezeteket, így az RTX Spark Pythonos feladatokra is gyorsan előkészíthető.
Az Anaconda Windows on Arm támogatása natív Pythont, több mint 2500 conda csomagot és ellenőrzött könyvtárakat biztosít. A projekt környezete ugyanabban az alkalmazásban kezelhető, ahol a felhasználó az AI modellel kommunikál. Ennek köszönhetően a kód, a jegyzetfüzetek és az adatok egy projekten belül maradhatnak, ami egyszerűbbé teheti a munkát és az ellenőrzést.
A fejlesztők GGUF modellfájlokat importálhatnak a Kilo Desktop beépített szerverébe. Az NVIDIA Nemotron család nyílt, következtetésre és eszközhasználatra épített modelleket tartalmaz. Egy megfelelő modell értelmezheti a kérést, kiválaszthatja a szükséges eszközt, majd az eredmény alapján meghatározhatja a következő lépést. Ehhez olyan modellt kell választani, amely támogatja az eszközhívást.
Adatok elemzése külső felhő nélkül
Az Anaconda egyik példája egy termékcsapat munkáját mutatja be. A csapat CSV fájlok alapján vizsgálhatja, miért emelkedett a visszaküldések száma. A fejlesztő megkérheti az AI ügynököt, hogy nézze át az oszlopokat, jelezze a hiányzó értékeket, majd készítsen Python jegyzetfüzetet a visszaküldési arányok termékenkénti és havonkénti összehasonlítására.
A számításokat a Python végzi, a helyi modell pedig irányítja a munkát és érthetően bemutatja az eredményeket. A fejlesztő közben áttekintheti a kódot és a felhasznált adatokat, majd újabb vizsgálatot kérhet a legnagyobb változásokkal kapcsolatban. A jegyzetfüzet a beszélgetés mellett is megnyitható, ezért az elemzés módosítható és ellenőrizhető marad.
Hasonló munkafolyamat használható dokumentumasszisztenshez, projekt tesztjeit futtató kódolási ügynökhöz vagy helyi fájlokból készülő jelentésekhez. A modell ilyenkor nem továbbítja automatikusan a kéréseket egy távoli szolgáltatásba, hanem az RTX hardveren végezheti el a következtetést. Ez különösen olyan projektekben lehet fontos, ahol az adatok kezelése érzékeny kérdés.
Menthető és újraépíthető projektkörnyezet
A Kilo Desktop, a modellfájl és a projektcsomagok telepítése után az Anaconda célja, hogy az első helyi válasz öt percen belül megszülethessen. A kezdeti letöltés és beállítás azonban ennél tovább tarthat, hiszen az időt az internetkapcsolat és a kiválasztott modell mérete is befolyásolja.
A kezdéshez a felhasználó megnyitja a Kilo Desktopot, bejelentkezik, majd kijelöli a projektmappát és a hozzá tartozó conda környezetet vagy annak environment.yml fájlját. Ezután importálhat egy kompatibilis Nemotron modellt, elindíthatja a modellkiszolgálót, és kiválaszthatja a modellt a csevegésben. Első feladatként például egy Python fájl magyarázata adható, később pedig további eszközök kapcsolhatók be.
Az Anaconda azt javasolja, hogy a projekt növekedésével a Python függőségeit environment.yml fájlban rögzítsék. A modell verzióját és beállításait szintén érdemes a kód mellett dokumentálni. Így a kompatibilis hardverrel dolgozó csapattagok újra létrehozhatják ugyanazt a környezetet, miközben a modellek, az adatok, a kód és a projekt beállításai egyetlen Windowsos munkafolyamatban maradnak.
