A terepasztal lovagjai és a lightfieldi-csata

Semmi örök, de ezt a bejegyzést úgy nézzétek meg, hogy nem tudni mikor szűnik meg benne a lényeg, ugyanis nem is hinnéd mennyire nem egyszerű úgy online tartani egy filet, hogy az direkt és nem változó linkkel elérhető legyen. Márpedig ennek a scriptnek olyan direkt elérés kell egy vieófilehoz, amit alig tudtunk megoldani. Végül innen a dropboxos választ tudtuk használni. Úgyhogy sokkal több időt veszítettünk a logisztikai problémákkal, mint magával a Chaoscollective lightfield játékával. Az alábbi képen oda állíthatsz éleset ahová csak kattintasz.

Click anywhere to adjust the focus.

The Chaos Collective

A módszer a Lytro kamera utólagos fókuszválasztását szimulálja bármilyen fényképezőgéppel készített videóból (na jó, nekünk még konvertálnunk is kellett a Nikon AVI-ját, mert nem HTML-kompatibilis, illetve meg is kellett trimmeljük kicsit az elejét és végét). A videónak egy lassú átfókuszálást kell tartalmaznia, tapasztalat szerint az sem baj, ha csöppet berezdül a gép a kézi élességállítástól. A chaoscollective ebből a videóból aztán egy mélységtérképet készít, illetve interaktívvá teszi azt. A hatásfok nem túl jó, volt, hogy ugyanabból a videóból nem készített semmit, másodszorra pedig megcsinálta. Aztán nem mindegyiket sikerül jól feltérképezni. Szóval ne adjátok fel, ha elsőre nem sikerül.

Ha végül sikerült, egy skriptet kapunk, ezt lehet beágyazni a saját oldalunkra, de ami a videóállománnyal együtt működik csak, és mint már említettem sok felhőalkalmazás linkjén egyszerűen nem látszik a videó, vagy ha igen, akkor dinamikusan változik a link.

Lett volna még pár beállítás, de a fejem is megfájdult ettől a marhaságtól, ha tudom, mennyi macera, neki se fogok. Na jó, még egyet, hogy lássátok mennyire esetlegesen végzi a dolgát ez a DOF motor. Itt egyáltalán nem sikerült a plánokat észrevenni. Az a gyanúnk, hogy a térhasználat folyamatos kell legyen, ez könnyen bizonyítható lenne, ha egy textúrás alapot tennénk a lovagok alá, hogy ott is érzékelhesse a plánokat a gép, ahol pont nincsenek tárgyak. De persze nem fogjuk kipróbálni.

Click anywhere to adjust the focus.

The Chaos Collective

Archaikus digitális eljárások. Lightfield - az alapok.

Hogyan fogja a Lytro végérvényesen forradalmasítani a fotográfiát? Tíz éve ez volt a téma, azóta kiderült, hogy hát leginkább sehogy. Ezért nem kell elkapkodni a blogírást sem, mert azt is megértük, hogy már mint kihalt, archaikus digitális fotóeljárásról írhatunk. Legutoljára, amikor még foglalkozni akartam vele, javában dúlt a hype, de mára a technológia elhagyta a hobbifotózást és átköltözött a professzionális  computational (számítás alapú?) fotográfiába, meg a 3D és VR technológiákba. 2012-2018 egy forradalmi technológia tündöklése és bukása. Itt egy jó kis történelmi áttekintés a technológiáról, majd itt egy magáról a Lytro-ról. Mindenesetre a living picture mostanra úgy tűnik, hogy halott. 

A tegnapig mi magunk se tudtuk, hogy ez hogyan működött, de megértve némileg a technológiát, most azt nem értjük, ők hogyan is képzelték, hogy ez a piacon életképes lesz. Persze utólag könnyű okosnak lenni, és értjük, hogy a mobilfotós-ipar beelőzte, de akkor sem gondolhatták komolyan, hogy a fotózz most, élesíts otthon lehetőségért cserébe az emberek lemondanak a képminőségről, meg a jól bejáratott technológiák nyújtotta kényelemről. Meg valami csúnya átok sújthatja a 3D ipart, így döglött be a 3D televíziók piaca is, és azt látjuk, hogy semmilyen 3D technológia nem képes átütni a nagyközönség ingerküszöbét. 

A dolog lényege, hogy a megszokott kétdimenziós fényképezésbe (x,y - RGB szenzormátrix) újabb három, de inkább csak kettő új dimenziót vezet be. Eddig egy pixel úgy gyűjtötte a fotonokat, hogy azoknak sem időrendi beesési sorrendjét, sem a beesés irányát sem egyéb paraméterét, csakis a hullámhosszát (Bayer szűrővel) és a mennyiségét rögzítette. A fény beesési irányát lehet temporális multiplexszel is rögzíteni, pl egy kamerát mozgatni időben és különböző szögekben szkennelni vele a teret. Vagy lehet térbeli multiplexet is, ebben az esetben egyszerre sok külön kamera kell (ilyen pl. a bullettime kamera array is, de az csak egydimenziós).

Forrás

A térbeli multiplexet el lehetne képzelni úgy is, mint egy fényképezőgépekből épített mátrix, ahol minden egyes gép a másikhoz viszonyítva egy csöpp eltolódással látja a lefényképezendő területet. Ezekből az eltérésekből lehet kiszámítani a tér és a benne levő tárgyak helyzetét.

Forrás - érdemes végignézni a teljes prezentációt.

A Lytro kamerák eleve nagy lencsével voltak szerelve, a lencseátmérő és tág rekesz adta a bázistávolságot a parallaxishoz (a lencse két ellentétes széle). Ezért, és a mikrolencsék lefedettségének konstanson tartása miatt (fontos, hogy a mikrolencsék mindig ugyanazokra a pixelekre vetítsenek) nincs is rekesz ezekben a kamerákban. Egy szétszedett kamerában azt láttuk, hogy egy tologatható fényszűrővel oldották meg a fénymennyiség szabályozását. Ugyanakkor a szűk rekesz kifogná a csudi technológia vitorlájából a szelet, hiszen pont a szűk mélységélesség legitimálja ezt a módszert, amit csak tág rekesz mellett lehet szavatolni. És nyilván a relatíve kicsi bázistávolság miatt, főleg közeli témák fotózásánál érvényesül az erőssége, tehát makett-hatást nagyban nem érdemes várni ettől. Mindenesetre a spéci Lytro-szerkesztő programokban van rekeszállítási lehetőség, de itt kifejezetten a kívánt mélységélesség utólagos hangolása, és nem a fényerő szabályozása miatt.

Lytro compatible Viewerből exportált RAW Bayer patternje

Lytro compatible Viewerből exportált RAW demozaikolva

Tehát a nagyfelbontású normál szenzor előtt egy mikrolencse mátrix van, erről nem egyértelműek az információk, de nagyságrendileg helyes lehet, hogy egy 3280*3280, vagyis 11 megapixeles lapka minden 10 pixelére jut egy-egy mikrolencse.

Azért látszik, hogy a 10*10-es mátrixból a mikrolencsék szélein jelentős pár pixeles veszteség is van 

Ez a 10*10-es pixelmátrix, mint a rovarok összetett szemében egy-egy cella, úgy képzelhető el. A szoftvernek meg pontosan kell tudnia, melyik mikrolencse alatt melyik pixel a tér melyik pontját rögzíti, mert csak így számolhat a parallaxisból.  

A nyers képeket a Lytro Compatible Viewerrel sikerült megnyitni és exportálni. További megjelenítési lehetőségek is vannak benne...

... de a gépközeli nyers adatok kibányászásán túl elég fapados alkalmazás. Mindenképpen érdemes letölteni a Lytro desktop alkalmazást is. Mivel nekünk nincs ilyen gépünk, a fent használt Rawokat és a Computed stack képeket innen töltöttük. 

Mentsétek el ezeket az alkalmazásokat, mert ahogy a gyártó magára hagyta a közösségét, egyre kevesebb esélyetek lesz hozzáférni ezekhez a képeitekhez, melyek csak ilyen speciális mikro-rezervátumban képesek működni, mivel sosem lett a mainstream része.

A technológia, bár kifejezetten a refókuszt marketingelték, alkalmas csomó egyéb mindenre. A parallaxisnak megfelelően a felvétel iránya is módosítható csöppet, a fények becsillanása javítható, fókusz-stacking, mélységtérkép, 3D anaglyph, 3D sidebyside, átfókuszáló videók, giffek létrehozására is alkalmas. A mélységtérkép jól jöhet, ha facebookon ilyennel akarsz villogni (csak inverzbe kell tenni, mert itt az sötét, ami elől van). A focus stacking szintén egy kedvenc témánk.
Az anaglyph kicsit érdekes, mert bár megcsinálja teljesen a fülétől-farkáig éles anaglyphot is, melléje kimenti az összes keskeny mélységélességű szeletet is anaglyphnak, aminek a hasznát jelenleg nem értjük. Ha valaki elárulja az mire jó, azon kívül, hogy összezavarja a szemet, annak köszi, meg puszi. 

Ezt kék-vörös szemüveggel kell nézni. 

A SideBySide 3D képeket meg így prezentálja. Na, ezt milyen nézőkével kellene nézni, mert így ebben a formában ez sem világos.

Böngésszétek ezt az oldalt, mert bár a Lytro meghalt, sírján virág nőtt, a tehén azt pont most legeli és nem kizárt, hogy csodálatos technológiákat szarik majd belőle... Remélem a témának lesz még folytatása az Utazásokban, mert tegnap, míg a facet-lencsémet kerestem, a kezembe került a fresnel lencsemátrixom. És hát ez a poszt lett belőle. 

Ez az oldal (Depthy) is képes megjeleníteni az ilyen képeket. 

Sztegano újratöltve - Tina ma mentében ment ki a térre

Tudja jól a kínai, kínai kormány, 

Mit akarok, engem akar.

Egy szteganós vagyok a karban, zavarban, 

Adó vagyok, de valami zavar.
(Balaton)

Azt hiszem érdemes lemondani arról, hogy a JPEG-be rejtett sztegano-tartalmak valaha is tökéletesen bírni fogják az átméretezést, képkivágást. Bár vannak ígéretes próbálkozások a mélytanuló algoritmusokkal, melyek a rejtett cucc felderítését is jelentősen ellehetetlenítik majd. 

De cserébe legalább relatíve hatalmas payloadot lehet beléjük rejteni. Most a SteganPeg alkalmazást próbáljuk ki, és mivel stílusosak szeretnénk lenni, de nincs fehér galambos fotónk, egy béke-vérverebes képbe rejtjük el a Tina mentében (más olvasatban Tina ma nem tér el) című szupertitkos, az autokráciának odabaszós képünket. 

Nem tudjuk a motorháztető alatt mi zajlik, de annyi bizonyos, hogy egy egy kép hordozó kapacitása véges, és nem a pixel*pixel térben, hanem inkább fileméretben számít ez.

Például a hordozónk 4000*2765 vagyis 11 megapixel, ami 12-es minőségen 4.2Mb. A tartalom 1000*671 vagyis kevesebb mint 0,7 megapixel, 12-es minőségen 764 Kb. Így a rejtés nem sikerülhet, mivel a tartalom meghaladja a hordozó kapacitását. A tartalom 10-es minőségen már csupán 438 Kb, így éppen még belefér a hordozóba. Ha viszont a hordozót is 10-esnek mentjük (így 1,53Mb), már egyáltalán nem fér bele az előbbi tartalom. Nagyjából tehát tized-akkora tartalom rejthető el egy JPEGben. 

A tartalom 5-ös minőségnek mentve 214 Kb, így alig felét foglalja el a hordozó kapacitásának. Mint az ábrákon látszik nem szétszórja az infót a képen, hanem fentről lefele halad, addig ameddig tart az elkódolni való. De ez nem látszik meg a hordozón, hiszen a különbséget csak teljesen tövig állított Contraszttal tudtuk annyira kierősíteni, hogy egyáltalán észlelhető legyen. Sajnos ebből az is következik, hogy egyáltalán nem bírja a vágást átméretezést. De még a sima újramentést sem, hiszen nincs a az a program, ami pont ugyanolyan kvantálást használna, mint a SteganoPEG. A beoltott hordozó filemérete nem növekedik meg a benne tárolt tartalomtól, tehát nem csak oda van biggyesztve a tartalom, hanem amint az ábrákon is látszik, konkrétan beleszövi a képbe. Külön érdekesség, hogy a program nem nyúl hozzá (valószínűleg mert nem is képes rá), a payload minőségéhez, pedig abban további rejtjelezési lehetőségek lennének. Az elkódolás előtti és visszanyert tartalom között semmiféle különbséget nem észlelünk a fenti Differenciate módszerrel sem. 

Bár csali-payloadot nem tud a program, de simán megtehetjük, hogy a forradalmi terveket valami kevésbé ciki tartalomba ágyazzuk, majd azt csomagoljuk bele a végleges hordozóba. Így ha nagyon vernek az államhatalmiak, az felső szint jelszavát elárulva titokban tarthatjuk a legalsó szint tartalmát. Nyilván ebben az esetben már csak 1/10*10 vagyis századannyi infót tudunk csak átvinni.

Megnyugtató az is, hogy a photo-phorensic alkalmazással semmiféle beavatkozást nem sikerült észlelni a képen, de azért sose becsüljük le a sötét oldal ügynökei. Egy meta-törlést feltétlenül iktassunk be a folyamat végére. És természetesen semmisítsük meg az eredeti képeket. 

Törpe vagy tigris, péntek vagy szombat,

Édes vagy, érzem a zuhanást,

Torzítatlan vétel, zavartalan adás,

Fausti pillanat, örök maradás.

Mély álom - elektronikus bárányokkal - LSD-NN*

Akár egy halom hasított fa,

hever egymáson a világ,

szorítja, nyomja, összefogja

egyik dolog a másikát

s így mindenik determinált.

Csak ami nincs, annak van bokra,

csak ami lesz, az a virág,

ami van, széthull darabokra.

JA

https://deepdreamgenerator.com/

Na, ez a minden mindennel összehuzalozottsága. Pont ez, ahogyan a videoloopingtól eljutunk a fraktálokig és még pár tétova lépés és a deeplearningon át megérkezünk a mélyálomhoz, a deepdreamhez. És nem, a deepdream, nem egy szaturációtól csöpögő filter, nem egy agyoneffektezett fraktalizált hatás. Az inceptionizmus nem az új HDR, de nem is egy önállóan legitim művészeti irányzat. Nem feltétlenül giccs, nem feltétlenül a gépek öntudatra ébredése. Szuperponált állapotban talán mindkettő.

https://deepai.org

De egy eszköz, ami szemlélteti, hogy milyen is lenne az, ha álmodnának az androidok elektronikus bárányokkal. Vagy bármilyen szörnyekkel, melyek a tudatalattiból felfröccsennek. Képesek lehetnének a gépek pareidoliára? Kígyót békát látni? Beleláthatnak e a felhőkbe cicákat és kutyusokat? És  ha álmodnának, az valóságos álom lenne? És ha vízióikat megfestik, az már ugyanúgy alkotás, mintha emberek csinálnák? Vagy ugyanúgy gépies ismétlés, mint egy kép RGB pixelmátrixán végzett filterművelet, csak sokkal absztraktabb, elvontabb és komplexebb, ahhoz, hogy ésszel átfogjuk az egész gépi tanulás folyamatát?

És mi van például a zenével? Az AIVA vagy Google Magenta igazi zenét ír? Tiszta sor, hogy egy olyan világban, ahol Sid Vicious basszusgitározhat, ahol Bárdos Ági, vagy Hobo énekelhet, ott egyáltalán nem a tökéletes zenei ismeret, nem a tökéletes hangzás és harmóniák a katarzis alkotóelemei, hanem valami egészen más. És ez a valami vajon tanulható e? Egyáltalán kijelenthetjük e, hogy a robotok sohasem csinálhatnak művészetet, mert a művészetet az emberek csinálják.

https://deepart.io/

Biztosan emlékeztek az I robotból Sonny és Will Smith beszélgetésére. Embernek lenni egyáltalán nem jelenti azt, hogy tudunk is művészetet kreálni. Sőt nagyon sok ember még az emberi művészetet sem képesek felfogni, pláne nem befogadni, értékelni. Ezek a hétköznapi természetes intelligenciák, gyártják és fogyasztják aztán a másolatokat az igazi helyett, a giccset a művészet helyett, ahogy csak a szemükön és fülükön befér.

Követném egy pólus ívét 
Simuló-sík formájában,
Szimmetrikus tenzor ízét
Éreznénk, bit alakjában,

Megszámlálnám tagjaidat- 
Vajha volnék rá alkalmas! -
És mátrixszá rendeznélek,
Gyönyörű végtelen halmaz!
(írta Trurl versíró Elektrubadúrja [Lem-Kiberiáda])

Egyáltalán szempont az, hogy még különbséget tudunk e tenni az emberi és gépi kreáció között? Persze egy Ákos dalszövegíró robotnak nem kell túl okosnak lennie, hogy eredetinek tűnjön, de te például el tudod dönteni, hogy egy verset ember vagy gép írt? Hát egy zenéről vagy festményről biztosan meg tudod mondani, ember, vagy robot alkotta? Na jó, erről a filmről csak meg tudod mondani, hogy robot írta a forgatókönyvet. Egészen biztos? Láttunk már ennél sokkal szürreálisabb emberek által elkövetett filmet is.

És ha meg is tudnánk állapítani melyik emberi és melyik gépi alkotás, ezt minek alapján tennénk? Okoskodva és megpróbálva logikusan átlátni a gép trükkjeit, amivel meg akar téveszteni? Mintázatokat keresve a gépi tökéletességben? Vagy az emberiben megérezni az emberit, a tökéletlent? Vagy a gépi alkotásból hiányolni az esetlegeset?

Vagy azt gondolod, hogy az igazi művészethez vér és verejték kell? Harmadnapja nem eszek, se sokat se keveset? vagy Ő teli pofával zabál, én hét napja nem szartam? Kell a nélkülözés az ilyen rímekhez? Vagy kell egy kis elnyomás, s hol titkolni kell a harcot, burzsujbőrbe kösd be Marxot. Persze, azóta mások lettek a módszerek, finomabbak a gyógyszerek. de ahol zsarnokság van, minden hiában, a dal is, az ilyen hű akármilyen mű...

Rögeszmés működés kell a művészethez, mint a Fekete hattyúban? Aki dudás akar lenni, pokolra kell annak menni? De nem e mondhatja a gép, hogy mit tudunk mi emberek a kemény munkáról, amíg nem futtattunk át tízmillió zenét, festményt, regényt, a neurális hálózatunkon, amíg nem küzdöttünk azzal a mérhetetlen magányos unalommal, ami a gépi tanulás sajátja, amíg nem okozott gondot, hogy nem elég a RAM és a GPU kapacitás és nem ólálkodott körülöttünk folyton a kékhalál. Egyáltalán képesek lennénk érteni a gépek problémáiból született alkotásokat?

Csak azért nem művészet, amit a gép csinál, mert nekünk akar katarzist okozni? Tehát nem önkifejez, csak kiszolgál? És ha igazán önkifejezne, akkor nem is értenénk mi már azt, mert az életben teljesen mások a problémáink. A gépi gondolkodás, szimbolika, már olyan emberen túli? Mi lenne, ha a robotok egymásnak alkotnának kultúrát? Mint ahogyan az egymásra eresztett facebook egyezkedő chatbotok is saját nyelvre váltottak egy idő után a kommunikációban. Mint ahogyan a magukra hagyott fogócskázó robotok is teljesen újraértelmezték a körülöttük levő teret. Ugyanazok az archetípusaink, mint a robotoknak? Az ők ős(robot)képeikre ugyanúgy rá tudnánk hangolódni, vagy észre sem vennénk, hogy a robotművészet legjava már itt van előttünk.

Ki tudja, már zajlik is, és egy-egy számítógépes glitch már a robotika legelső barlangrajzai közül való.

jönnek a gépek pokoli szépek a képek

nem félek csak belőlük élek

Linkek mindenféle koncepció nélkül:

Boston paródiák, de a Mucsi káromkodó robotjait is megnézheted.

Az inceptionizmusról.

A harcművész robot.

Egy ted előadás a robotok kreativitásáról.

* Large Scale Deep Neural Net