Över-/underexponering

[Martin Chab]

Objektiv kan aldrig lägga till DR. Det de ALLTID gör är att ta bort DR. Ströljuset, dvs summan av diffraktion, reflexer, interna imperfektioner och föroreningar i glaset, ojämnheter i antireflex-beläggningen osv gör att den mörkaste punkten i bilden i ett "normalmotiv" aldrig kan bli mycket mörkare än 13-14Ev under den ljusaste punkten.

Även om motivet i verkligheten, framför objektivet, har ett omfång på 20Ev kan detta aldrig "passera igenom" objektivet ostört.

Du kan inte prata om DR över huvud taget om du inte sätter det i relation till minst två saker - omständigheter då det mäts samt om det är mål-DR eller bild-DR.

För övrigt är latitud en helt separat fråga. Vad det gäller film har det kommit två specialfilmer på senare år som har bra DR. Annars har film riktigt DÅLIG DR. Att film har bra latitud, dvs att man kan flytta omfånget uppåt eller neråt utan att klippa för hör hårt är en annan sak, men i en enskild bild har de flesta färgfilmer runt 9Ev DR. Fyra helsteg sämre än en normalbra digital sensor idag.

well put!!

 

[The_SuedeII]

There is no such thing as a linear RAW. First of all because the sensor is not linear at all (and each sensors has diverse non linearities):

http://www.fotosidan.se/forum/attachment.php?attachmentid=130183&stc=1&d=1371651689
http://www.fotosidan.se/forum/attachment.php?attachmentid=130184&stc=1&d=1371651689

As you can see the response is so far for the linearity that the manufacturer is forced to linearize the signal as much as they can. In fact, that why each camera brand and model gives a completely different response and colors. In the other hand it is a myth that RAW is not compressed or chroma subsampled. Only high end cameras like the sony F65 can do somewhat that, to film in raw, linear, 16 bits per channel with 1:1 green photosites and half blue and red photosites throwing the data through a fiber optic to a raid solid memory at the staggering 5,5 gigabites per second. Even though there is a lot of processing at the sensor and dsp level to linearize the image as much as possible.
True, since you can manipulate the data in post it gives plenty of possibilities to reach your goals.

you can read a review that i did for the preproduction model of the F65 here: http://zitrin.se/f65/

Most of jpegs embeds, not an s curve, but a gamma curve but i think the big issue here is also the wavelet compression (other that you can not play with the data).

Det allra mesta av detta du hänvisar till är fullständigt irrelevant. Inget av det du visar är ens en "olinjäritet". Det du visar är en färgfiltrering (och ett våglängds-svar, Kodak). Sensorn måste naturligtvis vara olinjär över våglängd, annars har du helt enkelt byggt en monokrom (svart-vit) sensor.

En normal CMOS (eller CCD) sensor är linjär inom +/-1% inom de ca 10Ev som får räknas som sensorns normala arbetsområde. På bas-ISO brukar de gröna kanalerna vika av ca 5-10 procent i den översta Ev'n mot blåst vitt, men annars är de HELT linjära från -1 ner till -12Ev.

 

[Martin Chab]

Det allra mesta av detta du hänvisar till är fullständigt irrelevant. Inget av det du visar är ens en "olinjäritet". Det du visar är en färgfiltrering (och ett våglängds-svar, Kodak). Sensorn måste naturligtvis vara olinjär över våglängd, annars har du helt enkelt byggt en monokrom (svart-vit) sensor.

En normal CMOS (eller CCD) sensor är linjär inom +/-1% inom de ca 10Ev som får räknas som sensorns normala arbetsområde. På bas-ISO brukar de gröna kanalerna vika av ca 5-10 procent i den översta Ev'n mot blåst vitt, men annars är de HELT linjära från -1 ner till -12Ev.

I believe you are making a mistake. The sensors are in fact monochrome. It takes the colors through filtering. The linearity of the sensor is attained through processing of the signal, what, depending of the algorithm used introduces internal non linearity, thus the characteristics and feel of each sensor.
I have conducted many but many tests with both cameras and sensors alone and could prove all what i am saying, it was not simply theory but practice.
Anyway, i believe that all this technicalities are in some way useless until yo need to specify a camera for an specific job, right?

 

[The_SuedeII]

Tro mig, jag är mer än tillräckligt säker på att jag INTE gör ett misstag i att påstå att en sensor är linjär...

I believe you are making a mistake. The sensors are in fact monochrome. It takes the colors through filtering.

Ja? Och? Detta har inte något alls med linjäritet att göra. Det har enbart med färgrendering att göra. Denna färgrendering sätts i efterhand, och det är här som 99.99% av alla olinjäriteter tillförs.

LINJÄRITET är helt annan sak, och man påvisar detta genom att kunna visa att en viss färg renderas EXAKT lika i råkanalerna oavsett exponering. Och det gör det också. Tar jag t.ex en violett färg som mäts som [1000,200,1000] i sensorn efter denna speciella sensorns färgfiltrering och exponerar exakt ett steg lägre kommer de nya råvärdena vara [500,100,500]. Halverar jag igen kommer råfilen ge [250,50,250]. Exakt linjäritet.

Vill du veta mer om vad som ger olinjäritet, hur mycket det finns, och om hur man mäter det kan du se mer hos Albert Theuwissens alldeles utmärkta artikelserie som finns på:
http://harvestimaging.com/blog/?p=1125

Albert räknas f.ö till en av de större auktoriteterna på området, iaf av de personer som har ett intresse av att visa sig utåt. Jag har träffat många som kan lika mycket eller kanske till och mer mer än Albert, men de jobbar oftast i större företags ganska slutna organisationer, och syns inte så mycket utåt. Det finns dock en ganska stor mängd teknisk dokumentation att tillgå, om man nu är intresserad.

 

[Martin Chab]

From this blog: Based on its definition, the DNL is always normalized to an ideal step size.
http://harvestimaging.com/blog/wp-content/uploads/2013/03/next_blog_1.jpg
look in the graphic to the actual transfer curve
The fact that they fit the nonlinear response to fit the best line doesnt make the sensor linear.
Now, if we are talking about the EXACTLY source of light (with the same color temperature, the same power, the same conditions, etc) each photosite will be near linear, that means: 1 photon will produce an output of 1 while 1000 photons will produce an output of 1000. But the reality is much more complex than that, we are capturing a color space and sadly enough the response to each colors are far from linear. Add to that the non linearity in transmitance from the filters.
Thats what i said from the very beginning, there is a lot of manipulation even after the signal reach the AD circuitry and then the transforms are even higher.

 

[The_SuedeII]

Kanske om du tittar på SKALAN på grafen du länkar till? Hur stora är felen han pratar om? 0.1%? 2%? Hade du besvärat dig med att göra detta hade du sett att felet som hänvisas till ligger på mindre än en tiondels Ev i alla normalt använda kommersiella sensorer.

Och fortfarande, du blandar ihop färgrendering och intensitet. Intensitet är linjärt. Färgrenderingen enligt råfil är också linjär.

Färgrenderingen och kontrasten efter bildbehandling är olinjär.

 

[The_SuedeII]

Du pratar som om detta vore någon slags stor industri-hemlighet, eller något mycket avancerat. Det är det inte. Jag vet exakt vad som händer i de flesta kommersiella PIC's som används i det mesta från mobiltelefonkameror via övervakning/billigare video upp till mellanformatare. Och det är inget speciellt konstigt.

Signalen som kommer ut från sensorn är linjär. Det finns specialsensorer för video där utgången kan sättas till logaritmisk, men detta är mycket ovanligt - eftersom det är mycket korkat. Det gör hela resten av efterbehandlingen mycket svårare.

Hela signalkedjan fram till färgkonvertering och kontrastkurvepåläggning är sedan också linjär. Det är inte förrän i andra omgångens brusreducering som signalen tas över i log-form, eller oftast till en semi-log med S-kurva redan inkluderad, via en LUT.

Här har du en lätt rödaktig färg, tagen med en väldigt vanlig DSLR. Samtliga värden är tagna direkt från råfil. Jag började där en av kanalerna nästan klippte mot vitt, sedan stegade jag exponeringen neråt i 1/3-steg, hela vägen till -11Ev. Mycket mer linjärt kan det inte bli som du ser... Rsultatet är ett spikrakt streck.

Den största avvikelsen som jag förväntade mig uteblev dock, antagligen valde jag en för stor mätarea. -11Ev räckte inte för att ta fram någon olinjäritet. Jag fick backa belysningen till ca tredubbla avståndet ("sample2") innan jag kom ner tillräckligt lång (-14.5Ev!).

Mellan noll och -10Ev höll sig färgbalancen inom +/-2%, dvs färgen avek aldrig från orginalet med mer än ca 0.03Ev i någon av råkanalerna.

Först på -13.5Ev fick jag ett linjäritetsfel som var större än 10%...

 

[eskil23]

Att få ut linjärt data från en olinjär sensor är elementär signalbehandling. Ytterst få sensorer är helt linjära över hela sitt arbetsområde. Därför kalibrerar man sin sensor mot kända värden och får ut en svarskurva. Sedan programmerar man sin DSP att använda svarskurvan för att kompensera för olinjäriteten.

Fotosensorer är olinjära både i frekvens och intensitet. Att de har olinjärt frekvenssvar spelar inte så stor roll eftersom ljuset som träffar dem är väldigt smalbandigt efter att ha passerat både IR-filter och Bayer-filter. Färgåtergivningen beror alltså mer på Bayer-filtrets kvalitet än fotosensorn. Att intensitetssvaret är olinjärt är ett större problem. Ju bättre man hanterar det problemet i sin DSP desto bättre dynamiskt omfång kan man uppnå.

 

[IngNer]

Att få ut linjärt data från en olinjär sensor är elementär signalbehandling. Ytterst få sensorer är helt linjära över hela sitt arbetsområde. Därför kalibrerar man sin sensor mot kända värden och får ut en svarskurva. Sedan programmerar man sin DSP att använda svarskurvan för att kompensera för olinjäriteten.

Fotosensorer är olinjära både i frekvens och intensitet. Att de har olinjärt frekvenssvar spelar inte så stor roll eftersom ljuset som träffar dem är väldigt smalbandigt efter att ha passerat både IR-filter och Bayer-filter. Färgåtergivningen beror alltså mer på Bayer-filtrets kvalitet än fotosensorn. Att intensitetssvaret är olinjärt är ett större problem. Ju bättre man hanterar det problemet i sin DSP desto bättre dynamiskt omfång kan man uppnå.

Men om det dynamiska omfånget man kan få från det optiska systemet inte kan nå längre än omkring 14 EV, torde väl ändå ganska lite gå att vinna genom att göra det dynamiska omfånget i sensorn särskilt mycket större? Då spelar ju framför allt reflexerna inne i kameran större roll för det dynamiska omfånget än elektronikens linjäritet. Så länge man använder ett starkt reflektivt AA-filter framför sensorn och optikens bakre delar inte kan få bättre AR-behandling än den idag tillgängliga, kan man ju inte komma särskilt mycket längre. Med bättre svärta i kamerans inre delar som omger sensorn, inklusive den bakersta delen av objektivet med fattning, kan man komma ner ytterligare nästan ½ EV, men sedan är det stopp, eftersom objektivets transmission och reflexer från glasytorna, tillsammans med reflexer från AA-filter och mikrolinser mer eller mindre omöjliggör större omfång.

Precis hur stort omfång man kan få ut ur en viss kamera är ganska lätt att se genom att med ett högkontrastmotiv ta en HDR-bild med två exponeringar, den ena ETTR, och den andra +4 steg. Om man väljer sina motiv väl, kommer man att finna att ett lowkey-motiv med mycket små högdagrar medger högre dynamiskt omfång än ett med större och mer utbredda ljusa partier. Det går att komma upp till ungefär 16 EV om högdagrarna är mycket små och det inte finns större ljusa ytor. Och när man är vid de här extrema omfången har AR-behandlingen av objektivet mycket stor betydelse, liksom avskärmningen av ströljus.

Men om man mera sysslar med vanlig fotografering, räcker ju det dynamiska omfånget åt de flesta av oss, eftersom bilder sällan har med större omfång från motivet än omkring åtta steg, och i många fall där det finns tio till tolv steg, är de djupaste skuggorna ändå så mörka i den slutliga bilden att de praktiskt inte påverkar bildintrycket. Det spelar i de allra flesta fall knappast någon roll om skuggor vid -10 EV är helt igensotade, brusiga eller alls redovisar detaljer. Om man försöker dra upp dem inom omfånget av kanske sex steg i presentationen, blir bildintrycket ofta sämre med låg färgmättnad och sänkt kontrast i andra delar av bilden. Den kan kanske förbättras med "tone mapping", men jag har inte hittat någon mjukvara som gör den processen enkel.

 

[Karl2]

Absoluta tal och linjära samband leder säkert till urusla bilder. Exempelvis binas syn på färger är helt olika människans syn. Vi saknar ju känslighet för ultraviolett och går miste om en hel del färgnyanser. Vi tycker om grönt och ser den färgen i överflöd och då på bekostnad av andra färger. Slutresultatet för bildinformation måste tydligen manipuleras så att det skall motsvara det som just våra ögon ser.

 

[MrDip]

Framtiden ser ljus ut, 29.2 ev sensor på g.
Den superkänsliga grafenvarienten lär dock dröja lite

http://petapixel.com/2013/06/11/fuji-and-panasonics-new-organic-sensor-boasts-insane-14-6-stops-dynamic-range/

http://www.upi.com/Science_News/2013/06/03/Graphene-camera-sensor-1000-times-more-sensitive-to-light/5741370260532/

 

[adl]

De 88 dB som 29,2 är framräknat ifrån är ett teoretiskt värde. Motsvarande för pyttesensorn i Nikon V1 är 84 dB, knappt ett steg sämre.
Den sensorn gav ca 11 stegs DR i DXOs test.
Bara för att sätta saker i perspektiv.

 

[The_SuedeII]

Det blir sällan bra när folk som inte vet vad dom skriver om försöker få ut snabba nyhetsnotiser.

88dB är i log10-format, och motsvarar ett signal:brus på ca 25,000:1
I Ev (som ju är log2) är detta helt korrekt 14.6Ev DR. Dessa 14.6Ev är mer än en dubbling av nuvaranade prestanda för pixlar i den storlek som omnämns i Fujifilms release. Men en dubbling innebär att man gått från 13.6 till 14.6Ev - en dubbling är samma sak som +1 i log2-format.

Att dubbla siffran rakt av (vilket är så fel att jag inte ens förstår var dom fått iden från) ger den fysiskt omöjliga siffran på 29.2Ev. Detta skulle kräva att varje pixel (ca 2x2µm) tog in mer ljus än 100,000 pixlar i en 5Dmk3, samtidigt som det elektroniska bruset (felmarginalen i mätningen) är EN elektron i styrka. Bas-ISO för detta missfoster till felräkning hade då varit ISO 0.0001.

Alltså: En tiotusendels ISO, en miljon gånger lägre än ISO100... Vilket också naturligtvis hade gett en miljon ggr längre slutartider....)

 

[J O Härnström]

Hej!

Alla är ute efter den perfekta bilden. jag åker på semester till helgen och fotar i raw format och när jag inte har med mig min dator brukar vissa av mina bider bli över eller under exponerade. Detta brukar jag märka när jag kommer hem och ser bilderna på datorn.

Om man inte får den perfekta bilden skulle man vilja få bilden över exponerad eller skulle man vilja få den under exponerad? Då tänker jag så att ibland får man en väldigt ljus eller allt för mörk bild men ändå går det att rädda i photoshop. Vilken är lättast att rädda en mörk eller en ljus bild?

Jag tycker att det nästan alltid går att lyfta en underexponerad bild och rädda den även om det blir lite brusigt och luddigt i de finaste detaljerna. Ofta går det att trolla lite med skärpeintrycket och avståndsosärpan i redigeringen. För att snygga till bruset.

Vid överexponering så beror det väldigt mycket på hur de ljusa partierna ter sig i helthetsintrycket. Ofta kan man låta vita ytor som blänk och annat få var just vita.
Om det däremot är viktiga partier i bilden som är utfrätta och saknar teckning så kan det vara svårt eller omöjligt att fixa till det.

I photoshop kan man jobba t.ex med lagermask för att "blanda" den överexponerade bilden med detaljer från en kraftgt nedmörkad variant av bilden. Då kanske man kan "återställa" överexponerade partier.
Förhoppningsvis finns det en hel del information kvar i RAW-filen även om den ser väldigt felexponerad ut när den först poppar upp på skärmen vid konverteringen.

 

[Falumas]

Bas-ISO för detta missfoster till felräkning hade då varit ISO 0.0001.

Alltså: En tiotusendels ISO, en miljon gånger lägre än ISO100... Vilket också naturligtvis hade gett en miljon ggr längre slutartider....)

ND-filtertillverkarna skulle ogilla den sensorn.

Kan inte sensorer gå mycket högre upp än vad dom gör idag? Så att man skulle kunna ta en bild rakt mot solen och ha fullt med detaljer både på motljusmotiven på jorden och solen? Eller är det ISO0.0001 och ett sjuhelsikes ND-filter och 29.1EV som behövs för det?

/Karl

 

[Martin Chab]

jag tycker att det nästan alltid går att lyfta en underexponerad bild och rädda den även om det blir lite brusigt och luddigt i de finaste detaljerna. Ofta går det att trolla lite med skärpeintrycket och avståndsosärpan i redigeringen. För att snygga till bruset.

Vid överexponering så beror det väldigt mycket på hur de ljusa partierna ter sig i helthetsintrycket. Ofta kan man låta vita ytor som blänk och annat få var just vita.
Om det däremot är viktiga partier i bilden som är utfrätta och saknar teckning så kan det vara svårt eller omöjligt att fixa till det.

I photoshop kan man jobba t.ex med lagermask för att "blanda" den överexponerade bilden med detaljer från en kraftgt nedmörkad variant av bilden. Då kanske man kan "återställa" överexponerade partier.
Förhoppningsvis finns det en hel del information kvar i raw-filen även om den ser väldigt felexponerad ut när den först poppar upp på skärmen vid konverteringen.

loved this answer!!!!

 

[afe]

Jag håller med om att moderna sensorer sällan behöver gafflas (när fotograferingen görs i råformat). I vissa bilder blir det nästan en HDR-liknande effekt även om man inte drar jättemycket i spakarna i Lightroom (eller annan råkonverterare).

Ett exempel: http://www.fotosidan.se/gallery/viewpiclarge/348303/2940056.htm

 

[Martin Chab]

Back to the beginning. I rather prefer to avoid clipping the whites that are impossible to recover. Sadly enough the dslrs has no knee control as the high end film cameras.
There is plenty to discuss about the subject but for me one thing is clear: the manufacturers lie or in the best case they hide key information to the user. The specifications are not standarized and each one publish the set of info the suit the better for their marketing. It is not just my words, they recognise it.
I have 34 years in the market and used all kind of cameras and devices running from 35mm, 16mm, consumer video of all flavours and technologies, professional cameras of all tiles, developed masking techniques for planetariums, did extensive work with frame grabbers and diverse sensors using NI LabView, study 5 years cinema, 1 year holography at the American Association of Holography, Study optics and camera mechanical systems at the argentinean Cinema Union, worked in several feature and commercial films in several countries, teaches at SVT, Kulturkraft Syd and Teatro Castro Alves Brazil, did mods in many but many cameras and lenses, study Metrology (the science of measurement) at INMETRO where i developed several measurement techniques including in optical systems, repaired the whole Santa Lucia Eye hospital (more than 80 equipments) including slit lamps, campimeters, surgery lasers for what i had to build many optical pieces by hand, I was part of the American Society for Quality, programmed image treatment software in Assembler, C+ and Visual Basic, was a consultant for 6 years in the field of quality and metrology through latinamerica, developed an optical system to make fertility analysis, and so on.
What i mean with all his is that i am not a newcomer.
I could be wrong in many things, i am sure that i am wrong many times and want to learn from my mistakes.
But one think i am absolutely sure: sensors are not linear whatsoever unless you measure them in a very specific way using monochromatic light source and power calibrated (even though i don't believe that are linear anyway).
How much this affect your result?
well, it very difficult to say. Films are not linear at all and people love its results, so linearity is not a god.
One thing is again clear for me, and that what it was the whole point of this discussion from the very beginning, i will always avoid clipping the highlights if i can.

 

[afe]

Umm... Jag beklagar, men det där sista inlägget var ganska oläsbart. Din erfarenhet är förvisso intressant, men du måste nog presentera den på annat sätt.

 

[Martin Chab]

Sorry if my english was not good enough. I just wanted to point out that ia am not a newcomer in regarding to image technology. At the same post i wanted to get back to the beginning: to overexpose or not. Numbers for me doesn't mean nothing unless is accompanied with result coming from practical experience. But thats only my point of view, it doens't mean that should be the same for everyone and i truly respect others knowledge (more than that, i try to learn from them as much as i can)
Believe me i have read the post with huge interest and learnt many things.