Över-/underexponering

[The_SuedeII]

Det Anders inte förstod berodde nog inte på din formulering, eller din engelska. Snarare kanske att det var ett trevligt CV - men var finns någon som helst koppling till halvledarteknik, lågnivå-logik i bildbehandling eller sensor/mät-teknik på fysisk nivå?

Vill du hävda att en fotodiod är olinjär (med de referenser och toleranser en fotografisk tillämpning innebär) får du nog komma med betydligt tyngre argument än ditt CV. Som till exempel en referens där du påvisar att det du säger stämmer....?

Jag kan ange ett par ganska tunga referenser till att en fotografisk tillämpad fotodiod, såsom de som används i en normal kameras CCD eller CMOS-sensor är så linjär inom sitt arbetsområde att avvikelserna är för användaren lika med noll och intet:

Planck, Einstein, Heisenberg, Schrödinger, Fermi, Dirac, Bose, Feynman och Hawking. Samt naturligtvis samtliga som arbetar inom fältet fotovoltaisk konversion idag. Samt alla som arbetar med lågnivå-logik för kamerasensorer. Ganska stabila namn att luta sig på utan att jag ska behöva lägga upp mitt eget CV på fotosidan - tycker jag iaf.
..........................

Det är nämligen ganska omöjligt att fuska med linjäriteten - det går alltid att mäta sig fram till ett fusk. Ljusenergi kan aldrig mätas med större exakthet än den som definieras av Poisson-distrubutionen, som definierat i http://en.wikipedia.org/wiki/Shot_noise

Denna ger ett en normaldistribution av felvärdena som alltid är exakt roten av den uppmätta mängden - om man förstärker eller dämpar en signal kommer förskjutningen i feldistributionen visa detta. I en normal fotosensor följs dessa fysiska grundlagar med sådan nogrannhet att jag själv ibland blir förvånad över hur väl saker går att simulera i teoretiska modeller.

Man KAN alltså inte förändra linjäriteten i en pixel/sensor utan att jag sedan kan påvisa det i efterhand (om jag bara har tillräckligt antal mätvärden att utgå ifrån...)

Om du tittar på linjäritetskurvorna i det jag visade från en D7000 i inlägget tidigare så stämmer normaldistributionerna genom hela registret, från 0dB ner till -66dB (-11Ev) med så låga felmarginaler att man kan säga med absolut säkerhet att INGEN linearitets-korrigering har påförts signalen. Sensorn - och signalen! - är absolut linjär, plus minus ca 2% inom hela arbetsområdet.

 

[Martin Chab]

Perhaps we are talking about different things. If a sensor is highly sensitive in the green area, lower in the red area and even lower in the blue area, and even worst, that curve is not soft at all with several peaks,, for me that not a linear sensor. If you take a single pixel with a single wavelength yes, you can say that its linear. But the real world doesn't work like that. Even if you take diverse pixels in the sensor some are "hotter " than others. I conducted many tests going to the minimum possible sample and yes, it tend to be linear, but sadly enough the real world is made of many of that tiny samples.
I always distrusted the sampling methods, even the ones stated in standards. For example: how can you measure a rend for voting in a 70 million inhabitants taking a sample of 500. How many sigmas are that? Whats the confidence level?
Back to the sensor linearity, the manufacturers has to do many muscles amplifying the signal in a very non linear way, thats a fact.
Why would you say that the blue channel is always the noisiest? Why would you say that the manufacturers put an IR filter in front of the sensor? What would you say that they convert the signal to YUV to do the Chroma subsampling if they would have a full RGB signal to manipulate? Why would you say that each camera has their own "flavour", just because of the DSP?
Of course the bayer filter has a great deal on the response, and also how the bayer patters is arranged but that is not the full story.
Consider also the back illuminated sensors, that gives a different response. Consider the Foveon sensors. Consider the microlenses that are far from perfect and absorb some of the wavelengths. Consider the high pass filter and the ir filter that also changes which wavelengths will be pass through.
The postprocessing in the camera does a great deal in correcting that (just to simplify the discussion consider the white balance and how each channel has to be amplified or attenuated).
Let me point one thing again: we are not dealing with a single pixel with a controlled source of light, but even so each photosite has their own characteristics based on the difficulty of making a "perfect" chip.

 

[Martin Chab]

Just make an experiment: take a series of pictures with a completely flat color with absolutely flat illumination. Write a script to compare pixel by pixel and tell what do you see. Now do the same with a gradient with colors covering the full spectra and measure the deviation from the ideal xyz values for each colour. You will be surprised.

 

[The_SuedeII]

Då är det helt enkelt en språkförbistring - det du pratar om är inte på något sätt en olinjäritet. Det är inte en olinjäritet på engelska heller för den delen.

Det du talar om är en metamerisk effekt - det totala volymfelet mellan mätning och en "standardiserad" människas LMS-respons. Jag vet exakt hur man gör detta, en före detta kollega till var ansvarig för korrekturläsningen av ISO 17321-1:2012, den nuvarande ISO-standarden som skall användas när man anger eller karakteriserar ett metamerifel. Jag har gjort otaliga monokromatiserande tester på kommersiella sensorer, i upplösningar ner till 2nm våglängder. Jag var med och tog fram de första riktiga fungerande övervakningskamerorna som används i tryckerier för att kvalitetsövervaka pågående produktion - bland våra kunder fanns bland annat tryckerierna som kör National Geographic, Time, Vogue(fr, eng) och en del andra av samma karaktär. Så - då fick du lite av mitt CV också...
.........................

Säger du att du "inte litar på statistik" eller de gällande standardiserade mätförfaranden får du väl ta upp det till diskussion med en partikelfysiker eller en teoretisk fysiker.
Du får helt enkelt berätta för dem att allt vi vet om kvantmekanik är FEL, och sen får du berätta för dem hur det egentligen ligger till. EFTER att du har gjort det kan du förklara för mig också.

 

[The_SuedeII]

.../cut/...
(1) Why would you say that the blue channel is always the noisiest?
(2) Why would you say that the manufacturers put an IR filter in front of the sensor?
(3) What would you say that they convert the signal to YUV to do the Chroma subsampling if they would have a full RGB signal to manipulate? Why would you say that each camera has their own "flavour", just because of the DSP?
Of course the bayer filter has a great deal on the response, and also how the bayer patters is arranged but that is not the full story..../cut/...

1) därför att man pga vitbalanseringen alltid håller blått och rött svagare i signalbehandlingen, så att man ska ha utrymme för att lägga på korrigeringsförstärkning. EFTERSOM EN RÅFIL ÄR LINJÄR!!! En råfil är inte vitbalanserad, alltså måste man ge den ett visst spelutrymme. Grönt är den kanal som utgör 50% av sensorytan, och också den färgkanal som innehåller mest luminansinformation, alltså är det viktigaste att denna så sällan som möjligt förlorar på vitbalanseringen.

2) För att inte IR ska påverka den kanal som ska ge det röda. Naturligtvis tillverkas färgfiltrena så att de kommer så nära SML-respons som möjligt, med de kompromisser som blir tekniskt nödvändiga. Alltså skall inte IR (som ju kisel är känsligt för, känsligare än för t.ex grönt 550nm) få lov att "förorena" det röda, misstas för det egentligt röda området som ju ligger 600-680nm.

3) Det gör "dom" inte alls, så det är ren lögn. Frågan behöver inte besvaras, eftersom den är felaktig. Signalen omvandlas INTE till YUV i någon nu kommersiellt använd stage1 i omvandlingen.... Eftersom in-data är trichromatiserad hade detta varit omöjligt dessutom, så här förstår jag inte vad du menar - framför allt om du nu ska föreställa kunna något om detta.

Signalen omvandlas bara till YUV i det absolut sista läget, innan signalen går vidare till antingen en jpg-komprimering, eller en chroma-subsampling för video. Och anledningen att man använder YUV (eller rättare sagt YCbCr egentligen ju...) i chroma-subsampling är traditionell videosignalbehandling, det har egentligen inget alls med sensorn att göra... Denna kodning av signaler för att spara plats i videosammanhang användes redan på 60-talet, och uppfanns 1938 - långt innan en sensor i den form vi känner till idag hade uppfunnits).

 

[Martin Chab]

Not at all i just simply proved over and over that samples size are way to low to have a good degree of confidence. A trade off between confident and cost? i am sure of that. But that why we see so many products recalled (or even worst, the manufacturers evaluate the cost of the trials compared to the recall of the products and the harm to their image that the recall would do). I am not being paranoid, i worked as a consultant for many companies and i even saw that in written in manuals.

 

[The_SuedeII]

Det du kallar "sample size" räknas i e-, elektronladdningar per yta. Eftersom det jag mätte på var ca 50x50 pixlar, och jag började från FWC - som är ca 40,000e- i en D7000 så var sample size i den högre exponerade delen av "experimentet":

40,000 * 50 * 50 = 100,000,000 = 100 miljoner e-

Jag tycker detta ger statistisk säkerhet. Felvärdet mellan två försök efter varandra när urvalet är så här stort är mindre än en tusendels procent.

Eftersom jag gick ner till -11Ev (2^11=2048) var mitt absolut lägsta statistiska urval
1*10^8 / 2048 = 48,800e-.

Även det tvåtusen ggr lägre minsta-talet är tillräckligt för en väldigt hög statistisk signifikans. Felvärdet mellan två olika försök ligger på mindre än 1.5%. Och detta är det absolut "värsta" fallet.

 

[antic]

Jag har inget att tillföra men jag tycker det blev en intressant diskussion. Så tack för det!

 

[Martin Chab]

You know what I dont like about numbers and statistics? (Even if I worked a lot with stats)
is that stats says that if you put one feet into the oven and the other in the fridge the temperature is perfect.
numbers lies many times because are not match to the real world. Lets take same examples: when the first hd panny with p2 came to the market the manufacturer didnt publish the characteristics of its sensor. I remember having a hard discussion saying than my sd xlII had better resolution. It was a hard statement snd discussion. Years latter panasonic published the sensor sprecs as 960x540 upsaling to 1920.
at the international centre for technology in Prague they showed us a comparison of every single csmera ranging from a consumer hd, thtough an hd cam to a red and msny more with exactly the same scene in a 4K projector. Guess what? Which was the best? The red wulith its full 4k?
Not at all, it was yhe hd cam.
numbers are easily manipulated to show you what yo expect. Your eyers does not lie

 

[wimi]

Your eyers does not lie

Oh, yes they do. Och dina exempel har väl inget med statistik att göra?

http://www.moillusions.com

 

[Martin Chab]

Yes, Mikael,
But that were optical illusions not a proposal manipulation of the numbers (and specifications)or to hide information just for the sake of selling more and competing with other brands. Just to name some parameter that not a single one publish id the MTF using the stock lens. The modulation transfer function is noy as many believe something related to the lens only but to the whole system from the in to the out. It is one of the most comprehensive measurements one can made and tella lot at the time to choose the right tool for a given work. One more? who publish the black level noise with the camera just turned on and after half an hour, one hour and so? Who publish the uncertainty of the alignment of the sensor (or even worst the uncertainty of the misalignment on a three chipn camera?) More to the earth? an MXF as the same as the Quicktime are just wrappers...what do they put inside? Most of the sensors are not rated in ISO but in lux at F11. How in the hell you use that? Who carries a luxmeter? Cases like the RED MX claims 4K sensor but when you film in 2K you re actually CROPPING!! (no wide lenses here)
Don't get me wrong, i love every single of this cameras and would like to have every single model that appears in the market, but it is just not fair to have misinformed all the time.
What about LED lamps? some are rated at 500W. 500W of what, of an HMI,? of an incandescent? of of a flourescent? and the CRI? some claims near 90
% CRI, NO WAY, simply NO WAY, pure lies.
Will stop here before i get angry and you get angry with me

 

[afe]

Återgå gärna till ämnet (som är exponering med stillbildskameror - inte 4K-kameror eller statistik).

/Mod

 

[Karl2]

Skrev en gång om över- och underexponering. Blev tillrättavisad om att något sådant inte finns. Det är bara fråga om mer eller mindre lyckad exponering. Är man inte nöjd, tar man till exponeringskompensation. Om man någon gång läst om över- och underexponering, är det fråga om icke längre aktuell litteratur.

 

[Martin Chab]

You are absolutely right, the subject ended twisting to a new world.
Of course the answer is more than complex and does not have a single answer. If the subject allows me i would prefer to underexpose a bit not to clip the highlights (or may be i should say over expose a tidy bit knowing that the raw information is there). Sometimes the subject let you no choice but to explode the highlights heavily to capture what do you want and even in some cases that could be a consciousness and creative decision. Sadly there is not a single answer to this matter, but, in my case that i work heavily in the raw module before even to consider any editing y tend to capture as much information as possible just to have the choice later in editing. Of course there are a bunch of filters that can help a lot, to name the simple and classical ones the nd grads to avoid clipping the sky, but the new breed of low con filters makes an awesome work too distributing the light into the shadow areas in a very natural matter. A hot mirror also could be a must (i am not talking about the ir cut but the hot mirror) specially for outdoors because it really block all that infrared light that will overexpose the hot areas otherwise with the gain of having a way much longer reach (in some way you have an extended depth of field to the infinite side). A black mist pro can modulate in many cases the scene and using a 1/4 is almost imperceptible and add that hint of nice softness. Never underestimate the rare earth skin tone filter to calibrate the exposure in many situations too, even if you are not taking a portrait. Soft colored filters (like the same as you would use for black and white but way less saturated in colour) can do marvels as it is possible to compensate them in post and eliminate the color cast. More complex but not less useful nd sheets to cover the windows in the interior shots will give you total control over the exposure. To polarize the incident light and use a polariser on camera to decide how much of that light you want to get into the lens is an expensive but neat trick. Warm and dark nets modulates the highlights too. Lets not forget the single, double, triple or even quadruple uv if you are working in the snow.
As i see there is a ton of resources in camera to get the best exposure possible for your intention, but at the end is just a creative decision. right?