Your phone’s camera isn’t as good as you think

When the Visualphone VP210 hit the market in 1999, it advertised a never-before-seen feature: a camera. With only 0.11 megapixels and storage for 20 photos, the Visualphone is a relic compared to modern devices sporting three distinct cameras, each with up to 100 times more resolution. But while this technology has improved dramatically in the 21st century, engineers are rapidly approaching a hard limit on phone camera quality.

To understand this limit, we first need to know how phone cameras work. Just like any other digital camera, when your phone takes a picture, light enters through its lens. This lens focuses the light onto an image sensor covered in a grid of photosites—microscopic light sensors roughly 100 times smaller than a grain of sand.

There are millions of these sensors, and each one is covered by a red, green, or blue filter, allowing it to measure how much of that color is in the light hitting its location. Then these measurements are simplified, rounding them to less detailed numbers. This step sacrifices some data, thus lowering the final images’ quality, but it’s essential for the camera’s processor. This computer can only handle so much information as it decrypts the three sets of color data to assemble a digital recreation of the image.

While the quality of this final photo depends on every part of the camera, nothing determines the look of a digital picture more than the image sensor. And engineers judge the quality of image sensors based on their performance in three areas.

The first is resolution, or level of detail. Sensors with higher numbers of photosites offer better resolution, as the camera can collect more granular light data.

Second and third are dynamic range and noise. Dynamic range is the span from light to dark within a single photo, and noise is the graininess that can come from poor lighting, long exposure times, or an overheating camera. Both these factors can be improved by using larger photosites, which can capture more light overall. This wider range of data helps processors better measure the intensity of the incoming light, adding contrast and reducing noise.

Simply put, to make better digital cameras, you need image sensors with higher numbers of larger photosites. Engineers know this. In fact, it’s basically how they’ve made the best cameras humanity have: giant telescopes that take photos of deep space.

But phones don’t even have as much sensor space as a standard DSLR camera, let alone the surface area of a massive telescope. In fact, most phone camera sensors are no larger than a pea.

Fortunately, these devices have a technological trick to compensate for their cameras’ tiny size: powerful processors. When you snap a picture on your phone, this pocket-computer starts running complex algorithms, which often begin by secretly taking a string of photos in rapid succession.

The algorithms then manipulate these pictures, using math to perfectly align them and identify their best parts before combining the images into one high-quality photo. The end result is an image with less noise, wider dynamic range, and higher resolution than its sensors should be able to achieve.

This approach is known as computational photography, and advances here are likely how phone companies will continue to advertise increasingly better cameras without improving their image sensors.

Today, these algorithms often leverage machine learning, where phones learn to improve your shots based on patterns found in massive photo databases. For example, night mode prioritizes dynamic range and noise reduction, while portrait mode tells your phone to focus on a central subject and blur the background. Machine learning also allows our phones to do the opposite, unblurring faces to grab quick candid shots. And newer programs can even help you remove unwanted elements altogether.

So, with the help of software, even phones with the smallest cameras can snap crisp, detailed photos of loved ones, spectacular views, and of course, lots and lots of food.

دوربین موبایلت به اون خوبی که فکر میکنی نیست

وقتی گوشی Visualphone VP210 در سال ۱۹۹۹ وارد بازار شد، با قابلیتی کاملاً جدید تبلیغ می‌شد: داشتن دوربین! این دوربین فقط ۰.۱۱ مگاپیکسل کیفیت داشت و می‌توانست ۲۰ عکس ذخیره کند.

اگر آن را با گوشی‌های امروزی مقایسه کنیم که معمولاً سه دوربین جداگانه دارند و هر کدام صد برابر بیشتر وضوح دارند، این دستگاه بیشتر شبیه یک وسیله‌ی قدیمی و موزه‌ای به نظر می‌رسد. با این حال، هرچند فناوری دوربین‌ها در قرن ۲۱ جهش بزرگی داشته، مهندسان حالا به یک مرز فیزیکی در کیفیت دوربین گوشی‌ها نزدیک می‌شوند.

برای درک این محدودیت، باید ابتدا بدانیم دوربین گوشی‌ها چگونه کار می‌کند. درست مثل هر دوربین دیجیتال دیگری، زمانی که شما با گوشی‌تان عکس می‌گیرید، نور از طریق لنز وارد می‌شود. لنز این نور را روی بخشی به نام سنسور تصویر image sensor متمرکز می‌کند.

سطح این سنسور از میلیون‌ها نقطه‌ی بسیار کوچک به نام فوتوسایت (photosite) پوشیده شده است — حسگرهای نوری میکروسکوپی که هر کدام تقریباً صد برابر کوچک‌تر از یک دانه‌ی شن هستند.

هر یک از این فوتوسایت‌ها با فیلتر قرمز، سبز یا آبی پوشانده شده‌اند تا بتوانند میزان آن رنگ را در نوری که به آن نقطه می‌تابد، اندازه‌گیری کنند. سپس داده‌های به‌دست‌آمده ساده‌سازی می‌شوند؛ یعنی به اعدادی با جزئیات کمتر تبدیل می‌شوند.

این کار باعث از دست رفتن بخشی از اطلاعات و در نتیجه کاهش کیفیت نهایی تصویر می‌شود، اما ضروری است، چون پردازنده‌ی دوربین نمی‌تواند حجم عظیمی از اطلاعات خام را مستقیماً پردازش کند. این پردازنده با استفاده از این داده‌ها، تصویری دیجیتالی و بازسازی‌شده از صحنه می‌سازد.

کیفیت نهایی عکس به همه‌ی بخش‌های دوربین بستگی دارد، اما هیچ چیز به اندازه‌ی سنسور تصویر در تعیین ظاهر عکس تأثیرگذار نیست. مهندسان معمولاً کیفیت سنسور را در سه زمینه می‌سنجند: وضوح تصویر (Resolution)، دامنه‌ی دینامیکی (Dynamic Range) و نویز (Noise).
وضوح یعنی میزان جزئیاتی که تصویر دارد.

هرچه تعداد فوتوسایت‌ها بیشتر باشد، دوربین می‌تواند اطلاعات نوری دقیق‌تری جمع‌آوری کند و در نتیجه عکس واضح‌تری بگیرد.دامنه‌ی دینامیکی به فاصله‌ی بین روشن‌ترین و تاریک‌ترین بخش‌های یک عکس اشاره دارد. نویز نیز به دانه‌دانه بودن یا زبری تصویر گفته می‌شود که معمولاً در شرایط نوری ضعیف، زمان نوردهی طولانی یا داغ شدن دوربین ایجاد می‌شود.

هر دوی این ویژگی‌ها را می‌توان با استفاده از فوتوسایت‌های بزرگ‌تر بهبود داد، زیرا هر فوتوسایت بزرگ‌تر می‌تواند نور بیشتری دریافت کند. در نتیجه پردازنده می‌تواند شدت نور را دقیق‌تر اندازه‌گیری کند، کنتراست را افزایش دهد و نویز را کاهش دهد.

به زبان ساده، برای ساختن دوربین‌های دیجیتال بهتر، باید سنسورهایی با فوتوسایت‌های بیشتر و بزرگ‌تر داشت. مهندسان این موضوع را به‌خوبی می‌دانند؛ در واقع، این همان روشی است که بشر با آن بهترین دوربین‌های تاریخ را ساخته است: تلسکوپ‌های عظیمی که از اعماق فضا عکس می‌گیرند.

اما گوشی‌های موبایل فضای بسیار کمی برای قرار دادن چنین سنسورهایی دارند. در حقیقت، سنسور دوربین بیشتر گوشی‌ها بزرگی‌ای در حد یک دانه نخود دارد!با این وجود، گوشی‌ها برای جبران این محدودیت، از پردازنده‌های قدرتمند استفاده می‌کنند. وقتی با گوشی‌تان عکس می‌گیرید، این رایانه‌ی کوچک در جیب شما شروع به اجرای الگوریتم‌های پیچیده‌ای می‌کند.

معمولاً در همان لحظه، گوشی به‌طور پنهانی چندین عکس پشت سر هم می‌گیرد. سپس این الگوریتم‌ها عکس‌ها را تحلیل می‌کنند، بهترین بخش‌های هر عکس را شناسایی کرده و در نهایت آن‌ها را با هم ترکیب می‌کنند تا یک تصویر باکیفیت‌تر، با نویز کمتر و دامنه‌ی دینامیکی بالاتر بسازند.

این روش را عکاسی محاسباتی (Computational Photography) می‌نامند. پیشرفت در این زمینه همان چیزی است که باعث می‌شود شرکت‌های سازنده بتوانند دوربین‌های بهتر و بهتری تبلیغ کنند، حتی بدون اینکه واقعاً سنسور دوربین را بزرگ‌تر یا بهتر کنند.

امروزه این الگوریتم‌ها اغلب از یادگیری ماشینی (Machine Learning) استفاده می‌کنند؛ یعنی گوشی‌ها با بررسی میلیون‌ها عکس، یاد می‌گیرند که چگونه عکس‌های شما را بهبود دهند. برای مثال، در حالت شب (Night Mode) گوشی سعی می‌کند نویز را کم کند و دامنه‌ی دینامیکی را افزایش دهد، در حالی که در حالت پرتره (Portrait Mode) تمرکز را روی سوژه‌ی اصلی می‌گذارد و پس‌زمینه را محو می‌کند.

یادگیری ماشینی همچنین باعث می‌شود گوشی‌ها بتوانند صورت‌های تار را واضح کنند تا عکس‌های ناگهانی هم خوب ثبت شوند. حتی برنامه‌های جدیدتر به شما کمک می‌کنند عناصر ناخواسته‌ی عکس را حذف کنید. بنابراین، با کمک نرم‌افزار و هوش مصنوعی، حتی گوشی‌هایی با کوچک‌ترین دوربین‌ها هم می‌توانند عکس‌هایی شفاف، دقیق و چشم‌نواز از عزیزان‌مان، مناظر زیبا و البته کلی عکس از غذا بگیرند!