Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-5504(Print)
ISSN : 2383-8272(Online)
Journal of Agriculture & Life Science Vol.54 No.5 pp.109-116
DOI : https://doi.org/10.14397/jals.2020.54.5.109

Prediction of Tractor Tire Pressure Using Smartphone Image Sensor

Jung-Gyu Lee1, Goo-Bum Kwon2, Yong-Jin Cho3, Dong-Hoon Lee1*
1Department of Biosystems Engineering, Chungbuk National University, Cheongju, 28644, Korea
2Food & Biological Resources Examination Division, Korean Intellectual Property Office, Daejeon, 35208, Korea
3Department of Bio-Industrial Machinery Engineering, Jeonbuk National, University, Jeonju, 54896, Korea
*Corresponding author: Dong-Hoon Lee Tel: +82-43-261-2582 Fax: +82-43-261-4413 Email: leedh@cbnu.ac.kr
July 23, 2020 September 16, 2020 October 20, 2020

Abstract


As the supply of tractors increases, proper use and inspection are important. In particular, convenient measurement techniques are required to prevent soil hardening, especially with tire pressures, overconsumption of fuel caused by tire pressures. Therefore, in this study, tire pressures were predicted from image data obtained using a smartphone camera, a popular mobile imaging device. The distortion factor was corrected by applying conventional calibration. We photographed tractor tires at a pressure of 300 kPa at 0 kPa in each section. The pixels of the top, bottom, left and right were then measured relative to the center of the tire. Taking into account the geometric properties of the tire under load, the pixels of the center and bottom were calibrated using the correction formula, and the change of pixels under pressure was derived.



스마트폰 영상획득 센서를 이용한 트랙터 타이어 공기압 예측

이 정규1, 권 구범2, 조 용진3, 이 동훈1*
1충북대학교 바이오시스템공학과
2특허청 식품생물자원심사과
3전북대학교 생물산업기계공학과

초록


트랙터의 보급이 늘어나는 만큼 올바른 사용법 및 점검이 중요하다. 특히 타이어 공기압에 따른 토양다짐 현상, 연료의 과소비, 안전사고를 예방하기 위해 간편한 측정기술이 필요하다. 따라서 본 연구에서는 대중적 모바일 영상 취득 장치인 스마트폰 카메라를 활용해 획득한 이미지 데이터로 타이어 압력을 예측하였다. 전통적 캘리브레이션을 응용하여 왜곡률을 보정하였다. 트랙터 타이어에 공기압을 0 kPa에서 300 kPa까지 주입하면서 구간별 타이어 촬영을 하였으며, 타이어 중심을 기준으로 상, 하, 좌, 우의 픽셀을 측정하였다. 하중을 받는 타이어의 기하학적 특성을 고려하여 중심과 바닥의 픽셀을 보정식을 통해 보정한 뒤 압력에 따른 픽셀의 변화를 도출하였다.



    Rural Development Administration
    PJ014768052020

    서론

    농경지에서 재배되는 농작물의 생상 영향을 미치는 요소는 다양 하게 존재하며 그 기반이 되는 하나는 토양이다. 최근 시설원예의 발전으로 원시적 토양재배에서 탈피한 양액재배로 전환되는 작목 이 있으나 수도작, 전작 등은 기존의 노지농업 방식을 이루고 있으 며 토양의 물리성은 함수율, 공극에 영향을 주어 결과적으로 작물 의 뿌리환경을 제공한다. 토양의 물리성 확보를 위한 방법은 유기 물 자원 공급(Han et al., 2017), 경운작업 등의 방법이 있으나 잘못된 행태의 트랙터 경운작업은 잘못된 농기계 운행에 기인하여 토양에 압력을 발생시키고, 작물의 수확량을 최대 30~50%까지 감소시키는 토양다짐 현상을 유발한다(Raghavan et al., 1979). 토양다짐을 개선하기 위해서 경운작업 중 트랙터가 통과한 궤적상 을 연속해서 통과할 수 있도록 작업 계획을 세우면 전체 경작 면적 에 대한 토양다짐을 줄일 수 있다고 알려져 있으나 작업자의 의존 도가 높으며, 기기적인 대안은 타이어 공기압 조절에 있다. 적절한 타이어 공기압은 200 kPa으로 트랙터의 작업 성능 향상과 토양다 짐의 개선이 가능하며(Park & Lee, 2002), 쟁기 작업 및 무논 로터리 작업에서 각 10~60%, 10~20%의 연료를 절약할 수 있어 정상적인 엔진의 출력으로 효율적인 토양관리 작업이 가능하다 (Lee et al., 2011).

    우리나라의 노지농업은 트랙터를 이용한 작업체계로 변화되고 있고, 부착형 농작업기를 변화시켜 다양한 작목, 상이한 형태의 농작업에 활용 할 수 있는 장점을 바탕으로 현재 경운부터 수확까 지 97.9%의 기계화를 이루었다. 다만 농촌 노동인구의 감소 및 고령화로 인한 작업능률이 우수한 고성능 장비의 수요가 증가함에 따른 적절한 점검 및 관리가 요구된다(Hong & Choi, 2019). 따라 서 토양다짐 현상을 개선하기 위해서 타이어 공기압의 관리가 필수 적으로 요구된다. 정확한 공기압을 측정하기 위해선 공기압 측정 장치 및 TPMS (Tire Pressure Monitoring System)가 있으나 편 의성 및 고가의 가격 등으로 현장 대응이 어렵다. 이에 2018년 기준 국내 인구의 89.4%가 보유한 대중적인 모바일 영상 취득장치 인 스마트폰으로(Woo & Park, 2020) 트랙터 타이어의 공기압 분석이 가능하다면 현장에서의 적절한 관리가 이루어 질 수 있다.

    스마트폰의 카메라 렌즈는 휴대성을 얻기 위해 일반 산업용 카메 라에 비해 소형화 되어있어 영상 취득에 큰 단점으로 작용한다. 이를 보완하기 위한 비구면 렌즈를 사용하여 광학적 성능을 개선시켰다. 물리적인 특징으로 매우 큰 곡률이 발생하고 왜곡된 영상은 보정이 필요하며(Rim, 2017), 촬영으로 획득한 영상은 3차원의 환경을 2차 원 평면으로 변환 시키는 관계를 정립하는 절차와 기기적 요인에서 발생하는 영상의 왜곡 등을 정량적으로 정의하는 과정을 카메라 캘 리브레이션(Camera calibration)이라 한다. 캘리브레이션의 적용 방 법은 두가지로 나뉜다. 전통적 캘리브레이션(Conventional calibration) 의 대표적인 방식은 특정 패턴을 지닌 물체로 보정 작업을 수행 하며 보통 체커보드를 활용(Zhang, 2000)하였으나 최근 원형보드 등 다양한 형태의 패턴을 활용하여 캘리브레이션의 정확도 및 효율 성을 높이기 위한 연구가 진행되었다. 카메라의 환경이 변화되는 것에 대비하여 실시간으로 캘리브레이션을 하는 방식인 자가 캘리브 레이션(Self calibration)은 획득된 영상들 간의 기하학적인 제약사 항을 활용함으로써 특정 패턴의 기구를 활용하여 여러번 촬영을 하 는 비효율적인 절차를 간소화 할 수 있다(Park & Lee, 2019).

    본 연구에서는 트랙터 타이어의 기하학적인 특성과 공기압 상관 성을 분석하기 위해 기존의 캘리브레이션 방식을 응용하여 모바일 영상 취득 장치의 왜곡을 보정하여 현장 보급 가능한 트랙터 타이 어의 적정 공기압 관리 방안을 모색하고자 한다.

    재료 및 방법

    1. 곡률반경 분석

    촬영을 위해 사용된 스마트폰은 대중적으로 널리 사용중인 갤럭시 모델(S4, Samsung, Korea)과 아이폰 모델(6, Apple, USA)을 사용 하였다. 광학제품의 성능에 직접적인 영향을 끼치는 핵심 부품인 렌 즈는 크게 구면 렌즈(Spherical Lens) 와 비구면 렌즈(Aspherical Lens) 로 구분된다(Fig. 1). 구면 렌즈는 본래 평행한 광선들이 한 점에 모이는 것이 불가능한 이론적 결점, 즉 구면수차(Spherical aberration)를 가지고 있기 때문에, 현재 핸드폰카메라 광학계에서 사용되는 모든 렌즈는 이러한 구면수차를 효율적으로 제거하기 위 해서 비구면 렌즈를 사용한다. 수차(Abberation)를 줄여야만 높은 광학적 성능을 낼 수 있기 때문에 구면수차를 줄이기 위해 여러 장의 구면 렌즈를 조합해서 광학계를 설계한다. 이와 달리 비구면 렌즈는 하나 이상의 곡률을 갖는 렌즈로써 설계와 제작에 있어 구면 렌즈보다는 상대적으로 복잡하나, 초점 집광 성능을 향상시켜 구면 수차를 제거할 수 있는 장점이 있어 대부분의 광학계에서는 수차 보정과 고기능, 고품질, 소형화의 추세로 인해 구면 렌즈보다는 비 구면 렌즈를 많이 사용하고 있다. 스마트폰에 사용되는 비구면 형 상의 렌즈에 보편적으로 사용되는 방정식은 식(1)과 같다고 알려져 있다(Rim, 2017). 여기서, zz -축과 평행한 sag량, c는 곡률, h는 지름방향거리, k은 원추곡면계수, 그리고 am은 4승(a0), 6승(a1), 8승(a2), 10승(a3), 등 짝수항으로 표현되는 비구면 변형계수이다.

    z = c h 2 1 + 1 ( 1 + k ) c 2 h 2 + h 4 m = 0 M a m h 2 m
    (1)

    트랙터 타이어의 촬영된 이미지를 분석하여 실제 압력을 예측하 는 알고리즘으로 곡률에 의한 이미지 왜곡이 장애가 될 것으로 예상되어 카메라 캘리브레이션 작업을 수행하였다. 렌즈의 곡면에 의한 왜곡을 비교분석하기 위해 이미지의 전체 영역 중 가운데 지점 (5번)과 가장 변형이 심하게 나타날 것으로 예상되는 가장자 리 부분 중 8곳을 지정하였으며 총 9개 지점에 동전을 그림과 같은 배열로 위치하였다(Fig. 2). 동전의 촬영 후 이미지상에 나타난 동 전 9개 각각의 가로, 세로 크기를 픽셀값으로 측정하여 비교했다. 동전의 촬영 시 최대한의 정밀한 측정을 위하여 동전을 모눈종이 위에 위치시켜 동전의 간격을 가능한 한 일정하게 맞추었다. 또한 카메라와 동전사이의 촬영 거리에 따라서 이미지 픽셀 값이 달라질 것이므로 거리별 곡률변화의 상관관계를 관측하기 위해 촬영거리 를 달리하여 10 cm, 20 cm, 40 cm 총 3구간에서 동전을 촬영하였 다. 각 지점의 pixel 값은 기준점인 5번 동전의 pixel 값 대비 각 동전의 길이 비율을 산정하여 왜곡된 수치로 변화율을 도출하였다.

    2. 타이어 공기압 촬영

    공기압의 편차로 인한 타이어의 변형을 촬영하기 위해 1대의 트랙터(5300, John deere, USA)로 실험을 진행하였다. 트랙터는 뒷바퀴가 앞바퀴 보다 상대적으로 크기가 크므로 압력에 따른 길이 의 변화율을 관찰하기가 좀 더 수월할 것으로 판단되어 뒷바퀴를 대상으로 촬영하였다. 트랙터에 부착된 뒷바퀴 타이어의 지름은 140 cm, 폭은 31.5 cm 이다. 타이어로부터 230 cm, 240 cm, 250 cm의 거리에서 공기압을 0 kPa에서 300 kPa 까지 단계별로 10회 주입하며 촬영하였으며 약 140장의 타이어 이미지를 획득하여 데 이터 분석에 활용했다. 트랙터의 타이어 적정공기압은 약 200 kPa 으로 알려져 있으나(Park & Lee, 2002) 본 실험에서 300 kPa까지 주입하여 다양한 환경에서의 타이어 모양을 관찰하고 추후 영상처 리 과정에서 데이터 활용에 도움이 될 것이라 판단하였기 때문에 진행하였다.

    3. 이미지 분석

    촬영된 이미지를 토대로 하여 데이터를 분석하였다. 먼저 이미 지상의 타이어 정중앙을 기준점으로 잡고 위, 아래, 좌, 우 반지름 의 길이를 픽셀 값으로 측정했다(Fig. 3). 공기압이 적을수록 트랙 터의 하중에 의에 타이어가 수축됨으로 실제 압력대비 픽셀의 측정 은 중심에서 아랫방향 반지름의 길이만을 활용하여 압력을 일정하 게 변화시킬 때 길이 변화의 비율로 나타낼 수 있겠다. 전통적인 카메라 캘리브레이션 과정을 변형하여 이미지 상에서 압력측정에 사용되는 중심과 하단 부분의 곡률 변화율을 확인하고 보정하기 위한 수식은 다음과 같다.

    x = P × 100 100 + C i
    식 (1)

    수식 (1)은 비례식과 선형보간을 기초로 유도하였다. 여기서 x 는 보정률을 적용한 픽셀의 길이, P 는 촬영된 최초 원본의 픽셀 길이, Ci C × P n P max 로써 C 는 변화율, Pn 은 보정이 필요한 위치의 픽셀값, Pmax 는 최대 픽셀값을 의미한다.

    Matlab (R2014a, MathWorks, USA)의 내장함수를 통해 이미 지 대칭성을 이용하여 위와 아래의 픽셀값의 길이비교를 한 후 최대값을 산출하였다. 이미지를 분석하기에 앞서 비교하기 위한 표본 이미지가 필요하므로 표준타이어의 이미지를 이용하여 실험 하여 비교하였다. 타이어는 공기압이 100%, 50%, 0% 일 때의 세 가지로 나누어 실험하였으며 타이어 이미지를 Matlab를 사용하 여 그래프를 획득하였다. Flipud 함수로 타이어 너비 상하 이미지 를 뒤집어 대칭성을 판단하였고 Phase correlation 매트릭스를 이 용하여 3차원 그래프를 도시한 후 Max값을 산출하였다. Sub-pixel motion수식을 개선하기 위해 Phase correlation의 Maximum 피크 부근에 위치한 데이터를 활용하여 적합 기능을 기초하여 피팅 한 결과 우수한 성능을 나타낸 연구결과(Argyriou and Vlachos, 2006)를 바탕으로 취득한 Max값으로 이미지의 대칭성에 따른 타 이어 공기압의 상관관계를 예측하는 분석을 수행하였다.

    표준 이미지의 압력(Fig. 4)에 따른 대칭성을 분석한 결과 대칭 성이 완벽한 표준 타이어 이미지를 적용하였을 때는 1에 가깝고, 비대칭일 경우 1보다 작은 값으로 나타났다. 촬영된 타이어 이미지 (Fig. 5) 또한 유사한 경향을 보였으나 절대적인 수치에서는 표준 이미지 결과값에 1/10에 해당하는 수치에 불과했다. Matlab affine 변환 행렬은 이동변화, 크기변화, 외전변화, shearing을 활용해서 각 이미지의 일치성을 분석하게 된다. 본 연구에서는 상하 반전시 킨 이미지로 분석을 진행하여 상대적으로 낮은 데이터값을 취득했 다. 외부에서 영상을 취득하는 과정에서 고려 가능한 다양한 외란 (거리, 조도 등) 및 카메라 캘리브레이션을 통한 보정작업을 수행하 지 않은 결과로 원인이 추정되며 이는 영상취득 시 카메라 캘리브 레이션의 당위성을 입증하는 결과로 나타났다.

    결과 및 고찰

    1. 곡률반경 분석

    정중앙에 위치하고 있는 5번 동전을 기준으로 나머지 8지점의 동전 간 픽셀값의 비율을 분석한 결과 각 위치별 평균 변화율은 최대 3% 이내로 측정되었다. 본 연구에서 가장 중요한 8번 위치 동전의 수직방향 평균 변화율은 갤럭시 0.960%, 아이폰 2.495% 으로 나타났다. 갤럭시의 경우 1번과 3번에 위치한 지점의 수직·수 평 곡률이 다른지점보다 높은 값으로 나타났으며(Table 1, 2), 아 이폰의 경우 수평 곡률은 4. 7번, 수직 곡률은 1, 8번에서 높은 것으로 측정결과 확인되었다(Table 3, 4). 이는 일정한 페턴을 나 타내지는 못했으며 비구면 렌즈의 자체에서 보유한 환경적 원인으 로 나타나는 곡률의 결과로 예상된다.

    변화율은 왜곡의 정도를 비율로 나타낸 결과로 해당 위치 동전 의 측정된 수평·수직방향의 픽셀값을 이미지의 중앙인 5번의 동전 의 픽셀값으로 나눈 결과값이다. 전통적 캘리브레이션 방법에 기반 한 곡률반경 분석으로 취득한 변화율은 식(1)의 보정값 데이터로 활용이 가능하다.

    2. 타이어 이미지 분석

    Fig. 6, 7은 타이어 이미지에서 기준점으로부터 좌측, 상부, 우 측 방향으로 픽셀을 측정한 그래프이다. 일반적으로 공기압이 적으 면 픽셀의 수가 적고 많으면 증가하는 것이 보편적인 현상이나 타이어 자체의 물리적인 견고함과 하중에 따른 외형 변경은 기준점 대비 하부에서 일정한 경향을 나타냈다. 이는 트랙터 타이어의 기 하학적 특성과 타이어의 물리적인 특성의 결과로 본 연구의 이미지 분석에 대한 가설에 부합하는 결과로 보여진다. 0 kPa에서 300kPa 까지 공기압의 변화가 일어나는 동안 픽셀의 변화는 일어났으나 기울기의 양상은 압력을 추정할 수 없는 형태이다.

    Fig. 8은 타이어 중심부와 수직 방향의 바닥면의 픽셀의 개수와 공기압 변화에 따른 결과값이다. 두 기종의 스마트폰은 캘리브레이션 과정에서 각 0.960, 2.495의 변형율을 지녔으며 식(1)을 통해 보정값 을 적용하였다. 결과적으로 타이어의 바닥면을 통해 타이어의 압력을 추정할 수 있었다. 공기압이 없는 상태에서 60 kPa까지의 압력을 증가시켰을 때 급격한 픽셀의 기울기가 나타났으며 이후 300 kPa까 지는 완만한 기울기의 양상을 보였다. 측정한 거리에 따라 픽셀의 범위는 다른 것은 고정배율로 측정하였기 때문에 거리가 멀어질수록 화면에 취득되는 타이어의 픽셀의 범위에 줄어든 것이다. 두 기종의 측정 결과 적정 공기압(200 kPa)에서 육안으로 판단이 불가능한 타 이어의 상태를 픽셀의 차이를 활용하여 도출이 가능하다.

    본 논문은 농업현장에 보급 가능한 트랙터 적정 공기압을 자가 점검 할 수 있는 방향을 제시하였다. 다만 측정 환경 및 제원, 영상 취득 장치에 따른 가변성이 존재하므로 보편적인 적용은 할 수 없으며, 타이어 및 거리인식 등의 자동화가 가능한 지속적인 연구 가 필요할 것으로 판단된다.

    감사의 글

    본 결과물은 농촌진흥청 국립식량과학원 연구개발과제(PJ0147 68052020)의 지원을 받아 연구되었음

    Figure

    JALS-54-5-109_F1.gif

    Curved by lens type. (A): Spherical lens, (B): Aspherical lens.

    JALS-54-5-109_F2.gif

    Coin numbering of graph paper and coins used for camera calibration.

    JALS-54-5-109_F3.gif

    Pixel value-based tire radius measurements with the different air pressures (a) 0 kPa and (b) 250 kPa.

    JALS-54-5-109_F4.gif

    View of standard tire image using flipud method image (A) and phase correlation metrix (B) and max value using phase correlation method (C).

    JALS-54-5-109_F5.gif

    View of I-Phone6 tire image using flipud method image (A) and phase correlation metrix (B) and max value using phase correlation method (C).

    JALS-54-5-109_F6.gif

    Pixel variations by tire pressure of Galaxy s4.

    JALS-54-5-109_F7.gif

    Pixel variations by tire pressure of I-phone 6.

    JALS-54-5-109_F8.gif

    Experiment value & calibration value in pixel analysis on bottom (A): Galaxy s4, (B): I-Phone 6.

    Table

    Horizontal curvature of Galaxy S4

    Vertical curvature of Galaxy S4

    Horizontal curvature of I-phone 6

    Vertical curvature of I-phone 6

    Reference

    1. Argyriou V and Vlachos T. 2006. A study of sub-pixel motion estimation using. British Machine Vision Conference, 1-10.
    2. Han KW , Jung KH , Cho HR , Lee HS , Ok JH , Zhang YS , Kim GS and Seo YH. 2017. Effect of crop yield and soil physical properties to application of organic resources in upland. J. of the Korea Organic Resources Recycling Association 25: 15-22.
    3. Hong SH and Choi KH. 2019. Analysis of market and technology status of major agricultural machinery (Tractor, combine harvester and rice transplanter). J. of the Korean Society of International Agriculture 31: 8-16.
    4. Lee JW , Kim KU , Gim DH and Choi KJ. 2011. Effects of distribution of axle load and inflation pressure of tires on fuel efficiency of tractor operations. J. of Biosystems Engineering 36: 303-313.
    5. Park CY and Lee DW. 2019. Calibrating a depth camera based on deep learning of a 2D planar surface. J. of Korean Society of Automotive Engineers 27: 521-527.
    6. Park WY and Lee KS. 2002. The effect of tire inflation pressure on soil compaction and tractive performance of tractor. J. of Biosystems Engineering 26: 491-500.
    7. Raghavan GS , Mckyes VE , Taylor F , Richard P and Watson A. 1979. The relationship between machinery traffic and corn yield Reductions in successive years. Transaction of the ASAE. 22: 1256-1259.
    8. Rim CS. 2017. Design of smart phone camera lens using forbes aspherical surface. Korean J. of Optics and Photonics 28: 141-145.
    9. Woo SY and Park HY. 2020. Combined study of relationship between smartphone usage level and community participation in the elderly. J. of the Korea Convergence Society 11: 275-280.
    10. Zhang Z. 2000. A flexible new technique for camera calibration. Journal of IEEE Transactions on Pattern Analysis and Machine Intelligence 22: 1330-1334.
    오늘하루 팝업창 안보기 닫기