Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1598-5504(Print)
ISSN : 2383-8272(Online)
Journal of Agriculture & Life Science Vol.51 No.3 pp.119-127
DOI : https://doi.org/10.14397/jals.2017.51.3.119

Image Processing Algorithm for Behavior Classification of Pigs under the Different Environment Conditions

Hyeon-Tae Kim2, Seung-Kee Lee1, Jae-Woong Han1, Woong Kim1*
1Division of Bio-Industry Engineering, Kongju National University, Chungnam, 32439, Korea
2Dept. of Bio-Industrial Machinery Engineering(IALS), Gyeongsang National University, Jinju, 52828, Korea
Corresponding author: Woong Kim +82-41-330-1284+82-41-330-1289kimw017@kongju.ac.kr
November 1, 2016 December 27, 2016 April 10, 2017

Abstract

This study was researched for precise environmental control system of smart pig housing with ICT(Information Communication Technology) and proposed an image processing system algorithm to classify the pig behavior characteristics into three categories under environmental conditions. The testing materials for image processing were used three piglets was raised in the experiment pig housing and the camera mounted on the ceiling. Visual Studio C and OpenCV Library, an open source library developed for various image processing were used for image processing program. The image that was preprocessed for the behavior classification algorithm to find the center point data of each pig, the area occupied by pigs, and the distance between pigs was converted from RGB color system to YCrCb color system and it was applied the histogram equalization algorithm and the labeling algorithm using the cvBlob function. The result of the image processing using the verification image was follows. As a result of the class-A, 95% recognition rate was obtained in consideration of area only and distance and area together. In case of class-B, 65% was taken into consideration only in the area, and 95% in the case of both the area and the distance. In case of class-C, 25% was taken into consideration only in the area, and 100% in the case of both the area and the distance. In the proposed image processing algorithm, if both area and distance are used, it can be used to correction data of environmental information.


환경조건에 따른 돼지의 행동특성 분류를 위한 영상처리 알고리즘

김 현태2, 이 승기1, 한 재웅1, 김 웅1*
1공주대학교 생물산업공학부
2경상대학교 생물산업기계공학과(농업생명과학연구원)

초록

기존 온·습도 센서와 여러 가스센서에 의해 측정 및 제어되는 돈사환경제어시스템에 돼지의 체온조 절행동에 근거한 생체정보를 이용하여 외부 환경정보를 보정한다면 보다 정밀한 축사 환경제어를 할 수 있다. 이를 위한 본 연구는 ICT기술을 접목한 스마트돈사의 정밀환경제어를 위한 기초연구로 획득된 이 미지를 바탕으로 돼지의 행동특성을 3가지로 분류하기 위한 영상처리시스템 알고리즘을 제시하고자 한 다. 공시재료는 실험돈사에서 사육되고 있는 육돈용 자돈(F2, 36~40kg) 3마리를 이용하였으며, 영상처 리를 수행하고자 천정에 설치된 카메라를 통해 획득된 이미지를 이용하였다. 영상처리를 위한 프로그램 은 Visual Studio C과 다양한 영상처리를 위해 개발된 오픈 소스 라이브러리인 OpenCV Library를 이 용하여 구현하였다. 행동분류 알고리즘은 각 돼지의 중심점 데이터, 돼지가 차지하는 면적, 돼지 사이 의 거리를 구하고자 전처리를 수행한 이미지를 RGB 색상계에서 YCrCb 색상계로 변환하였으며, 히스토 그램 평활화(Histogram Equalization), cvBlob함수를 사용하여 Labeling 알고리즘을 수행하였다. 영상 처리 결과, 검증 이미지를 대상으로 군집형태 A로 판단된 결과는 면적만 고려한 것과 거리와 면적을 같 이 고려하였을 때 인식률 95%를 나타내었다. 군집형태 B의 경우 면적만을 고려하였을 경우 65%, 면적 과 거리를 모두 고려하였을 경우 95%로 나타났다. 군집형태 C의 경우 면적만을 고려하였을 경우 25%, 면적과 거리를 모두 고려하였을 경우 100%로 나타나 환경정보 보정자료로 활용이 가능한 것으로 판단 되었다.


    Rural Development Administration
    PJ 010541042016

    서론

    국내 양돈시설은 대형화되고 고밀도사육을 통해 생 산성을 높이고 있지만 농장관리는 작업자 1명당 약 2,000두로 관리되고 있으며 이런 사육환경은 돼지들 의 스트레스 증가에 따라 면역력을 저하시키고 구제 역 등과 같은 전염병이 발생했을 때 매우 취약한 것 으로 나타났다. 이를 해결하기 위해 여러 가지 돈사 환경을 최적화하기 위한 환경조절시설과 정밀한 관리 가 필요하지만 현실은 불가능한 실정이다(Lee et al., 2008; Kwon et al., 2013; Sa et al., 2015).

    고밀도 사육을 위한 무창돈사의 경우 환경조절을 위해 온도, 습도, 암모니아가스 등 여러 환경조절인 자가 있으며, 최적의 사육환경을 위한 시설에 대해 많은 연구가 활발히 이뤄지고 있다(Monreal, 1989; Chang et al., 1999; Song et al., 2010). 하지만 대부분 농가의 환경조절은 돈사 내부 한 지점의 온 도만을 측정하고 설정온도와 비교 후 팬의 속도를 이용하여 환기량을 조절해주거나 자돈사, 분만돈사 의 경우 보일러나 온풍난방기로 가온 또는 가온등을 이용하는 경우도 있지만 정밀 환경제어는 이루어지 지 않고 있다(Kim & Kim, 2014).

    돈사에서 돼지의 생산성에 가장 크게 영향을 미치 는 환경요소는 체감온도라 할 수 있다. 체감온도는 공기 온도, 공기 속도, 바닥온도에 의해 결정되며 복합적인 제어를 필요로 하고 있다(Boon, 1981; Geers et al., 1986). 돼지는 체감온도에 따라 체온 조절을 위한 행동패턴이 다르므로 단순히 공기의 온도만 측정하여 제어하는 것보다 열적 환경제어를 하면 돈사 환경제어를 보다 정밀하게 할 수 있을 것이다.

    최근 급속히 발전하는 IT기술 등 다양한 첨단기 술을 농·축산업에 적용하는 ICT융복합연구가 활발 하게 진행되고 있다. 이중 카메라를 이용하여 축사 내 객체 탐지와 식별을 위한 실시간 온라인 모니터 링시스템에 관한 연구가 활발히 진행되고 있다 (Berckmans, 2004; Navarro-Jover et al., 2009; Banhazi et al., 2012; Zuo et al., 2014). 또한 돼 지 대상으로는 컬러 정보와 깊이 정보를 이용해 두 정보를 합성하여 돼지의 경계선을 탐지하는 방 법(Sa et al., 2015)과 형태학 연산(Morphological Operation)을 이용하여 현재 프레임과 이전 프레임 의 비교 데이타와 예측한 결과를 반영하여 근접 돼 지들을 개별 객체로 구분하는 방법이 제안되었다(Sa et al., 2014).

    기존 온·습도 센서와 여러 가스센서에 의해 측정 및 제어되는 돈사환경제어시스템에 영상처리 시스템 을 이용하여 돼지의 행동 특성 및 체온조절행동에 근거한 생체정보를 활용하여 환경정보를 보정한다면 보다 정밀한 환경제어를 할 수 있다. 이를 위해 본 연구는 ICT기술을 접목한 스마트돈사의 정밀환경제 어를 위한 기초연구로 획득된 이미지를 바탕으로 돼 지의 행동특성을 분류하기 위한 영상처리시스템 알 고리즘을 제시하고자 한다.

    재료 및 방법

    1실험재료

    1.1공시재료

    행동특성 분류를 위한 영상처리를 수행하고자 사 용된 공시재료는 랜드레이스×요크셔 교잡종의 육돈 용 자돈(F2, 36~40kg)으로 실험돈사의 규모를 고려 하여 사육되고 있는 3마리를 이용하였다.

    1.2시설현황

    돼지가 사육되고 있는 실험용 돈사는 경상대학교 내에 위치한 폭 3.5m, 길이 5.4m, 높이가 2.5m 크 기의 음압형 실험돈사로 입기구(Ø300) 및 환기 팬 이 길이 방향으로 설치되어 있으며, 온도조절을 위 한 냉난방기, 가온등으로 구성되어 있다(Fig. 1).

    실험돈사의 환경조절을 위해서 내·외부의 온도 및 습도, 풍속, 이산화탄소, 암모니아, 메탄가스를 측정할 수 있는 센서를 설치하여 실시간 측정 및 환 경조절을 하고 있으며 분석을 위해 서버에 저장되도 록 하였다. 또한 돼지의 실시간 상태확인 및 영상처 리를 위하여 천정에 카메라를 설치하였다.

    1.3영상처리시스템

    실험돈사 내 돼지를 대상으로 영상처리를 수행 하기 위하여 천정에 설치된 카메라를 통해 획득된 이미지를 이용하였다. 영상처리에 사용된 카메라 (DS-2CD855F, HIKVISION, Hangzhou, China)는 1/3" 크기의 Progressive Scan CMOS타입 이미지센 서가 내장된 카메라로 최대 2M(1920pixel × 1080pixel/ frame) 화소의 영상을 획득할 수 있다(Table 2). 실 험돈사 내 설치된 카메라는 돼지들의 활동공간을 모 두 볼 수 있도록 하기 위하여 지면으로부터 2.5m 높이에 위치한 천정에 설치하였다(Fig. 2).

    영상처리를 위한 프로그램은 Visual Studio C++ (Community 2015, Microsoft)과 다양한 영상처리를 위해 개발된 오픈 소스 라이브러리인 OpenCV Library (Ver. 3.1, Intel)를 이용하여 구현하였다(Fig. 3).

    2실험방법

    2.1영상처리 알고리즘 전처리

    카메라로부터 획득된 이미지에서 돼지 행동특성을 알아보기 위해서 우선 배경으로부터 돼지를 분리해 야 한다. 돼지는 배경과 다른 색상, 크기, 모양 등 다양한 특성이 존재하며, 본 연구에서는 돼지가 가 지는 색상, 크기를 기준 변수로 설정하고 영상처리 알고리즘에 적용하였다.

    획득된 이미지에서 돼지가 가지는 색상정보를 분 리하기 위해 RGB정보(각 8 bit)로 표시된 색상데이 터를 빛의 밝기에 따른 차이를 줄일 수 있는 YCrCb 색상계로 변환하였으며, 샘플이미지를 분석하여 돼 지가 가지는 색상데이터를 추출하였다(식 (1)). 또 한, 배경에서 잡음을 제거하기 위한 전처리로 돼지 가 차지하는 면적에 해당되는 화소수(돼지의 크기) 를 알아보았다. 색상데이터와 화소수를 추출하기 위 하여 임의의 30개의 샘플이미지를 사용하여 분석하 였으며, 행동분류를 위한 영상처리 알고리즘의 기초 자료로 활용하였다.

    [ Y C b C r ] = [ 0.299 0.587 0.114 0.169 0.331 0.500 0.555 0.4187 0.081 ] + [ 0 128 128 ]
    식 (1)

    2.2행동특성 분류 알고리즘

    돼지들의 온도환경에 따른 행동은 더운 경우 체열 손실을 위해 최대한 멀리 분산하여 위치하고 추운 경우 최대한 군집하여 체온유지를 하며 적당한 경우 는 거의 접촉하여 나란히 눕는 것으로 알려져 있다 (Mount, 1968; Geer et al., 1991; Shao et al., 1996).

    돼지들의 온도환경에 따른 행동특성 분류를 위한 영상처리 알고리즘 순서도는 Fig. 4와 같다. 환경제 어 시스템에서 웹브라우져 컨트롤을 통해 영상처리 시스템으로부터 이미지를 캡쳐하고 영상처리 속도를 개선하기 위하여 이미지크기를 축소하였으며, 배경 에서 돼지가 위치할 수 없는 영역에 대해 배경을 삭 제하는 전처리를 수행하였다.

    전처리를 수행한 이미지는 RGB 색상데이터를 가 진 이미지로 빛의 강도에 따라 데이터가 쉽게 변하 는 단점을 가진다. 이를 보완하고자 이미지의 색상 계를 YCrCb 색상계로 변환하였으며, 히스토그램 평 활화(Histogram Equalization)을 수행하여 돼지가 가지는 색상정보와 배경이 가지는 색상정보의 차이 를 극대화하였다. 이후, OpenCV에서 제공하는 라이 브러리 함수인 cvBlob함수를 사용하여 Labeling 알 고리즘을 수행하여 잡음제거와 돼지를 배경에서 분 리하였다.

    이 과정에서 생성되는 각 돼지의 중심점 데이터 (x, y: 2차원 데이터), 돼지가 차지하는 면적에 해 당하는 화소수, 돼지중심데이터를 이용한 돼지 사이 의 거리를 구하였으며, 구해진 결과를 이용하여 돼 지가 어떤 형태의 군집형태를 이루고 있는지를 판단 하였다. 돼지의 군집형태는 각각 떨어져 있는 경우 (A), 두 마리가 붙어있고 한 마리는 떨어져 있는 경 우(B), 모두 붙어 있는 경우(C)로 모두 3가지 형태 로 분류하였다.

    2.3행동특성 분류 알고리즘 검증

    온도환경에 따른 행동특성 분류를 위한 영상처리 알고리즘을 검증하기 위하여 군집형태분류로 정의한 3가지 상태(A, B, C)에 있는 돼지 이미지를 각각 20개씩 무작위로 획득하여 총 60개의 이미지에 대 해 검증을 수행하였다. 검증 결과는 상태별 각각의 이미지에 대해 성공여부를 판단하고 상태별 인식률 로 나타내었다. Table 1

    결과 및 고찰

    1영상처리 알고리즘 전처리

    배경에서 돼지를 분리하기 위한 기준 변수인 돼지 가 가지는 색상정보와 크기정보를 알아보기 위하여 샘플이미지를 이용하여 분석한 결과는 Table 2, Table 3과 같다.

    돼지로 인식되는 색상정보의 경우 Red는 110-255 사이 값을 가지는 것으로 나타났으며, Green은 130-255 사이 값, Blue의 경우 76-233 사이 값을 가지는 것으로 나타났다. 또한, 돼지가 차지하는 크 기의 경우 한 마리가 차지하는 화소수는 약 5,500~ 23,000개로 나타났으며, 평균 약 13,000개 수준인 것으로 나타났다. 두 마리가 같이 붙어있는 경우는 약 16,000~33,000개로 나타났으며, 평균 약 24,000개 수준으로 나타났다. 세 마리가 모두 붙어있는 경우 는 약 32,000~44,000개, 평균 약 38,000개 수준으 로 나타났다.

    돼지를 인식하기 위해 사용되는 색상정보와 크기 정보는 생육환경 및 돼지가 커지면서 바뀌는 정보이 므로 고정된 인식정보를 사용할 경우 변화된 환경에 대응이 안될 수 있다. 하지만 빠른 시간 안에 급변 하는 정보가 아니기 때문에 계속적으로 업데이트가 되어 학습이 된다면 인식정보로 충분히 사용 가능한 정보라 판단되었다.

    2영상처리 알고리즘

    영상처리 알고리즘에 의해 처리되는 과정을 Fig. 5 에 나타내었다. 원영상 ①은 돼지가 움직일 수 있는 공간 외 정보도 포함되어 있어 돼지 객체를 인식하 데 있어 노이즈로 작용하였는데 이를 해결하기 위하 여 ②, ③과 같이 필요 없는 부분을 잘라내고 색상 정보를 삭제하였으며, 밝기에 의해 변화가 심한 RGB정보를 YCrCb로 변환 후 채널분리를 하였으며, ④와 같이 돼지와 배경의 차이를 좀 더 키우기 위하 여 히스토그램 평활화를 수행한 후 ⑤와 같이 배경 에서 돼지를 분리할 수 있었으며 cvBlob 함수와 Labeling 알고리즘을 수행하여 ⑥과 같이 개체별 돼지를 분리할 수 있었다.

    영상처리 후 최종적으로 얻어지는 데이터는 개체 별 중심 위치와 차지하고 있는 면적, 개체간 거리이 며, 전처리 결과에 의한 인식조건과 개체간 거리를 통해 돼지의 군집형태를 판단할 수 있는 것으로 판 단되었다.

    3군집형태에 따른 분류 인식률

    돼지의 행동특성에 따른 군집형태를 알아보기 위 하여 개발된 영상처리 알고리즘에 의해 인식된 결과 는 Fig. 6과 인식률은 Table 4와 같다. ①은 군집형 태 A로 판단된 결과이며, 모든 검증 이미지를 대상 으로 면적만 고려한 것과 거리와 면적을 같이 고려 하였을 때 모두 인식률 95%를 나타났다. 인식 실패 는 ④와 같이 돼지가 급이기 입구에 들어가 있는 경 우로 가려진 부분을 제외한 몸의 일부 만 인식되어 나타난 결과로 판단되었다.

    군집형태 B의 경우 ②와 같이 나타났으며, 검증이 미지에 대한 인식률은 면적만을 고려하였을 경우 65%, 면적과 거리를 모두 고려하였을 경우 95%로 나타났다. 인식 실패는 ④와 같은 경우 이거나 ⑤와 같이 돼지가 서 있는 경우 밑에 그림자가 발생하여 다른 개체로 판단되었으며 거리를 고려하면 붙어있 는 형태라 판단하였다.

    군집형태 C의 경우 ③과 같이 나타났으며, 검증이 미지에 대한 인식률은 면적만을 고려하였을 경우 25%, 면적과 거리를 모두 고려하였을 경우 100%로 나타났다. 인식 실패는 ④, ⑤, ⑥과 같이 돼지가 서서 움직이는 동안 획득된 이미지는 인식 실패가 발생되었으며 이는 돼지간 거리를 고려하면 군집형 태를 분류할 수 있는 것으로 판단되었다.

    본 연구는 생체정보인 돼지의 행동 특성 기반 정 밀환경 제어를 위한 영상처리로 영상처리를 위한 이 미지 획득 시 돼지의 움직임을 판단 후 일정시간 움 직임이 없는 상태에서 본 알고리즘을 작용한다면 기 존의 온·습도 센서에 의한 환경제어 보다 정밀한 환경제어가 가능할 것으로 판단되었다.

    감사의 글

    본 논문은 농촌진흥청 공동연구사업(과제번호:PJ 010541042016)의 지원에 의해 이루어진 것임.

    Figure

    JALS-51-119_F1.gif

    Schematic diagram of the experimental pig-house.

    JALS-51-119_F2.gif

    Schematic diagram of camera in the experimental pig-house.

    JALS-51-119_F3.gif

    Image processing program for behavior classification of pigs.

    JALS-51-119_F4.gif

    Flow chart of image processing for behavior classification of pigs.

    JALS-51-119_F5.gif

    Results by image processing algorithm for behavior classification of pigs. (①Original image, ②Image size down, ③Erase the unnecessary area, ④Equalization after channel separate, ⑤Binarization ⑥Labeling with cvBlob)

    JALS-51-119_F6.gif

    Behavior classification results and errors of pigs by image processing. (①Class-A, ②Class-B, ③Class-C, ④Class-A error, ⑤Class-B error, ⑥Class-C error)

    Table

    Specification of camera for image processing

    Color range of the pigs to separate from the background

    - R, G, B color depth: 8 bit, 0-255.

    Area of according to heads by image processing (639,000 pixel/image) (Unit: pixel)

    Behavior classification ratio by image processing (Unit: %)

    Reference

    1. Banhazi T , Lehr H , Black J , Crabtree H , Schofield P , Tscharke M , Berckmans D (2012) Precision livestock farming an international review of scientific and commercial aspects , International Journal of Agricultural and Biological Engineering, Vol.5 (3) ; pp.1-9
    2. Berckmans D (2004) Automatic on-line monitoring of animals by precision livestock farming , Animal Production in Europe: The Way Forward in an Changing World, in Between Congress of the ISAH, Vol.1 ; pp.27-30
    3. Boon CR (1981) The effect of departures from lower critical temperature on the group postural behavior of pigs , Anim. Prod, Vol.33 ; pp.71-79
    4. Chang HH , Chang DI , Lim YI (1999) Development of environmental control systems for windowless pig-housing (I) - Assessment of Control Performance , J. KSAM, Vol.24 (5) ; pp.415-424
    5. Geers R , Villé H , Goedseels V , Houkes M , Goossens K , Parduyns G and Van Bael J (1991) Environmental temperature control by the pig's comfort behavior through image analysis , Transactions of the ASAE, Vol.34 (6) ; pp.2583-2586
    6. Grees R , Goedseels V , Parduyns G , Vercruysse G (1986) The group postural behavior of growing pig in relation to air velocity, air and floor temperature , Appl. Anim. Behav. Sci, Vol.16 ; pp.353-362
    7. Kim HT , Kim W (2014) Characteristics of temperature distribution of pen for exhaust fan of ventilation systems , J. Anim. Environ. Sci, Vol.20 (4) ; pp.155-160
    8. Kwon KS , Lee IB , Hwang HS , Hong SW , Seo IH , Ha TH , Ha JS , Park HA (2013) Measurement and analysis of aerosols in swine confined house for welfare improvement of workers , Proceedings of the KSAM & KSBEC 2013 Spring Conference, ; pp.107-108
    9. Lee SJ , Gutierrez WM , Kim BS , Han JY , Chang DI , Chang HH (2008) Study on modification of inside environment in windowless weaning piglet house , J. Envir. Agr, Vol.27 (2) ; pp.150-155
    10. Monreal G (1989) Livestock housing. Chapter 2 , Envir. and Anim. Health, CAB International, ; pp.33
    11. Mount LE (1968) The climate physiology of the pig, Edward Arnold,
    12. Navarro-Jover J , Alcaniz-Raya M , Gomez V , Balasch S , Moreno J , Grau-Colomer V , Torres A (2009) An automatic colour-based computer vision algorithm for tracking the position of piglets , Spanish Journal of Agricultural Research, Vol.7 (3) ; pp.535-549
    13. rizwan m OpenCV , Available online http://docs.opencv.org,
    14. Sa JW , Kim JH , Choi DW , Zuo SS , Chung YW , Park DH (2014) Detecting the moving pigs' boundary using depth information , Korea computer congress, Vol.2014 ; pp.1916-1918
    15. Sa JW , Han SY , Lee SJ , Kim HG , Lee SJ (2015) Image segmentation of adjoining pigs using spatio-temporal information KIPS Tr , Software and Data Eng, Vol.4 (10) ; pp.473-478
    16. Shao J , Xin H , Harmon JD (1996) Evaluating thermal comfort behavior of young pigs by neural network. ASAE Paper No. 96-4058,
    17. Song JI , Jeon JH , Park HK , Kang HS , Choi DY , Kim DH , Park KH (2010) The effect of ventilation system renovation from winch style to non-window style for swine barn , J. Lives. Hous. Environ, Vol.16 (2) ; pp.109-114
    18. Zuo S , Jin L , Chung YH , Park DH (2014) An index algorithm for tracking pigs in pigsty , 2014 International Conference on Industrial Electronics and Engineering,
    오늘하루 팝업창 안보기 닫기