@conference {cGene-Mola19,
	title = {Uso de redes neuronales convolucionales para la detecci{\'o}n remota de frutos con c{\'a}maras RGB-D},
	booktitle = {Congreso Ib{\'e}rico de Agroingenier{\'\i}a},
	year = {2019},
	month = {09/2019},
	publisher = { Universidad de Zaragoza (UZA)},
	organization = { Universidad de Zaragoza (UZA)},
	address = {Huesca},
	abstract = {<p>La detecci{\'o}n remota de frutos ser{\'a} una herramienta indispensable para la gesti{\'o}n agron{\'o}mica optimizada y sostenible de las plantaciones frut{\'\i}colas del futuro, con aplicaciones en previsi{\'o}n de cosecha, robotizaci{\'o}n de la recolecci{\'o}n y elaboraci{\'o}n de mapas de producci{\'o}n. Este trabajo propone el uso de c{\'a}maras de profundidad RGB-D para la detecci{\'o}n y la posterior localizaci{\'o}n 3D de los frutos. El material utilizado para la adquisici{\'o}n de datos consiste en una plataforma terrestre autopropulsada equipada con dos sensores Kinect v2 de Microsoft y un sistema de posicionamiento RTK-GNSS. Con este equipo se escanearon 3 filas de manzanos Fuji de una explotaci{\'o}n comercial. El conjunto de datos adquiridos est{\'a} compuesto por 110 capturas que contienen un total de 12,838 manzanas Fuji. La detecci{\'o}n de frutos se realiz{\'o} mediante los datos RGB (im{\'a}genes de color proporcionadas por el sensor). Para ello, se implement{\'o} y se entren{\'o} la red neuronal convolucional de detecci{\'o}n de objetos Faster R-CNN, la cual est{\'a} compuesta por dos m{\'o}dulos: red de propuesta de regiones de inter{\'e}s y red de clasificaci{\'o}n. Ambos m{\'o}dulos comparten las primeras capas convolucionales siguiendo el modelo VGG-16 pre-entrenado con la base de datos ImageNet. Los resultados de test muestran un porcentaje de detecci{\'o}n del 91.4\% de los frutos con un 15.9\% de falsos positivos (F1-score = 0.876). La evaluaci{\'o}n cualitativa de las detecciones muestra que los falsos positivos corresponden a zonas de la imagen que presentan un patr{\'o}n muy similar a una manzana, donde, incluso a percepci{\'o}n del ojo humano, es dif{\'\i}cil de determinar si hay o no manzana. Por otro lado, las manzanas no detectadas corresponden a aquellas que estaban ocultas casi en su totalidad por otros {\'o}rganos vegetativos (hojas o ramas) o a manzanas cortadas por los m{\'a}rgenes de la imagen. De los resultados experimentales se concluye que el sensor Kinect v2 tiene un gran potencial para la detecci{\'o}n y localizaci{\'o}n 3D de frutos. La principal limitaci{\'o}n del sistema es que el rendimiento del sensor de profundidad se ve afectado en condiciones de alta iluminaci{\'o}n</p>},
	keywords = {C{\'a}maras de profundidad, Detecci{\'o}n de frutos, Redes neuronales convolucionales, RGB-D, Rob{\'o}tica agr{\'\i}cola},
	doi = {https://doi.org/10.26754/c_agroing.2019.com.3325},
	author = {Gen{\'e}-Mola, Jordi and Ver{\'o}nica Vilaplana and Rosell-Polo, Joan R. and Morros, J.R. and Ruiz-Hidalgo, J. and Gregorio, Eduard}
}
