Creación de un MDT con ArcGIS. (Continuación)

Como vimos en la entrada anterior la creación de un MDT a partir de un archivo vectorial del formato que sea es relativamente fácil de realizar en ArcGIS, pero como tantos otros procesos en un GIS se puede hacer de muchas maneras. 

Esta otra forma de realizar un modelo digital de elevaciones es un poco más complicada, pero sin duda es más precisa que la anterior. 

Supongamos nuevamente que tenemos como fichero de origen un fichero DGN, el cual tiene definidas las entidades que la componen no solo por niveles (lo que en AutoCAD serían Layers), sino también por un vínculo a una BBDD que nos da un número que hace referencia al tipo de elemento que nos encontramos. Los que hayan utilizado MicroStation GeoGraphics sabrán de lo que hablo, para los que no, simplemente tendrán que cargar el fichero en ArcGIS, y abrir la tabla de atributos y entre las múltiples columnas verán una llamada MsLink-ODBC que hace referencia al vínculo que tenía ese elemento con la BBDD que definía el tipo de entidad.

Con este campo podremos conocer el tipo de entidad al que nos enfrentamos (por supuesto siempre que tengamos la correspondencia entre el número y la entidad geográfica a la que hace referencia, que estará definido en la BBDD a la que el fichero .dgn estaba vinculado). De esta manera podremos separar cada elemento para la posterior generación del MDT.

El paso siguiente será hacer la extracción de los elementos según este MSlink, para ello tendremos que reflexionar sobre qué elementos nos pueden ser útiles, y realmente pueden definir un MDT, ya que por ejemplo las líneas de los edificios o alambradas son elementos que cuando se restituyen no tienen cota terreno, y no han de ser tenidos en cuenta para este propósito.

Después de examinar todos los elementos, ya tendremos una lista de todos los MSlink que vamos a utilizar para generar nuestro MDT, ahora podemos operar de dos maneras, o bien separar los ficheros en el de origen (posiblemente para los que estén acostumbrados a trabajar con Microstation Geographics, será más rápido de esta manera), o hacerlo en ArcGIS. Aquí lo haremos en ArcGIS para no tener que depender de ningún otro Software externo para realizar el proceso completo.

Así pues, cargamos en ArcGIS el fichero inicial (en este caso al abrirlo veremos que como con los ficheros .dwg el programa los separa según el tipo de elemento), en nuestro caso será suficiente con el fichero de puntos y de polilineas

Haremos una selección por atributos de cada MSlink (este sería un buen ejemplo para crear una herramienta en Model Builder si tuviésemos que repetir este proceso en distintos ficheros) y la exportamos a un shape con el nombre de la entidad.

El resultado sería algo de este estilo, dependiendo del número de entidades que se utilicen para crear el MDT:

En ArcToolBox seleccionamos la herramienta Topo to Raster y añadimos los diferentes shapes de la siguiente forma:

El resto de valores los podemos dejar como aparecen por defecto, lo único que hay que definir es el “Type” ya que dependiendo del tipo que le asignemos, la interpolación que realizará ArcGIS será distinta. Es aquí donde reside la mayor diferencia con respecto al método anterior, ya que asignando un tipo más apropiado de interpolación, dependiendo de la entidad considerada, el resultado será más preciso.

Y a este le aplicaremos la herramienta Raster to Tin para crear el TIN, si es el tipo de archivo de salida que necesitamos.

Creación de un MDT con ArcGIS.

Los MDT o MDE (DTM o DEM en inglés) son una representación en 3D de la superficie de un terreno o de un planeta, creada a partir de los datos de altitud del terreno. Los modelos digitales del terreno pueden tener muchos usos, como por ejemplo creación de mapas de pendientes, de radiación solar… y a partir de estos se pueden realizar otros análisis derivados, para crear mapas temáticos de diversa índole: erodabilidad, planeamiento de zonas cultivables, riesgos de inundaciones, etc. Un MDT puede representar también otras superficies como por ejemplo el conjunto de niveles piezometricos de un acuífero, o el contacto entre dos litologías diferentes.

La manera de crear un MDT es muy variada dependiendo del software que utilicemos, y del tipo de MDT que necesitemos, ya que estos pueden ser de muchos tipos, principalmente diferenciados por el formato de los datos. Así podemos clasificar los MDT (esta es una clasificación mía, y para nada exhaustiva) en : MDT raster, MDT vectorial y MDT númerico.

ArcGIS nos permite crearlos de cualquiera de los tipos antes mencionados y pasar de uno a otro con relativa facilidad.

  

Evidentemente la calidad del MDT puede variar mucho, y depende de diversos factores como por ejemplo: la calidad y cantidad de los datos de partida, el proceso utilizado para la creación, el formato de salida requerido, el propósito del mismo y la escala…

Respecto a esto último, ArcGIS nos da la opción de crear un MDT modificando estos parámetros, ya que muchas veces tendremos que elegir entre la calidad del modelo, y por ejemplo, el peso del fichero de salida (puede ser que necesitemos ficheros de pocos megas para hacer más fluida su utilización en un servicio web, o para su posterior uso con herramientas de geoprocesamiento).

Así pues la primera forma que vamos a ver para crear un MDT es con la herramienta Create TIN. Un TIN (Triangles Irregular Network) es un tipo de modelo digital del terreno que se forma a partir de un conjunto de puntos, en los que se conoce la elevación, y con ellos se traza un conjunto de triángulos, formados por tripletas de puntos cercanos no colineales, formando un mosaico.Para ello el programa descompone los elementos no puntuales del mapa en puntos y a partir del valor de la coordenada vertical crea el MDT. 

Una de las ventajas de este tipo de modelo es que nos da una rápida visión del tipo de superficie que tenemos para hacer un análisis no exhaustivo del terreno en cuestión. Así pues a partir de un fichero vectorial del formato que sea (siempre que lo podamos abrir en ArcGis)  y siempre que este tenga definidas las elevaciones internamente, podemos crear un MDT de una manera muy sencilla. 

Como se ve en la imagen nos permite definir varios ficheros de entrada, y de cada uno de ellos la interpolación que queremos aplicar. En nuestro caso el fichero de entrada es un único  fichero .dgn de Microstation y en el todos los elementos son susceptibles de crear el MDT, ya que son elementos que definen la orografía del terreno, como por ejemplo, cauces, carreteras y por supuesto los elementos de restitución como curvas de nivel y puntos de cota. 

El problema al crear un MDT con un único fichero de entrada es que la interpolación que realiza el programa es la misma para todos los elementos, cuando lo más correcto sería  tratarlos de manera individualizada. Por ejemplo un lago se tendría que representar en el MDT como una superficie completamente plana, y utilizando este método puede ser que no resulte así. 

Así pues, si buscamos una representación más detallada de nuestro modelo, necesitaríamos hacer un procesado previo de los datos de origen para descomponerlos en entidades del mismo tipo, y así procesarlos individualmente de una manera más optima.

La Gestión de la Información. Factores limitantes.

Muy a menudo, cuando se intenta instaurar una política de gestión de activos en una empresa, es habitual encontrarse multitud de problemas y situaciones, que harán más complicada la implantación de ésta, de lo teóricamente previsto.

Estos factores limitantes afectaran en mayor o menor medida a todas las actividades que se requieren para desarrollar una correcta gestión de los activos físicos de nuestra empresa. En este caso y como era de esperar nos centraremos en los que dificultan las actividades relacionadas con la gestión de la información, y los efectos que estos pueden tener sobre el global de la estrategia.

• Fragmentación de la información. Uno de los problemas más habituales en las empresas que gestionan un gran volumen de datos, y están compuestas por diferentes departamentos o secciones, es la falta de coordinación en las políticas de gestión de la información. Es cierto que cada departamento o sección tiene unas necesidades distintas en cuanto a los datos que gestionan o necesitan, aun refiriéndonos al mismo activo. Es necesario, pues,  definir en este punto la información disponible, y buscar una estrategia para unificarla en un único sistema, que satisfaga en gran medida las necesidades de todas las partes implicadas en el proceso, para evitar así duplicidad e inconsistencia en la información actual, y la que se vaya a recopilar en un el futuro.

• Resistencia al cambio. Otro factor importante a la hora de implementar un sistema de gestión de activos eficiente, es la resistencia al cambio de las personas o departamentos que han de utilizar o mantener el sistema. Esta resistencia al cambio puede ser de diversos tipos y estar originada por distintas causas, pero en definitiva afecta al conjunto de la estrategia, dificultando su implementación, y en el peor de los casos haciéndola inviable.

• Sistema poco eficiente. En ocasiones el sistema elegido para la gestión de la información de nuestros activos no es el más apropiado, esto se soluciona haciendo un estudio detallado inicial de las necesidades, tanto presentes como futuras del negocio, para elegir un sistema apropiado, que no necesariamente tiene por qué ser el más moderno e innovador del mercado. 

• Sistema no utilizado. En ocasiones el problema es la no utilización del sistema disponible, bien por desconocimiento o falta de formación, bien como una consecuencia de la resistencia al cambio. Las estrategias de difusión y promoción dentro de la empresa del sistema es una parte fundamental para alcanzar el nivel de uso deseado, y ésta, en gran medida, ha de ser promocionada por la directiva de la empresa.

• Sistema no apropiado para el negocio. En ocasiones la elección del sistema no es la adecuada, y esto puede ser por diversos motivos, pero uno de los principales es la falta de comunicación entre departamentos en las fases iniciales del proyecto. Es necesaria una coordinación inicial entre todos los usuarios del sistema, para conocer las necesidades y expectativas de cada uno de ellos. Una adecuada actuación en esta fase es beneficiosa además para conseguir involucrar de una manera más efectiva a las distintas secciones de nuestra empresa, y mitigar en cierta medida la resistencia al cambio.

• Sistema no accesible. Esto sucede por ejemplo cuando una importante cantidad de datos se adquieren en las tareas diarias de operación y mantenimiento. Los encargados de realizar estas tareas han de estar equipados con dispositivos adaptados a sus necesidades que permitan realizar la toma de datos de una manera eficiente y sencilla. 

• Sistema no actualizado. Es muy habitual encontrarse con un sistema correctamente implementado, con la capacidad de soportar y gestionar de una manera apropiada la información de nuestros activos, pero por diferentes motivos la información está incompleta o desactualizada. En este caso la estrategia ha de centrarse en la toma de datos para recabar la información necesaria, y adecuada para actualizar nuestro sistema. En este sentido es necesario definir en las fases iniciales la información que queremos adquirir y en el formato que la queremos adquirir, para poder gestionarla e integrarla de una manera eficiente en nuestro registro

• Sistema difícil de actualizar. Un exceso de celo en la verificación de la procedencia y veracidad de la información, incluyendo los trámites burocráticos relacionados, suelen ser factores que afectan de una manera negativa en el proceso de actualización de la base de datos de activos de una empresa. Encontrar una manera más eficiente, sin renunciar a la calidad de la información, es otro punto fundamental para conseguir una estrategias de gestión de la información apropiada y efectiva.

Gestión de la Información.

Una gestión de la información adecuada, no solo desde el punto de vista de la gestión de activos, sino desde una perspectiva más general, es siempre beneficiosa para nuestro negocio y nos permitirá tomar medidas  adecuadas a nuestras necesidades, por supuesto la información geoespacial no es una excepción.

Sin embargo, una buena estrategia de gestión de la información, no significa necesariamente, que tengamos que poseer un conocimiento exhaustivo del total de nuestros activos, de hecho, ésto es muy poco habitual, y por lo general, el coste económico para alcanzar este objetivo, está fuera del alcance de cualquier empresa, y por lo general se podría considerar una mala práctica para el negocio.

Por ejemplo, imaginemos que nuestra compañía se dedica a la distribución de agua para consumo humano. Tenemos una planta desaladora y dos localidades a las que abastecer. La primera está junto a la desaladora y la segunda, a unos 50 km. Sabemos que la información almacenada en nuestro GIS de la localidad más cercana es bastante completa y precisa. Sin embargo, la otra localidad, incluyendo la línea de conexión no está registrada en nuestro sistema. En total se estima que representa un 70% del total de nuestra red.

A primera vista se podría decir que el conocimiento de nuestra red es bastante pobre, y realmente lo es, pero si en lugar de aplicar un enfoque clásico, lo hacemos desde el punto de vista de la gestión de activos físicos, hay más factores a tener en cuenta que los meramente estadísticos.

Estudiando más a fondo el ejemplo, la localidad más alejada resulta ser una zona de viviendas unifamiliares, usadas mayormente durante fines de semana y vacaciones. Por el contrario la ciudad cercana a la planta, está compuesta por edificios de varias alturas, y su ocupación es elevada a lo largo de todo el año.
Es aquí donde entran en juego la criticidad, la priorización, el análisis de riesgos y el análisis de coste-beneficio.

Lo primero que nos tendremos que preguntar ante una situación como la descrita arriba, es, si la falta de información realmente supone una gran pérdida, en el sentido más amplio de la palabra, para la compañía, o si por el contrario es ¨algo¨ con lo que podemos vivir. Para ello, y aplicando una buena estrategia de gestión de activos, tendremos que analizar y clasificar los elementos de nuestra red, teniendo en cuenta diversos factores, para establecer así que activos son más "importantes" (priorización) basándonos en las consecuencias ocasionadas por una falta de suministro (análisis de riesgo y criticidad).

En base a lo anterior, es momento ahora de plantearse si la falta de información en nuestro sistema, necesita ser solucionada, y si el coste económico de hacerlo aporta beneficios suficientes (del tipo que sean), o por el contrario, podemos asumir el riesgo de no hacerlo.

Siguiendo con el ejemplo anterior, imaginemos ahora que en la localidad más alejada, se está construyendo un hospital que estará conectado a nuestra red de abastecimiento, en este caso nos tendremos que replantear nuevamente nuestra estrategia, ya que en este caso la criticidad de nuestro activos se verá afectada, y por lo tanto la priorización de los activos tendrá que ser revisada.

Así pues la falta de información, no es necesariamente algo que tengamos que subsanar inmediatamente, primero tendremos que evaluar si realmente la necesitamos para gestionar de una manera eficiente nuestros activos.

Modelos con FME

Siguiendo con la entrada anterior, me gustaría introducir en este caso un Software que complementa, y en muchas ocasiones aporta nuevas funcionalidades a ArcGIS (no en vano, éste, está integrado dentro de la extensión Data Interoperability del Software de la casa ESRI).

Este programa se engloba dentro de los procesos conocidos como ETL (Extract, Transform and Load o extraer, transformar y cargar), que permiten exportar, importar, analizar y limpiar datos entre distintos formatos y/o plataformas.

FME, software desarrollado por la casa Safe Software, es una fantástica herramienta ETL mayormente centrada en la manipulación de información geoespacial. Aparte de la multitud de formatos admitidos y transformadores que posee el programa, otro gran punto a su favor es la facilidad a la hora de crear modelos o herramientas, en parte gracias a su interface sencilla e intuitiva.

Así pues, es posible crear modelos como el que presentamos anteriormente en Model Builder sin la necesidad del uso de ArcGIS. Igual que comparábamos ModelBuilder con  una especie de lenguaje programación a alto nivel, FME permite aún más funcionalidades que el módulo de ArcGIS, y siguiendo con la analogía, se podría decir que tiene muchas más clases y métodos con los que implementar nuestro programa, ofreciéndonos así   una gama mucho más amplia de posibilidades.

A grandes rasgos el funcionamiento del programa es el siguiente: Tenemos un dato (o conjunto de datos) de entrada, a los cuales les aplicaremos uno (o varios) procesos, llamados transformadores, que arrojaran como resultado uno o varios ficheros de salida. Así por ejemplo, teniendo un fichero en formato DWG de líneas que representan el contorno de las fincas rústicas de un municipio, necesitamos como resultado un fichero en formato SHP poligonal. En el programa indicaremos el fichero de entrada “Reader” que será el fichero en formato DWG, el transformador apropiado, en este caso “AreaBuilder” y por último definiremos el formato del fichero de salida o “Writer”

Otra gran ventaja del programa es que permite manejar una amplia multitud de formatos tanto GIS y CAD como otros formatos tabulares, archivos Excel y Bases de Datos por ejemplo. Así pues podremos realizar uniones entre tablas de una base de datos Oracle y un shapefile de una manera muy sencilla y eficiente.

En futuras entradas se presentaran varios ejemplos desarrollados, tanto en ArcGIS como en FME, y se intentará evaluar cuál de los dos métodos es más eficiente, tanto en el proceso de elaboración, como a los resultados arrojados.

Crear modelos en ArcGIS. Model Builder.

En esta ocasión voy a rescatar una de las entradas de mi antiguo No-Blog. Como ya mencioné, las entradas desarrolladas en aquella ocasión eran más técnicas, y 100% relacionadas con los Sistemas de Información Geográfica. En este caso la entrada trata sobre Model Builder, una utilidad incluida dentro de ArcGIS que nos permite la automatización de tareas de una manera intuitiva y más o menos sencilla. Se podría decir (pido perdón de antemano a los desarrolladores informáticos) que es una especie de programación a muy alto nivel, en la cual de hecho, cuantos más conocimientos se tengan de programación, mejores y más completos modelos se podrán crear.

Cuando trabajamos con datos geoespaciales en muchas ocasiones nos encontramos con que estos están divididos geográficamente por una gran diversidad de factores: límites administrativos, barreras geográficas, cambios de usos de suelos… En estos casos es posible que la información la tengamos segmentadas en distintos ficheros, y por diversas razones no podamos (o queramos) unificarlos en uno solo. El problema se nos presenta cuando necesitamos realizar uno o varios procesos sobre estos ficheros, ya que tendríamos que procesarlos de manera individual, con la pérdida de tiempo que ello supone, y la posible pérdida de precisión de los datos.

Para solventar este problema tenemos, principalmente, dos posibilidades: la primera es la creación de scripts o programas que automaticen estos procesos para lo cual evidentemente tendremos que saber programar en algún lenguaje, lo cual no suele estar al alcance de los que nos dedicamos a los GIS, en una perspectiva más aplicada al análisis de información, y a la gestión de datos geoespaciales. Por otro lado ArcGIS nos ofrece la oportunidad de crear modelos para encadenar subrutinas y herramientas implementadas dentro del propio programa (o incluso externas), utilizando datos de muy diversas fuentes y formatos. En definitiva Model Builder (asi se llama esta utilidad de ArcGIS), nos permite automatizar procesos y crear modelos que nos evitarán tener que repetir una y otra vez sobre toda la colección de datos los mismos procesos rutinarios. Es evidente que tiene sus limitaciones y no nos da tanta flexibilidad como lo haría la programación en Python u otros lenguajes, pero bien aplicado es una herramienta muy potente que nos ahorrará muchas horas de trabajo.

Por ejemplo supongamos que tenemos una serie de ficheros en formato .dwg de AutoCad del parcelario rustico de un determinado termino municipal. Supongamos también que el fichero está compuesto por líneas y textos, las líneas delimitan las parcelas y los textos indican el uso rustico de las mismas. Si el objetivo del trabajo que nos encomendasen fuese calcular la superficie total de cada cultivo en concreto necesitaríamos realizar una serie de procesos que pasarían por la importación de los datos a formato .shp (u otro operativo dentro de ArcGIS), y después toda la serie de procesos para crear las superficies, identificarlas a través de sus etiquetas y por ultimo calcular las superficies de cada uso.

Para alguien familiarizado con ArcGIS el proceso no es muy complicado en sí, pero si por ejemplo en lugar de un único termino municipal, son varios, el tiempo en realizar todos los procesos se ve significativamente incrementado. Como hemos dicho antes, para este tipo de situaciones existe ModelBuilder. Es posible que cuando abramos por primera vez está utilidad nos planteemos si realmente nos va a suponer un ahorro real de tiempo, ya que la creación del modelo nos llevará, en sí,  cierto tiempo, para ello debemos valorar el volumen de datos a procesar, y cuantificar el tiempo efectivo del procesado de los datos, frente al tiempo de creación del modelo. En nuestro ejemplo hemos cuantificado que realmente el volumen de datos es suficientemente grande como para “perder” tiempo en la creación del modelo.

El primer paso será crear un Toolbox vacía que almacenará nuestro modelo, para ello dentro de ArcCatalog en la carpeta deseada pulsaremos el botón derecho del ratón y añadiremos la caja de herramientas , y nuevamente con el botón derecho sobre esta, añadiremos un nuevo modelo.

Esto nos abre el interfaz de desarrollo para crear el modelo desde cero. Como vemos existen diferentes opciones, y herramientas para implementar nuestro modelo. Además podemos arrastrar sobre este las distintas herramientas de ArcToolbox, o datos del catálogo, para añadir nuevas utilidades a nuestro modelo. Así pues y después de varias pruebas el modelo quedaría de la siguiente manera. La forma de realizar el modelo, es arrastrar los distintos elementos que lo van a componer y definir los distintos parámetros de cada herramienta.

 

Los pasos que sigue el modelo son en resumidas cuentas los siguientes:

1. Trasformación de las líneas en polígonos.

2. Join espacial de los polígonos creados y la capa de etiquetas.

3. Añadimos un campo que almacenará las superficies.

4. Calculamos las superficies de cada polígono y lo añadimos al campo anterior.

5. Creamos la tabla de salida con los sumatorios de las superficies de cada cultivo en concreto

Así pues partiendo de los datos en formato CAD de las líneas del parcelario (topológicamente conectadas) y de las etiquetas de los usos rústicos conseguimos un resumen de las superficies de cada tipo de uso.

 

La importancia de los GIS en la Gestión de Activos

Me gustaría aclarar en este punto que un SIG no tiene por qué ser, y normalmente no lo es, el único componente de un sistema de Gestión de la Información dentro de una compañía que se dedique a la gestión de activos físicos. Suele ser, por el contrario, un componente más, dentro de este sistema que lo engloba, junto con otros, por ejemplo: gestión de incidencias, sistemas de adquisición de datos en tiempo real, BBDD, etc.

A pesar de ser una parte integrante de un conjunto que puede ser muy amplio, es (y en este caso es mi opinión personal), en la mayoría de los casos, el que más relevancia tiene, al ser la componente geoespacial, un factor determinante en la mayoría de las industrias o negocios de este tipo, y aunque mucha información relacionada con un activo físico no dependa de su localización de una manera directa, ésta es determinante en muchos aspectos.

Por ejemplo en una red de saneamiento una sección de tubería con unas determinadas características (por ejemplo diámetro, pendiente y material) teóricamente cumplirá su función de transportar un caudal determinado de agua, sin importar su localización espacial, ya que éste está determinado por las dimensiones de la tubería y la velocidad del agua. 

Sin embargo a parte de las características físicas, e hidrodinámicas de la tubería, hay otros factores a tener en cuenta, sobre todo desde el punto de vista de la gestión de activos, que vienen determinados por su localización espacial, y su relación con otros elementos de la red y del entorno, por ejemplo los componentes geoquímicos del suelo. Evidentemente todos estos factores pueden ser considerados sin la utilización de un SIG, pero la manera más óptima de realizarlo es con herramientas que permitan realizar un análisis geoespacial, sobre todo cuando el volumen de datos es considerablemente grande.

Otro factor que hace necesario el uso de un GIS en la gestión de activos físicos, es que estos han  de ser operados y mantenidos, y para que estas actividades sean eficientes, la localización de estos ha de ser perfectamente conocida para, por ejemplo, minimizar el tiempo de respuesta ante una incidencia y reducir así el posible impacto por una interrupción en el servicio.

En definitiva la Gestión de Activos es una cuestión compleja, en la cual hay muchos factores a tener en cuenta, pero sin duda uno de los más importantes es la localización espacial del activo, y su relación con otros elementos, sean estos parte del negocio, o no.