Era del Big Data: cinco tendencias tecnológicas de análisis empresarial
Era del Big Data: cinco tendencias tecnológicas en análisis empresarial
Actualmente, los centros de tendencias están tan centrados en cómo abordar los desafíos analíticos como en cómo aprovechar al máximo las oportunidades en nuevas Intensidad de las perspectivas de negocio. Por ejemplo, a medida que más y más empresas comienzan a manejar grandes cantidades de datos y consideran cómo utilizarlos, está comenzando a surgir tecnología para gestionar y analizar conjuntos de datos grandes y dispares. Analizar las tendencias de costos y desempeño por adelantado significa que las empresas pueden hacer preguntas más complejas que antes, proporcionando más información útil para ayudarlas a administrar sus negocios.
En la entrevista, los CIO resumieron cinco tendencias principales de TI que afectan su análisis. Ellos son: el crecimiento del big data, la tecnología de procesamiento rápido, la caída del costo de los productos básicos de TI, la popularidad de los dispositivos móviles y el crecimiento de las redes sociales. 1. Big data
Big data se refiere a conjuntos de datos muy grandes, especialmente aquellos que no están bien organizados y no pueden caber en los almacenes de datos tradicionales. Los datos de las arañas web, las fuentes de redes sociales y los registros de servidores, así como los datos de las cadenas de suministro, las industrias, los entornos circundantes y los sensores de vigilancia, están haciendo que los datos de una empresa sean más complejos que nunca.
Sin embargo, no todas las empresas necesitan la tecnología para manejar grandes conjuntos de datos no estructurados. Perry Rotella, director de información de Verisk Analytics, cree que todos los directores de información deberían prestar atención a las herramientas de análisis de big data. Verisk ayuda a las empresas financieras a evaluar los riesgos y trabajar con las compañías de seguros para prevenir el fraude de seguros. Sus ingresos en 2010 superaron los mil millones de dólares.
Rotella cree que la actitud que deberían adoptar los líderes tecnológicos es que cuantos más datos, mejor, y acogen con satisfacción el crecimiento sustancial de los datos. El trabajo de Rotella es encontrar de antemano conexiones y modelos entre las cosas.
Cynthia Nustad, directora de información de HMS, cree que el big data presenta una tendencia de crecimiento "explosiva". El negocio de HMS incluye ayudar a controlar los costos de los programas Medicare y Medicaid y los servicios de nube privada. Sus clientes incluyen más de 40 programas estatales de servicios humanos y de salud y más de 130 planes administrados por Medicaid. HMS ayudó a sus clientes a recuperar 1.800 millones de dólares en pérdidas en 2010 al evitar pagos erróneos, ahorrando miles de millones de dólares. Nustad dijo: "Estamos recopilando y rastreando una gran cantidad de material, incluidos datos estructurados y no estructurados, porque no siempre sabes qué vas a encontrar en ellos
El big data del que más se habla". tecnología Una de las tecnologías es Hadoop. La tecnología es una plataforma de procesamiento de datos distribuidos de código abierto desarrollada originalmente para tareas como la edición de índices de búsqueda web. Hadoop es una de varias tecnologías "no relacionales (NoSQL)" (incluidas CouchDB y MongoDB) que organizan datos a escala web de formas especiales.
Hadoop puede asignar subconjuntos de datos a cientos o miles de servidores para su procesamiento. Los resultados reportados por cada servidor serán organizados por un programador de trabajo principal, por lo que tiene la capacidad de procesar datos a nivel de petabytes. Hadoop se puede utilizar tanto para la preparación de datos antes del análisis como como herramienta de análisis. Las empresas que no tienen miles de servidores inactivos pueden comprar acceso bajo demanda a instancias de Hadoop de proveedores de nube como Amazon.
HMS está explorando el uso de la tecnología NoSQL, aunque no para sus grandes bases de datos de reclamaciones de Medicare y Medicaid, dijo Nustad. Incluye datos estructurados y puede procesarse mediante tecnología de almacenamiento de datos tradicional. Dijo que no sería prudente comenzar con la gestión tradicional de bases de datos relacionales para responder qué tecnología relacional ha demostrado ser la mejor solución. Sin embargo, Nustad cree que Hadoop está desempeñando un papel importante en la prevención del fraude y el análisis de desperdicio y tiene el potencial de analizar los registros de pacientes informados en varios formatos.
En las entrevistas, los CIO entrevistados que habían experimentado Hadoop, incluidos Rotella y Shopzilla CIO, Jody Mulkey, trabajaban en empresas que incluían servicios de datos como negocio.
Mulkey dijo: "Estamos usando Hadoop para hacer cosas para las que hemos usado almacenes de datos en el pasado. Más importante aún, hemos obtenido tecnología de análisis práctica y útil que nunca antes habíamos usado". Por ejemplo, como empresa que compara sitios de compras, Shopzilla acumula terabytes de datos todos los días. Dijo: "Antes, teníamos que muestrear los datos y clasificarlos. Esta carga de trabajo era muy pesada al procesar datos masivos". Desde que adoptó Hadoop, Shopzilla puede analizar los datos sin procesar y omitir muchos pasos intermedios.
GoodSamaritan Hospital es un hospital comunitario en el suroeste de Indiana que se encuentra en una categoría diferente. "No tenemos lo que yo consideraría big data", dijo Chuck Christian, director de información del hospital. Aún así, los requisitos regulatorios lo obligan a almacenar tipos de datos completamente nuevos, como registros médicos electrónicos masivos. Dijo que esto sin duda requerirá que puedan recopilar información sobre la calidad de la atención médica a partir de los datos. Sin embargo, es probable que esto se logre dentro de asociaciones sanitarias regionales o nacionales y no dentro de hospitales individuales como el de ellos. Por lo tanto, es posible que Christian no necesariamente invierta en esta nueva tecnología.
John Ternent, director de información de Island One Resorts, dijo que los desafíos de análisis que enfrenta dependen de si se trata de "grandes" o "datos" en big data. Por ahora, sin embargo, está considerando cautelosamente el uso de instancias de Hadoop en la nube como una forma económica de analizar carteras hipotecarias complejas. Actualmente, la empresa gestiona ocho complejos turísticos de tiempo compartido en Florida. Dijo: "Esta solución tiene el potencial de resolver los problemas reales que enfrentamos actualmente". 2. Acelerar la velocidad del análisis empresarial
Vince Kellen, director de información de la Universidad de Kentucky, cree que es grande. La tecnología de datos es solo un gran problema en el análisis rápido. Un elemento de la tendencia. "Lo que estamos buscando es un enfoque más avanzado para analizar cantidades masivas de datos", dijo. El tamaño de los datos no es tan importante como analizarlos más rápidamente, "porque lo que se desea es que el proceso se realice rápidamente". ".
Debido a que la informática actual puede procesar más datos en la memoria, puede calcular los resultados más rápido que buscar datos en el disco duro. Esto es cierto incluso si sólo se trata de unos pocos gigabytes de datos.
A pesar de décadas de desarrollo, el rendimiento de la base de datos ha mejorado mucho al almacenar en caché los datos a los que se accede con frecuencia. Esta técnica resulta aún más útil cuando se cargan grandes conjuntos de datos en la memoria de un servidor o clúster de servidores, donde el disco duro sólo se utiliza como copia de seguridad. Debido a que recuperar datos de un disco giratorio es un proceso mecánico, es mucho más lento que procesar los datos en la memoria.
Rotella dijo que el análisis que realiza ahora en segundos le habría llevado una tarde hace cinco años. La empresa de Rotella se centra en el análisis prospectivo de grandes conjuntos de datos, lo que a menudo implica realizar consultas, encontrar modelos y realizar ajustes antes de la siguiente consulta. El tiempo de finalización de la consulta es muy importante cuando se trata de velocidad de análisis. Dijo: "En el pasado, el tiempo de ejecución era más largo que el tiempo de modelado, pero ahora el tiempo de modelado es más largo que el tiempo de ejecución.
El servidor de base de datos en columnas cambia la estructura tradicional de filas y columnas". la base de datos relacional y resuelve el problema cumple con otros requisitos de rendimiento. Las consultas solo acceden a columnas útiles, en lugar de leer el registro completo y seleccionar columnas opcionales, lo que mejora enormemente el rendimiento de las aplicaciones que organizan o miden columnas críticas.
Ternent advierte que las ventajas de rendimiento de las bases de datos en columnas requieren un diseño de consulta y aplicación adecuados. "Para hacer una distinción hay que hacer las preguntas correctas de la manera correcta", afirmó. Al mismo tiempo, también señaló que las bases de datos en columnas sólo son útiles para aplicaciones que manejan más de 500 gigabytes de datos. . Dijo: "Hay que recopilar datos a gran escala antes de que una base de datos en columnas pueda funcionar, porque depende de un cierto nivel de repetición para mejorar la eficiencia".
Allan Hackney, director de información de seguros y finanzas. El gigante de servicios John Hancock Company dijo que para mejorar el rendimiento del análisis, también es necesario mejorar el hardware, como agregar un chip GPU, que es el mismo que el procesador de gráficos utilizado en los sistemas de juegos. Dijo: “Los métodos computacionales necesarios para la visualización son muy similares a los utilizados en el análisis estadístico.
Los procesadores gráficos pueden realizar cálculos cientos de veces más rápido que los procesadores de servidores y PC normales. A nuestros analistas les encanta este dispositivo. ” 3. Los costos de la tecnología están cayendo
A medida que crece la potencia informática, la tecnología analítica comienza a beneficiarse de la caída de los precios de la memoria y el almacenamiento. Al mismo tiempo, a medida que el software de código abierto se convierte gradualmente en una alternativa a los productos comerciales, la competencia. La presión también ha provocado nuevas caídas en los precios de los productos comerciales.
Ternent es partidario del software de código abierto. Antes de unirse a IslandOne, Ternent fue vicepresidente de ingeniería en Pentaho, una empresa de inteligencia empresarial de código abierto. La fuente determina el alcance de la participación. Porque las empresas medianas como IslandOne pueden utilizar la aplicación de código abierto R para reemplazar SAS para el análisis estadístico. "
Las herramientas de código abierto solían tener solo capacidades básicas de generación de informes, pero ahora pueden proporcionar el análisis predictivo más avanzado. "Los reproductores de código abierto ahora pueden abarcar todo el espectro, lo que significa que cualquiera puede utilizar a ellos.
Nstad, de HMS, cree que los cambios en los costos informáticos están cambiando algunas opciones de infraestructura. Por ejemplo, un factor tradicional en la creación de un almacén de datos es reunir los datos en servidores con potentes capacidades informáticas. Las cargas de trabajo analíticas del sistema operativo pueden evitar la degradación del rendimiento de las cargas de trabajo del día a día cuando la potencia informática es insuficiente, afirma Nustad, lo que ya no es una opción "A medida que el hardware y el almacenamiento se vuelven más baratos, puedes hacer que estos sistemas operativos manejen un negocio. capa de inteligencia", dijo. "Los análisis creados directamente en aplicaciones operativas pueden proporcionar respuestas más rápidamente al reformatear y cargar datos en los almacenes.
Hackney observa que si bien las tendencias de precio/rendimiento favorecen los costos de gestión, estos ahorros potenciales se verán compensados por los crecientes requisitos de capacidad. aunque los costes de almacenamiento por dispositivo de John Hancock han disminuido entre un 2 y un 3% este año, mientras que el consumo ha aumentado un 20%.
< Como todas las aplicaciones, la inteligencia empresarial es cada vez más móvil. Para Nustad, la inteligencia empresarial móvil tiene prioridad porque todos. quiere que Nustad tenga acceso personal a informes sobre si su empresa está cumpliendo con sus acuerdos de nivel de servicio, en cualquier momento y en cualquier lugar. También espera brindar a los clientes de la empresa acceso móvil a datos para ayudarlos a monitorear y administrar sus gastos de atención médica, dijo: "Ésta es una característica que gusta mucho a los clientes". Hace cinco años, los clientes no necesitaban esta funcionalidad, pero ahora sí la necesitan.Para los CIO, atender esta tendencia tendrá más que ver con la creación de interfaces de usuario que funcionen para teléfonos inteligentes, tabletas y dispositivos con pantalla táctil que con capacidades analíticas más sofisticadas. Quizás por esa razón, Kellen cree que es relativamente fácil. : "Para mí, son sólo las pequeñas cosas. "
Rotella no cree que esto sea simple. Dijo: "La informática móvil afecta a todos. Mucha gente utiliza iPads para trabajar y otros dispositivos móviles están explotando. Esta tendencia está acelerando y cambiando la forma en que interactuamos con los recursos informáticos dentro de las empresas. Por ejemplo, Verisk ha desarrollado productos que permiten a los peritos realizar análisis rápidamente en el campo, para que puedan realizar evaluaciones de costos de reemplazo. "Este enfoque ha marcado una diferencia en nuestro análisis y también lo hace accesible a todos los que lo necesitan", dijo. Dijo que la gente puede usarlo fácilmente.
Rotella dijo: “El factor que desencadena este desafío es la velocidad de actualización de la tecnología. Hace dos años no teníamos iPads y ahora mucha gente los usa. A medida que surgen múltiples sistemas operativos, intentamos comprender cómo impactan nuestro desarrollo para no tener que escribir estas aplicaciones una y otra vez. Por otro lado, la necesidad de crear aplicaciones nativas para cada plataforma móvil puede estar disminuyendo a medida que los navegadores de teléfonos y tabletas se vuelven más potentes, señaló Ternent de IslandOne: "Si pudiera usar una aplicación basada en web específicamente para dispositivos móviles, lo haría. No estoy seguro de si invertiría en una aplicación móvil personalizada", afirmó Ternent.
” 5. La incorporación de las redes sociales
Con el auge de las redes sociales como Facebook y Twitter, cada vez más empresas quieren analizar los datos generados por estos sitios web. Las aplicaciones de análisis recientemente lanzadas apoyan el procesamiento del lenguaje humano. , Las técnicas estadísticas como el análisis de sentimientos y el análisis de redes no forman parte del típico conjunto de herramientas de inteligencia empresarial.
Debido a que son nuevas, un ejemplo de esto es la disponibilidad de muchas herramientas de análisis de redes sociales Radian6. es un producto de software como servicio (SaaS) adquirido recientemente por Salesforce.com. Es un panel de redes sociales para comentarios en Twitter, publicaciones en Facebook, publicaciones y comentarios en blogs y foros de discusión. mostrado como números positivos y negativos, especialmente para proporcionar inferencias visuales vívidas para las marcas. Cuando los compran los departamentos de marketing y servicio al cliente, este tipo de herramienta ya no depende mucho del departamento de TI. todavía cree que hay que prestarles mucha atención: "Mi trabajo consiste en identificar estas tecnologías, evaluar qué algoritmos son adecuados para la empresa en función de la competitividad y luego empezar a formar a las personas adecuadas.
Las universidades, al igual que otras empresas, están interesadas en monitorear la reputación de sus instituciones. Al mismo tiempo, Kellen dijo que también puede buscar oportunidades para desarrollar aplicaciones diseñadas específicamente para abordar las preocupaciones de las escuelas, como . Monitorear la inscripción de los estudiantes, por ejemplo, monitorear las publicaciones de los estudiantes en las redes sociales puede ayudar a las escuelas y a los administradores a comprender los problemas que enfrentan los estudiantes en la universidad lo antes posible. Kellen dijo que Dell ya ha hecho este trabajo. Dijo que los desarrolladores de TI también deberían encontrar formas de enviar alertas de análisis de redes sociales a las aplicaciones para que las empresas puedan responder rápidamente a incidentes relacionados. Hackney dijo: “No tenemos el conocimiento ni las herramientas. para procesar y extraer el valor de publicaciones masivas en las redes sociales. Sin embargo, una vez que haya recopilado los datos, deberá poder obtener suficiente información sobre los eventos de la empresa para correlacionarlos. Si bien Hackney considera que los esfuerzos de John Hancock en esta área están "en su infancia", cree que los departamentos de TI desempeñarán un papel importante en la correlación de datos proporcionada por los servicios de análisis social sobre los datos de la empresa, por ejemplo, si los datos de las redes sociales muestran que la empresa comenta socialmente. en el Medio Oeste es cada vez más negativo, por lo que querrá ver si la empresa realiza cambios de precio o de estrategia en la región que reviertan esa tendencia negativa, dijo Hackney. El objetivo de la cuasi correlación es convencer a los líderes de la empresa de que invertir en las redes sociales. tiene un alto rendimiento, dijo: “En mi industria, todos son actuarios, todos calculan y no basan nada en ello. ”
Lo anterior es el contenido relevante compartido por el editor sobre la era del big data: cinco tendencias principales en tecnología de análisis empresarial. Para obtener más información, puede seguir a Global Ivy para compartir más información seca.