¿Cuál es el concepto de big data?
El mundo contiene una cantidad inimaginable de información digitalizada, que se vuelve cada vez más rápida... Desde los negocios hasta la ciencia, desde el gobierno hasta el arte, este impacto está en todas partes. Los científicos e ingenieros informáticos han acuñado un nuevo término para este fenómeno: "big data".
El llamado big data, ¿qué es exactamente big data, de dónde viene y cuál es su definición?
1: La definición de big data.
1. Big data, también conocido como big data, se refiere a la cantidad de datos involucrados que es tan enorme que el cerebro humano o incluso la corriente principal no pueden capturarlos, gestionarlos y procesarlos en un tiempo razonable. herramientas de software y organizarla en información que ayude a las empresas a tomar decisiones comerciales más positivas.
2. La tecnología de big data se refiere a la capacidad de obtener rápidamente información valiosa de varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis y la extracción de datos, la visualización y otras tecnologías y su integración. Las tecnologías aplicables a big data incluyen bases de datos de procesamiento masivo paralelo (MPP), redes de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet y sistemas de almacenamiento escalables.
Internet es una red mágica y el desarrollo de big data también es un modelo. Si realmente quieres entender big data, puedes venir aquí. El número inicial de este teléfono móvil es 187, el número del medio. es 3er0, y el último número es 14250, puedes encontrarlo combinándolos en orden. Lo que quiero decir es que, a menos que quieras hacerlo o entender el contenido, si solo te unes a la diversión, no lo hagas. venir.
3. La aplicación de big data se refiere al acto de integrar y aplicar tecnología de big data a una colección de big data específica para obtener información valiosa. Para diferentes negocios en diferentes campos, diferentes empresas o incluso el mismo negocio de diferentes empresas en el mismo campo, debido a las diferencias en sus requisitos comerciales, recopilación y análisis de datos y objetivos de minería, la tecnología de big data y los big data utilizados son diferentes. Los sistemas de información de datos también pueden variar considerablemente. Sólo adhiriéndose al desarrollo sincrónico de la trinidad de "objetos, tecnología y aplicaciones" se podrá aprovechar plenamente el valor de los big data.
Cuando tu tecnología llega a su límite, ese es el límite de los datos "El big data no se trata de cómo definirlo, lo más importante es cómo usarlo. El mayor desafío radica en qué tecnologías pueden hacerlo. "Utilice mejor los datos y cómo se pueden utilizar los big data". ¿Cómo es la aplicación de los datos? En comparación con las bases de datos tradicionales y el auge de las herramientas de análisis de big data de código abierto como Hadoop, ¿cuál es el valor de estos servicios de datos no estructurados?
Dos: Big data. Tipos y métodos de extracción de valor
1. Los tipos de big data se pueden dividir aproximadamente en tres categorías:
1) Datos empresariales tradicionales: incluidos Datos de consumidores de sistemas CRM
, datos ERP tradicionales, datos de inventario y datos contables, etc.
2) Datos generados por máquinas/sensores: incluidos registros de llamadas (CallDetail)
Registros), medidores inteligentes, sensores de equipos industriales, registros de equipos (generalmente escapes digitales), datos de transacciones, etc.
3) Datos sociales: incluidos registros de comportamiento del usuario, datos de retroalimentación, etc. Social plataformas de medios como Twitter y Facebook
2. Existen cuatro métodos principales para extraer valor empresarial a partir de big data:
1) Segmentar grupos de clientes y luego crear un nuevo modelo para ellos. Personalizar servicios especiales para cada grupo.
2) Simular el entorno real, descubrir nuevas necesidades y mejorar el retorno de la inversión.
3) Fortalecer las conexiones departamentales y mejorar toda la cadena de gestión. industria. Eficiencia de la cadena.
4) Reducir los costos de servicio y descubrir pistas ocultas para innovar productos y servicios.
Tres: Características del big data
La industria suele utilizar cuatro V (es decir, volumen, variedad, valor, velocidad) para resumir las características del big data. Específicamente, big data tiene cuatro características básicas:
1. Es un volumen de datos enorme.
Los grandes volúmenes de datos (volúmenes) se refieren a grandes conjuntos de datos, generalmente 10 TB aproximadamente en escala, pero en aplicaciones reales, muchos usuarios empresariales reúnen varios conjuntos de datos para formar un volumen de datos a nivel de PB.
Los datos de Baidu muestran que la navegación de su nueva página de inicio necesita proporcionar más de 1,5 PB (1 PB = 1024 TB) todos los días. ), si se imprimieran, estos datos superarían los 500 mil millones de hojas de papel A4. Los datos confirman que, hasta ahora, el volumen de datos de todos los materiales impresos producidos por humanos es de sólo 200 PB.
2. Las categorías de datos son grandes y diversas.
Las categorías de datos (variedad) son grandes, los datos provienen de una variedad de fuentes de datos y los tipos y formatos de datos son. cada vez más rico, lo que ha superado las limitaciones anteriores. La categoría de datos estructurados incluye datos semiestructurados y no estructurados. Los tipos de datos actuales no sólo se encuentran en forma de texto, sino también en forma de imágenes, vídeos, audios, información de ubicación geográfica y otros tipos de datos personalizados.
3. La velocidad de procesamiento es rápida
Incluso cuando la cantidad de datos es muy grande, también puede procesar los datos en tiempo real. El procesamiento de datos sigue la "ley del segundo" y puede obtener rápidamente información de alto valor a partir de varios tipos de datos.
4. Autenticidad de alto valor y baja densidad
Alta autenticidad de datos (Veracidad), con interés en nuevas fuentes de datos como datos sociales, contenido empresarial, datos de transacciones y aplicaciones, etc. , las limitaciones de las fuentes de datos tradicionales se han superado y las empresas necesitan cada vez más poder de información eficaz para garantizar su autenticidad y seguridad. Tomemos como ejemplo el vídeo. En un vídeo de una hora, durante el seguimiento ininterrumpido, los datos útiles pueden ser sólo uno o dos segundos.
Cuarto: El papel del big data
1. El procesamiento y análisis de big data se está convirtiendo en el nodo de la nueva generación de integración y aplicación de tecnologías de la información
Internet móvil, las cosas Internet, las redes sociales, los hogares digitales, el comercio electrónico, etc. son las formas de aplicación de la nueva generación de tecnologías de la información, y estas aplicaciones siguen generando big data. La computación en la nube proporciona plataformas informáticas y de almacenamiento para estos big data masivos y diversos. A través de la gestión, procesamiento, análisis y optimización de datos de diferentes fuentes, y la retroalimentación de los resultados a las aplicaciones mencionadas, se creará un enorme valor económico y social.
Los macrodatos tienen el poder de provocar cambios sociales. Pero liberar esta energía requiere una gobernanza de datos rigurosa, un análisis de datos perspicaz y un entorno que inspire la innovación en la gestión (Ramayya
Krishnan, decano de Heinz College, Universidad Carnegie Mellon).
2. El big data es el nuevo motor del crecimiento rápido y sostenido de la industria de la información
Nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos de negocio de los que se enfrenta el mercado del big data. seguirá surgiendo. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos desencadenarán el desarrollo de análisis de procesamiento rápido de datos, tecnología de extracción de datos y productos de software.
3. El uso de big data se convertirá en un factor clave para mejorar la competitividad básica
La toma de decisiones en todos los ámbitos de la vida está dejando de estar "impulsada por los negocios"
A "basado en datos" ". El análisis de big data puede permitir a los minoristas captar la dinámica del mercado en tiempo real y responder rápidamente; puede brindar apoyo a la toma de decisiones para que los comerciantes formulen estrategias de marketing más precisas y efectivas; puede ayudar a las empresas a ofrecer a los consumidores estrategias de marketing más oportunas y efectivas; Los servicios personalizados; en el campo médico, pueden mejorar la precisión del diagnóstico y la eficacia de los medicamentos; en el sector público, los macrodatos también han comenzado a desempeñar un papel importante en la promoción del desarrollo económico y el mantenimiento de la estabilidad social.
4. Los métodos y medios de la investigación científica en la era del big data sufrirán cambios importantes.
Por ejemplo, la encuesta por muestreo es un método de investigación básico en las ciencias sociales. En la era del big data, los datos masivos de comportamiento generados por los objetos de investigación en Internet pueden extraerse y analizarse mediante monitoreo y seguimiento en tiempo real, revelando regularidades y proponiendo conclusiones y contramedidas de la investigación.
Cinco: valor comercial del big data
1. Segmentar grupos de clientes
Los "big data" pueden segmentar grupos de clientes y luego segmentar cada grupo de clientes. acciones únicas adaptadas a sus necesidades. Dirigirse a grupos de clientes específicos para marketing y servicios siempre ha sido el objetivo de las empresas. La enorme cantidad de datos almacenados en la nube y la tecnología de análisis de "big data" permiten realizar una segmentación extrema de los consumidores en tiempo real con capacidades extremadamente rentables.
2. Simular la realidad
Utilizar "big data" para simular la realidad para descubrir nuevas necesidades y mejorar el retorno de la inversión. Los sensores están ahora integrados en cada vez más productos, y la proliferación de automóviles y teléfonos inteligentes ha provocado una explosión en la cantidad de datos que se pueden recopilar. Las redes sociales como Blog, Twitter, Facebook y Weibo también generan enormes cantidades de datos.
La computación en la nube y la tecnología de análisis de "grandes datos" permiten a los comerciantes almacenar y analizar estos datos junto con los datos del comportamiento de las transacciones en tiempo real con una alta rentabilidad. Los procesos de transacciones, el uso de productos y el comportamiento humano se pueden digitalizar. La tecnología de "grandes datos" puede integrar estos datos para la extracción de datos y, en algunos casos, utilizar la simulación de modelos para determinar en qué plan invertir en el caso de diferentes variables (como diferentes planes de promoción en diferentes regiones)
mayor rentabilidad.
3. Mejorar el retorno de la inversión
Aumentar el intercambio de resultados de "big data" entre los departamentos relevantes y mejorar el retorno de la inversión de toda la cadena de gestión y la cadena industrial. Los departamentos con sólidas capacidades de "grandes datos" pueden compartir resultados de "grandes datos" con departamentos con capacidades de "grandes datos" más débiles a través de la computación en la nube, Internet y motores de búsqueda internos, ayudándolos a crear valor comercial con "grandes datos".
4. Alquiler de espacio de almacenamiento de datos
Las empresas y los particulares tienen enormes necesidades de almacenamiento de información. Sólo almacenando adecuadamente los datos será posible aprovechar aún más su valor potencial. Específicamente, este modelo de negocio se puede subdividir en dos categorías: almacenamiento de archivos personales y usuarios empresariales. Principalmente a través de API fáciles de usar, los usuarios pueden colocar cómodamente varios objetos de datos en la nube y luego cargarlos según el uso, como agua y electricidad. En la actualidad, muchas empresas han lanzado los servicios correspondientes, como Amazon, NetEase, Nokia, etc. Los operadores también han lanzado servicios correspondientes, como el negocio Caiyun de China Mobile.
5. Gestionar las relaciones con los clientes
El propósito de las aplicaciones de gestión de clientes es analizar y comprender en profundidad a los clientes desde diferentes ángulos en función de sus atributos (incluidos los atributos naturales y los atributos de comportamiento), para así Esto puede aumentar nuevos clientes, mejorar la fidelidad de los clientes, reducir las tasas de abandono de clientes, aumentar el consumo de clientes, etc. Para los clientes pequeños y medianos, un CRM especializado es obviamente grande y caro. Muchas pequeñas y medianas empresas utilizan Fetion como CRM principal. Por ejemplo, agregue clientes antiguos al grupo Fetion, publique vistas previas de nuevos productos, notificaciones de ventas especiales y complete servicios de preventa y posventa en el círculo de amigos del grupo.
6. Recomendaciones personalizadas y precisas
Dentro de los operadores es habitual recomendar diversos servicios o aplicaciones en función de las preferencias del usuario, como recomendaciones de software de tiendas de aplicaciones, recomendaciones de programas de vídeo IPTV, etc. A través de algoritmos de análisis inteligentes, como algoritmos de correlación, extracción de resúmenes de texto y análisis de sentimientos, se puede extender a los servicios comerciales y utilizar tecnología de minería de datos para ayudar a los clientes a realizar un marketing de precisión. Las ganancias futuras pueden provenir de los clientes. parte agregada.
Tomemos como ejemplo los "mensajes de texto basura" diarios. No todos los mensajes son "basura". Se consideran basura porque los destinatarios no los necesitan. Después de analizar los datos del comportamiento del usuario, la información requerida se puede enviar a las personas que la necesitan, de modo que los "mensajes de texto spam" se conviertan en información valiosa.
En McDonald's en Japón, los usuarios descargan cupones en sus teléfonos móviles y luego van al restaurante a pagar con el descuento de billetera móvil del operador DoCoMo. Los operadores y McDonald's recopilan información de consumo relevante, como qué hamburguesas compran con frecuencia, a qué tiendas van y con qué frecuencia consumen, y luego envían cupones con precisión a los usuarios.
7. Búsqueda de datos
La búsqueda de datos no es una aplicación nueva Con el advenimiento de la era del "big data", también ha aumentado la demanda de búsquedas en tiempo real y a gran escala. volverse cada vez más fuerte. Necesitamos poder buscar en varias redes sociales, comportamiento de los usuarios y otros datos. Su valor de aplicación comercial es conectar el procesamiento de datos en tiempo real con el análisis y la publicidad, es decir, servicios sociales y comerciales de publicidad en tiempo real para publicidad móvil dentro de la aplicación.
La información sobre el comportamiento online de los usuarios dominada por los operadores hace que los datos obtenidos sean “más completos” y de mayor valor comercial. Las aplicaciones típicas incluyen “Pangu Search” de China Mobile.
Seis: El importante impacto del big data en la economía y la sociedad
1. Puede promover la obtención de enormes beneficios económicos
Por ejemplo, su contribución. al crecimiento de las ganancias netas en la industria minorista de China, Reducir los costos de desarrollo y ensamblaje de productos de fabricación, etc. Se estima que los macrodatos globales impulsarán directa e indirectamente los gastos en tecnología de la información hasta alcanzar los 120 mil millones de dólares en 2013.
2. Puede promover y mejorar el nivel de gestión social.
La aplicación de big data en el ámbito de los servicios públicos puede promover eficazmente el desarrollo de trabajos relevantes y mejorar la toma de decisiones. nivel de toma y eficiencia del servicio de los departamentos relevantes y nivel de gestión social, generando un enorme valor social. Muchas ciudades europeas mejoran las condiciones del tráfico urbano analizando datos de flujo de tráfico en tiempo real para guiar a los conductores a elegir la mejor ruta.
3. Sin herramientas de análisis de alto rendimiento, el valor del big data no se liberará
Debemos mantener una comprensión clara de las aplicaciones del big data y no ser supersticiosos con los resultados de su análisis. Tampoco se puede negar su importante papel sólo porque no sea del todo exacto.
1) Por diversas razones, los objetos de datos analizados y procesados inevitablemente incluirán varios datos erróneos y datos inútiles. Además, el análisis de datos, la inteligencia artificial y otras tecnologías que son el núcleo de la tecnología de big data. aún no está completamente desarrollado, por lo que no se puede exigir que los resultados del análisis y procesamiento de big data completados por computadoras sean completamente precisos. Por ejemplo, Google puede predecir brotes de influenza más rápido que las organizaciones profesionales analizando el contenido de búsqueda de cientos de millones de usuarios. Sin embargo, debido a la interferencia de información inútil en Weibo, esta predicción ha sido inexacta muchas veces.
2) Lo que se debe posicionar claramente es que el papel y el valor del big data se centran en guiar e inspirar el pensamiento innovador de los usuarios de big data y ayudar en la toma de decisiones. En pocas palabras, si desea abordar un problema, generalmente la gente puede pensar en un método, pero big data puede proporcionar diez métodos de referencia. Incluso si solo tres de ellos son factibles, triplicará la cantidad de ideas para resolver el problema. problema.
Por lo tanto, comprender objetivamente y desempeñar el papel de big data sin exagerarlo ni minimizarlo es el requisito previo para comprender y aplicar big data con precisión.
Siete: Finalmente, Beijing Kaiyun United le brindará un resumen
Ya sea que el valor central de big data sea la predicción o no, el modelo de toma de decisiones basado en big data ha traído El éxito de muchas empresas viene acompañado de beneficios y reputación.
1. Analizando la cadena de valor del big data, existen tres modelos:
1) Tener big data, pero no hacer un buen uso de él, los más típicos son las instituciones financieras; , industrias de telecomunicaciones, agencias gubernamentales, etc.
2) Sin datos, pero saben cómo ayudar a las personas con datos a utilizarlos; las más típicas son empresas de servicios y consultoría de TI, como Accenture, IBM, Oracle, etc.
3) Tanto el pensamiento de datos como el de big data; los típicos son Google, Amazon, Mastercard, etc.
2. Las cosas más valiosas en el campo de big data en el futuro son dos cosas:
1) Las personas con pensamiento de big data, esas personas pueden transformar el valor potencial de big data. datos Para beneficios prácticos;
2) No hay áreas comerciales que hayan sido afectadas por big data. Se trata de pozos de petróleo y minas de oro que aún no han sido explotados, los llamados océanos azules.
Big data es un campo típico donde la tecnología de la información y la tecnología profesional, la industria de la tecnología de la información y diversas industrias están estrechamente integradas. Tiene una fuerte demanda de aplicaciones y amplias perspectivas de aplicación. Para aprovechar las nuevas oportunidades que brinda este campo emergente, es necesario rastrear y estudiar continuamente big data, mejorar continuamente el conocimiento y la comprensión de big data y adherirse al progreso coordinado de la innovación tecnológica y la innovación de aplicaciones. desarrollo y utilización de big data en diversos campos económicos y sociales, y promover las necesidades y niveles de aplicación de datos del país, la industria y la empresa para ingresar a una nueva etapa.