Cómo redactar un informe de propuesta de maestría
El informe de propuesta de maestría se puede redactar a partir de una breve descripción de la fuente del tema, el propósito y la importancia de la investigación, y el estado actual y las tendencias de desarrollo de la investigación en el país y en el extranjero. consulte los ejemplos siguientes.
1. Fuente del tema:
Este tema proviene de dos hechos que el autor aprendió durante sus estudios y prácticas, y es un tema de elaboración propia.
Primero, el autor realizó una investigación en XXX Company en julio de 2011 y descubrió que todas las industrias se enfrentan ahora a un aumento espectacular en el volumen de datos, lo que ha provocado problemas como una velocidad de procesamiento empresarial lenta y dificultades en el mantenimiento de los datos. . Para hacer frente a este desafío, muchas empresas han comenzado a implementar estrategias de desarrollo de big data. Las estrategias actuales de desarrollo de big data se pueden resumir en dos categorías. Una es la expansión vertical.
Es decir, utilizar equipos con mayor capacidad de almacenamiento y mayor potencia de procesamiento es más caro. En el pasado, muchas grandes empresas han estado utilizando este método para procesar big data. Pero desde que Google publicó tres artículos técnicos sobre GFS, MapReduce y BigTable en 2004, la computación en la nube comenzó a aumentar y en 2006 se lanzó el proyecto Apache Hadoop.
Desde 2009, con el desarrollo de la computación en la nube y el big data, Hadoop, como excelente solución de análisis y procesamiento de datos, comenzó a atraer la atención de muchas empresas de TI. En comparación con el costoso costo de la expansión vertical, la gente prefiere este método de expansión horizontal mediante la integración de recursos informáticos baratos. Como resultado, muchas empresas de TI comenzaron a explorar el uso del marco Hadoop para construir sus propios entornos de big data.
En segundo lugar, el autor aprendió además durante su pasantía en XXX en abril de 2013 que debido a las limitaciones de las bases de datos relacionales en el almacenamiento de formatos de datos y los inconvenientes en la escalabilidad causados por su mecanismo de esquema, actualmente en la mayoría de las aplicaciones de big data En entornos se utilizan bases de datos no estructuradas, como Hbase para almacenamiento de columnas, MangoDB para almacenamiento de documentos, base de datos de gráficos neo4j, etc.
Estas bases de datos no estructuradas se han utilizado ampliamente en entornos de aplicaciones de big data debido a sus ventajas, como una gran escalabilidad, alta utilización de recursos, alta concurrencia y rápida velocidad de respuesta. Sin embargo, este tipo de aplicación sólo resuelve el procesamiento empresarial front-end. Para utilizar realmente big data para lograr inteligencia empresarial, también es necesario proporcionar un entorno de datos (un almacén de datos) para sistemas de soporte de decisiones y aplicaciones de análisis en línea. Con este fin, el instructor guió al autor de este artículo para redactar este tema y estudiar una solución de almacenamiento de datos basada en el marco Hadoop.
2. Propósito y significado de la investigación:
Hoy en día, los datos han penetrado en todas las industrias y se han convertido en un importante factor de producción. En los últimos años, debido a la acumulación histórica y al crecimiento acelerado de los datos, varias industrias se enfrentan a problemas de big data. De hecho, los big data presentan tanto oportunidades como desafíos. El uso razonable y completo de big data y su transformación en activos de información masivos, de alto crecimiento y diversificados permitirá a las empresas tener un mayor poder de toma de decisiones, descubrimiento de conocimientos y capacidades de optimización de procesos.
Por lo tanto, muchas empresas de TI consideran el big data como su importante estrategia de desarrollo. Por ejemplo, Amazon y Facebook han implementado la industria del big data y han logrado resultados impresionantes. De hecho, no sólo las grandes empresas de Internet como Google, eBay o Amazon necesitan desarrollar big data, sino que empresas de cualquier tamaño tienen la oportunidad de obtener ventajas de big data y así construir la base para sus futuros análisis comerciales para competir con sus pares. , consiguiendo importantes ventajas.
En comparación con las grandes empresas, las pequeñas y medianas empresas tienen diferentes estrategias de desarrollo de big data. Las grandes empresas pueden confiar en su gran capital y fortaleza técnica para desarrollar sus propias plataformas de software basadas en su propio entorno y negocio. Sin embargo, las pequeñas y medianas empresas no tienen tanta solidez técnica ni una inversión de capital tan grande, por lo que están más inclinadas a elegir una solución común y relativamente barata.
Este artículo tiene como objetivo analizar las características de las bases de datos en entornos de big data y, combinado con el popular marco Hadoop, propone e implementa una solución de almacenamiento de datos adecuada para entornos de big data. Proporcionar referencia para que las pequeñas y medianas empresas creen un almacén de datos en un entorno de big data.
Específicamente, tiene principalmente los siguientes tres aspectos: en primer lugar, las bases de datos convencionales actuales, como Oracle y SQL Server, tienen un conjunto completo de soluciones de almacenamiento de datos correspondientes a sus propias plataformas de bases de datos, aunque no existen almacenes de datos. Soluciones correspondientes a plataformas de bases de datos como MySQL, existen muchas soluciones integradas de almacenamiento de datos.
Para las bases de datos no estructuradas, debido a que sus modelos de datos son diferentes de las bases de datos relacionales, se necesitan nuevas soluciones. La solución de implementación de almacén de datos basada en Hive/Pentaho propuesta en este artículo puede proporcionar una referencia.
En segundo lugar, al integrar bases de datos no estructuradas de múltiples fuentes, se genera un almacén de datos integrado y orientado a temas, que puede proporcionar un entorno de datos para el procesamiento de transacciones en línea, soporte de decisiones, etc. en la plataforma de big data. utilizando así de forma eficaz los recursos para ayudar a tomar decisiones de gestión.
En tercer lugar, big data es un concepto amplio, que incluye detalles técnicos en varios niveles, como almacenamiento de big data, computación de big data, análisis de big data, etc. Este artículo propone "soluciones de almacenamiento de datos en entornos de big data y Realizar “enriquecer el entorno ecológico de la tecnología de aplicación de big data y brindar soporte para el análisis de datos, la minería de datos, etc. en el entorno de big data.
3. Una breve descripción del estado actual de la investigación y las tendencias de desarrollo en el país y en el extranjero:
El cuerpo principal de la investigación de este artículo es el almacén de datos, que es diferente de los almacenes de datos tradicionales. Bases de datos relacionales, este artículo se centra en big data. Construcción e implementación de almacenes de datos basados en bases de datos no estructuradas en un entorno. Por tanto, es necesario elaborar desde dos aspectos: almacén de datos y base de datos en un entorno de big data.
(1) Estado actual de la investigación sobre almacenes de datos en el país y en el extranjero:
Desde que Bill Inmon propuso el concepto de "almacén de datos" en 1990, la tecnología de almacenamiento de datos comenzó a surgir y traer Han surgido nuevas oportunidades y gradualmente se ha convertido en un importante punto de acceso tecnológico. Actualmente, entre 30 y 40 empresas en Estados Unidos han construido o están construyendo almacenes de datos. Hoy en día, con la mejora de la teoría de los modelos de datos y el avance continuo de la tecnología de bases de datos, el desarrollo de aplicaciones y la tecnología de minería, la tecnología de almacenamiento de datos continúa desarrollándose y desempeña un papel muy importante en las aplicaciones prácticas.
Los sistemas de soporte a la toma de decisiones basados en almacenes de datos y que utilizan herramientas de procesamiento analítico y minería de datos en línea son cada vez más maduros. Al mismo tiempo, los enormes beneficios generados por el uso de almacenes de datos han estimulado la demanda de tecnología de almacenamiento de datos y el mercado de almacenes de datos se está desarrollando con rápido impulso.
La informatización empresarial de mi país comenzó relativamente tarde y el desarrollo de la tecnología de almacenamiento de datos en el país aún se encuentra en la etapa de acumulación de experiencia. Aunque en los últimos años, las grandes y medianas empresas de mi país se han dado cuenta gradualmente de la importancia de utilizar la tecnología de almacenamiento de datos y han comenzado a establecer sus propios sistemas de almacenamiento de datos, como China Mobile, China Telecom, China Unicom, la Bolsa de Valores de Shanghai y PetroChina. .
Sin embargo, en general, es necesario cultivar más el mercado de almacenamiento de datos de mi país y todavía existe una gran brecha entre la tecnología de almacenamiento de datos y los países extranjeros. Con este fin, muchos trabajadores científicos y tecnológicos de nuestro país han comenzado a realizar investigaciones en profundidad sobre tecnologías relacionadas con el almacenamiento de datos, absorbiendo y aprendiendo de tecnologías extranjeras, y sobre esta base han propuesto soluciones técnicas adecuadas a las necesidades nacionales.
(2) Estado actual de la investigación de bases de datos no estructuradas en el país y en el extranjero:
Con la aplicación profunda de la tecnología de bases de datos en diversos campos, las bases de datos estructuradas han revelado gradualmente algunas desventajas. Por ejemplo, en los campos de la biología, la geografía, el clima, etc., las estructuras de datos a las que se enfrenta la investigación no son estructuras de datos relacionales tradicionales. Si se utiliza una base de datos relacional para almacenarla y mostrarla, se debe convertir por la fuerza de su propia estructura de datos a una estructura de datos relacional.
El uso de este método para procesar datos no estructurados no puede administrar datos no relacionales durante todo el ciclo de vida y la relación entre los datos no se puede expresar completamente. En este contexto surgieron las bases de datos no estructuradas. En comparación con las bases de datos relacionales, la longitud de los campos de las bases de datos no estructuradas es variable y los registros de cada campo pueden estar compuestos por subcampos repetibles o no repetibles.
De esta manera, no sólo puede procesar datos estructurados, sino también datos no estructurados como texto, imágenes, sonidos, películas e hipermedia.
En los últimos años, con el auge de los big data, las bases de datos no estructuradas han comenzado a utilizarse ampliamente para respaldar diversos datos estructurados procesados por big data.
En la actualidad, existen muchos tipos de bases de datos no estructuradas, que se dividen según sus tipos de datos de almacenamiento, incluidas bases de datos en memoria, almacenamiento en columnas, bases de datos de documentos, bases de datos de gráficos, etc. Entre ellas, las bases de datos de memoria comunes incluyen SQLite, Redis, Altibase, etc.; las bases de datos de almacenamiento de columnas incluyen Hbase, Bigtable, etc.; las bases de datos de documentos incluyen MangoDB, CouchDB, RavenDB, etc.;
En los últimos años, las bases de datos no estructuradas de mi país también se han desarrollado hasta cierto punto, la más representativa de las cuales es la base de datos iBASE de Guoxin Base. Es previsible que en un futuro próximo, con la aplicación de big data, las bases de datos no estructuradas alcancen un rápido desarrollo y sean ampliamente utilizadas.