¿Qué papel juega la evaluación del sistema en el proceso de análisis del sistema?
Ya sea en países desarrollados o en desarrollo, la tasa de éxito de los proyectos de construcción de sistemas de información es mucho menor que la de otros proyectos de construcción, y hay un dicho sobre el agujero negro de TI. Como resultado, los problemas existentes en la construcción de proyectos de sistemas de información han atraído cada vez más atención. Al analizar los casos, se descubrió que, si bien hay muchas razones para el fracaso de la construcción de un sistema de información, casi todos los casos de fracaso están estrechamente relacionados con la falta de una evaluación oportuna y necesaria. Como resultado, la evaluación de sistemas de información se ha incluido en la agenda y se ha convertido en un tema candente en la gestión de proyectos de sistemas de información.
Debido a los diferentes niveles de comprensión de los evaluadores y la complejidad de la evaluación del sistema de información, inevitablemente surgirán algunos problemas en la práctica de la evaluación del sistema de información. Los problemas comunes incluyen principalmente los siguientes aspectos:
En la práctica actual de evaluación de sistemas de información, el tipo de error más común es que el objetivo de la evaluación no está claro. . Antes de realizar la evaluación, no analizamos cuidadosamente el propósito de la evaluación y no entendimos por qué era necesaria. En cambio, adoptamos el enfoque habitual y realizamos una evaluación integral, incluidos los beneficios económicos, los beneficios sociales, el nivel técnico, etc. , siempre y cuando se establezcan indicadores para evaluar todo lo que se pueda imaginar o incluir en otras evaluaciones. Esto a menudo da como resultado que los resultados de la evaluación sean bastante diferentes de la intención original de la evaluación. De hecho, las metas son el núcleo de la evaluación; todas las evaluaciones se centran en ellas. Si el objetivo no es claro, los resultados de la evaluación obtenidos no tendrán importancia ni uso práctico, lo que definitivamente desperdiciará personas y dinero, y no serán apreciados. Por ejemplo, si el propósito de la evaluación es solo evaluar la calidad del desarrollo y la estabilidad del sistema de información, no hay necesidad de considerar los beneficios económicos del sistema de información correspondientemente, si el propósito es evaluar los beneficios del sistema de información; , no es necesario considerar el desarrollo del sistema de información. Calidad y otras cuestiones. Por lo tanto, antes de realizar una evaluación de un sistema de información, es necesario aclarar los objetivos de la evaluación. Por un lado, se asegura que los resultados de la evaluación cumplan con los requisitos y, por otro lado, se eliminan factores innecesarios para facilitar la evaluación. para implementar.
2. La comprensión insuficiente de la complejidad de la evaluación de los sistemas de información a menudo no termina bien.
En la evaluación de los sistemas de información, la comprensión insuficiente de la complejidad de la evaluación de los sistemas de información también es un error relativamente común. . error. Cuando el responsable asumió la tarea de evaluación, siempre quiso hacer esta evaluación mejor que cualquier evaluación anterior. Fijó metas ambiciosas y fijó algunas metas. Esperaba enumerar todos los aspectos involucrados y construir el mejor modelo de evaluación. los resultados son a menudo contraproducentes. A medida que el trabajo de evaluación se profundizó, descubrieron que las cosas no eran nada sencillas. Al ver que se acercaba la fecha límite, no tuvieron más remedio que terminarlo apresuradamente y ocuparse del asunto. La razón principal para cometer tales errores es no comprender completamente la complejidad de la evaluación de los sistemas de información.
La complejidad de la evaluación de un sistema de información está determinada por muchos factores, que se reflejan principalmente en los siguientes aspectos: Primero, el alto riesgo y la incertidumbre del desarrollo del sistema de información hacen que el costo, el cronograma y el plazo de finalización sean muy difíciles. difícil de determinar; en segundo lugar, los beneficios generados por el sistema de información están descentralizados, es decir, los beneficiarios del sistema de información incluyen muchos objetos, lo que aumenta la complejidad de evaluar sus beneficios; en tercer lugar, una vez que el sistema de información se pone en uso; se ha integrado en la organización de la empresa. Es difícil subdividir el impacto real de las organizaciones y los procesos de negocio en las empresas, e incluso es imposible evaluarlos individualmente, especialmente los beneficios intangibles, los beneficios indirectos, los beneficios a largo plazo y los beneficios rezagados; Es incluso menos probable que los datos generados tras la finalización del sistema de información se midan directamente. Además, los sistemas de información involucran muchos temas y tienen diferentes puntos de partida, por lo que el contenido de la evaluación puede ser muy diferente. Las diferentes etapas de evaluación requieren diferentes métodos de evaluación aplicables. Los evaluadores deben ser plenamente conscientes de estas complejidades de la evaluación de sistemas de información y prestar atención a las cuestiones clave y centrales al considerar los problemas. Si son irrelevantes para el propósito de la evaluación o tienen poca relevancia, deben renunciar a lo que se debe abandonar. No deben “agarrarse las cejas y la barba”. De esta manera, no sólo se pueden simplificar los problemas de la evaluación, sino que también se consideran todas las cuestiones clave y centrales, lo que garantizará que los resultados de la evaluación se acerquen más a la esencia del problema. Al mismo tiempo, el trabajo de evaluación se realizará de manera ordenada gracias a una cuidadosa consideración previa.
3. Un énfasis excesivo en la racionalidad y formalidad del proceso de evaluación conduce a una reducción en la operatividad de la evaluación.
En el proceso de evaluación de sistemas de información, se pone demasiado énfasis en la racionalidad y formalidad del proceso de evaluación de proyectos, mientras que también son comunes los errores de no prestar atención a la operatividad de los métodos de evaluación de los sistemas de información. De hecho, no importa qué tipo de método de evaluación se elija, si es operable es uno de los criterios importantes para sopesar si es científico.
En la práctica, algunos evaluadores ponen mucho esfuerzo en la determinación de indicadores cuantitativos y la selección de modelos matemáticos, ignorando la operatividad del método de evaluación, lo que resulta en una evaluación fallida o poco realista. Para evitar este problema, se deben considerar los siguientes aspectos: Primero, estudiar las evaluaciones exitosas de otras personas sobre sistemas de información iguales o similares, analizar las ganancias y pérdidas y seleccionar la esencia. Esto puede evitar desvíos en el proceso de evaluación y mejorar la operatividad del método de evaluación. En segundo lugar, se deben utilizar múltiples métodos en combinación para mejorar la confiabilidad de la evaluación. Hay muchos factores que se deben considerar al evaluar un sistema. No es factible utilizar un solo método para evaluar o medir diferentes factores y adoptar un enfoque de "talla única", y tampoco es práctico. Sólo mediante el uso conjunto de múltiples métodos para evaluar el sistema en función de su entorno específico podemos obtener conclusiones integrales y objetivas. En tercer lugar, el método de evaluación debería simplificarse lo más posible para que sea comprensible y verificable.
Dado que la construcción de sistemas de información es un proyecto de sistema complejo, la complejidad del trabajo de evaluación debe estimarse completamente y no perseguir ciegamente la perfección y precisión de la evaluación. Esto se debe a que cuanto más precisa sea. evaluación, cuanto más complejo es; cuanto más complejo es el método, menor es su operatividad. Por lo tanto, es necesario lograr algún compromiso entre la viabilidad del método de evaluación y la precisión de la evaluación, y simplificar el método de evaluación bajo la premisa de que se puede lograr el objetivo básico.
4. El diseño del sistema de indicadores está lleno de lagunas, lo que da como resultado resultados de evaluación poco convincentes.
También es fácil cometer algunos errores al diseñar el sistema de indicadores para la evaluación del sistema de información. Un problema común es el diseño de los indicadores: los niveles no son claros, existe una relación inclusiva entre los indicadores, los indicadores no son mensurables y el sistema de indicadores no puede reflejar completamente la situación integral del objeto que se está evaluando, etc. La aparición de tales errores conduce a menudo a fallos en la evaluación o a resultados de evaluación poco convincentes. De hecho, el diseño del sistema de indicadores es una parte clave de la evaluación del sistema; si hay un error en este enlace, no importa qué tan bien se haga el trabajo posterior, todos los esfuerzos anteriores serán en vano.
El diseño del sistema de índices de evaluación de sistemas de información debe seguir ciertos principios. En concreto, en primer lugar, el diseño de indicadores de evaluación debe prestar atención a la combinación de cientificidad y avance. Es necesario garantizar que los indicadores tengan un cierto carácter científico y que puedan reflejar nuevas ideas para el trabajo de evaluación. En segundo lugar, los indicadores de diseño deben ser sistemáticos. Los indicadores en el sistema de indicadores no están ensamblados al azar, sino que deben formar un todo orgánico. Sólo así podemos garantizar que el sistema de indicadores diseñado pueda reflejar la situación integral del objeto evaluado de manera relativamente completa y objetiva. En tercer lugar, el diseño de indicadores debe seguir el principio de mensurabilidad, es decir, los indicadores diseñados son mensurables y pueden obtener datos verdaderos y confiables a través de ciertos canales para asegurar la operatividad del trabajo de evaluación. Además, también debemos prestar atención al principio de combinar métodos cualitativos y cuantitativos. Dado que la evaluación del sistema de información involucra todos los aspectos, es difícil hacer una evaluación objetiva del sistema simplemente usando métodos cuantitativos o cualitativos. Por lo tanto, es mejor utilizar una combinación de métodos cualitativos y cuantitativos.
5. Comprensión insuficiente de la evaluación
No analiza más a fondo los resultados de la evaluación del sistema. Se cree que siempre y cuando el sistema se evalúe de cierta manera y se presente un informe de evaluación. escrito, todo estará bien. Ya está, este es uno de los errores más comunes que se cometen en las evaluaciones. De hecho, no importa qué tipo de evaluación sea, su propósito final es, por un lado, hacer un resumen del sistema y, lo que es más importante, encontrar problemas y resumir experiencias a través de la evaluación, a fin de brindar orientación para el trabajo futuro. En la práctica, otra tendencia errónea es no darse cuenta plenamente del valor de la evaluación del sistema de información en sí y no realizar una investigación en profundidad sobre si existen errores entre los resultados de la evaluación y la situación real. De hecho, estas cuestiones tienen mucho que ver con seguir mejorando el trabajo de evaluación: estudiar el valor del trabajo de evaluación en sí puede hacer que los líderes sean plenamente conscientes del papel de la evaluación, atraer la atención de los líderes hacia este trabajo y hacer que el trabajo de evaluación futuro sea más fácil de llevar a cabo. Al estudiar si hay errores entre los resultados de la evaluación y la situación real y aclarar las razones de los errores, podemos corregir los errores para acercar los resultados de la evaluación a la realidad y también acumular algo de experiencia para realizar evaluaciones similares. en el futuro.
6. La comprensión insuficiente de los factores humanos en el proceso de evaluación conduce a una objetividad insuficiente en la evaluación.
La comprensión insuficiente de los factores humanos también es un error fácil de cometer en el proceso de práctica de la evaluación. . En la actualidad, la mayoría de la gente cree que la evaluación es responsabilidad de los evaluadores, siempre que sean hábiles y concienzudos en su trabajo, los resultados de la evaluación obtenidos serán objetivos y justos.
De hecho, además del cuerpo principal de evaluadores, hay muchas personas involucradas en el trabajo de evaluación real, incluidos expertos que participan en la investigación y evaluación del contenido específico del sistema, líderes del sistema, personal de I+D, usuarios y recolectores de datos que participar en evaluaciones del sistema, etc., cualquier problema en cualquiera de los lados conducirá a un resultado de evaluación no objetivo. Por ejemplo, si la selección de expertos es relativamente estrecha, el contenido de la evaluación serán las opiniones de uno o dos expertos, perdiendo el significado de evaluación colectiva, se debería decir que los usuarios del sistema son los que tienen más voz, pero si; simplemente están cumpliendo con las formalidades, o los evaluadores piensan que no son expertos y sus palabras no tienen peso, lo que obviamente afectará los resultados de la evaluación, los recolectores de datos no trabajan con seriedad y los datos recopilados no son completos ni siquiera fundamentados; sobre supuestos subjetivos, lo que también conducirá a una distorsión de los resultados de la evaluación. La evaluación del responsable del sistema de información de la unidad es obviamente importante, pero si insiste en que "los escándalos familiares no deben hacerse públicos", los investigadores siempre pueden conseguirlo; elogios de su parte como "el sistema tiene mucho éxito". Se puede observar que en el proceso de evaluación de sistemas de información el factor humano es crucial.
7. No tomar el camino de combinar teoría y práctica
En el proceso práctico de evaluación de sistemas de información, muchas unidades no se dan cuenta completamente de que la evaluación también es un proceso iterativo de combinación de teoría. y la práctica, y también hay una falta de investigación empírica correspondiente, y no se puede proporcionar retroalimentación a través de la práctica. De hecho, la evaluación de sistemas de información se basa en la teoría de la evaluación y es un proceso de la teoría a la práctica. Si los resultados de la evaluación son consistentes con la situación real del sistema de información, o si la teoría utilizada es adecuada para evaluar un determinado sistema de información, también debe probarse a través de la práctica, y la teoría de evaluación existente debe revisarse si es necesario. Esta es otra. paso de la práctica al proceso teórico. De la teoría a la práctica, y luego a la teoría, se necesitan varias iteraciones para formar una serie de métodos de evaluación relativamente estables y maduros. En la práctica de la evaluación, esto parece difícil de lograr, porque la práctica de la evaluación generalmente no tiene la posibilidad de repetirse, pero si aprendemos de otros ejemplos de evaluación de sistemas de información, en realidad se puede hacer de manera similar;