C.10 Métodos para os quais não foram encontrados os PDFs Parte 2
4.2 Execução
Este experimento foi conduzido utilizando o método de estimativa de software Inter- mediate COCOMO, que é descrito em detalhes na Seção 2.1.2.2, utilizando o dataset COCOMO81 do projeto Promise. Esse dataset contêm dados de 63 projetos reais e será utilizado para calcular a estimativa com e sem a influência dos RNFs na entrada do método de estimativa.
Os datasets do projeto Promise, incluindo o COCOMO81, são disponibilizados no formato ARFF. Uma amostra de trechos do arquivo ARFF é apresentada:
\% 1. T i t l e / T o p i c : c o c o m o 8 1 / s o f t w a r e c o s t e s t i m a t i o n
@ r e l a t i o n c o c o m o 8 1
\% 2. S o u r c e s :
\% - - Boehm ’ s 1 9 8 1 text , t r a n s c r i b e d by S r i n i v a s a n and
,→ F i s h e r \% @ B o o k { boehm81 , ( . . . ) @ d a t a 0 . 8 8 , 1 . 1 6 , 0 . 7 , 1 , 1 . 0 6 , 1 . 1 5 , 1 . 0 7 , 1 . 1 9 , 1 . 1 3 , 1 . 1 7 , 1 . 1 , 1 , 1 . 2 4 , 1 . 1 , 1 . 0 4 , ,→ 1 1 3 , 2 0 4 0 0 .8 8 ,1 . 16 ,0 . 85 , 1 , 1. 0 6 , 1 , 1 .0 7 , 1 , 0 .9 1 ,1 ,0 . 9 , 0. 9 5 , 1 .1 ,1 ,1 , 29 3 , 1 60 0 1 , 1 . 1 6 , 0 . 8 5 , 1 , 1 , 0 . 8 7 , 0 . 9 4 , 0 . 8 6 , 0 . 8 2 , 0 . 8 6 , 0 . 9 , 0 . 9 5 , 0 . 9 1 , 0 . 9 1 , 1 , 1 3 2 , ,→ 243 0 . 7 5 , 1 . 1 6 , 0 . 7 , 1 , 1 , 0 . 8 7 , 1 , 1 . 1 9 , 0 . 9 1 , 1 . 4 2 , 1 , 0 . 9 5 , 1 . 2 4 , 1 , 1 . 0 4 , 6 0 , 2 4 0 0.88 ,0.94 ,1 ,1 ,1 ,0.87 ,1 ,1 ,1 ,0.86 ,0.9 ,0.95 ,1.24 ,1 ,1 ,16 ,33 0.75 ,1 ,0.85 ,1 ,1.21 ,1 ,1 ,1.46 ,1 ,1.42 ,0.9 ,0.95 ,1.24 ,1.1 ,1 ,4 ,43 0.75 ,1 ,1 ,1 ,1 ,0.87 ,0.87 ,1 ,1 ,1 ,0.9 ,0.95 ,0.91 ,0.91 ,1 ,6.9 ,8 1 . 1 5 , 0 . 9 4 , 1 . 3 , 1 . 6 6 , 1 . 5 6 , 1 . 3 , 1 , 0 . 7 1 , 0 . 9 1 , 1 , 1 . 2 1 , 1 . 1 4 , 1 . 1 , 1 . 1 , 1 . 0 8 , ,→ 22 ,1075
Nesse formato, o cabeçalho apresenta detalhes do dataset. No final do arquivo são tabulados os dados de forma que cada linha contém um projeto distinto, e as variá- veis/entradas de um projeto estão separadas por vírgulas. O ARFF foi convertido em uma planilha onde cada coluna é uma entrada diferente do método Intermediate CO- COMO e cada linha apresenta um projeto diferente. A planilha final é análoga à Tabela 4.1.
O cálculo da estimativa de esforço do método com a influência dos RNFs foi realizado a partir desta planilha populada com os dados do dataset. Como o dataset apresenta todas as entradas previstas para o método Intermediate COCOMO, basicamente tivemos que criar as fórmulas, conforme descrito na Seção 2.1.2.2 do método de estimativa.
A Tabela 4.2 apresenta uma amostra (dados de 6 dentre 63 projetos) dessa planilha com os cálculos realizados para a estimativa de esforço utilizando todos os drivers do método Intermediate COCOMO (ou seja, com o uso de RNFs). A primeira coluna da
tabela apresenta o ID do Projeto, a segunda coluna o esforço realizado efetivamente em cada projeto, a terceira o esforço estimado pelo método Intermediate COCOMO, em seguida os valores das constantes a, b e EAF do método e por fim o cálculo do erro utilizando a metodologia MRE.
Tabela 4.2: Amostra de planilha gerada para cálculo da estimativa e do erro utilizando RNFs.
ID do Projeto Esf. Realizado Esf. Estimado a b EAF MRE
1 2040 1863 2.8 1.2 2.28 8.65 2 1600 2152 2.8 1.2 0.84 34.50 3 243 235 3.0 1.12 0.34 1.37 (...) (...) (...) (...) 61 50 47 3.2 1.05 0.44 5.46 62 38 41 3.0 1.12 0.98 8.38 63 15 17 2.8 1.20 0.38 14.23 MMRE - - - 32.26
A segunda execução do experimento, sem a influência dos RNFs, foi realizada utili- zando uma cópia da planilha com os dados do dataset. Para que fosse possível realizar uma estimativa sem a influência dos RNFs, todas as entradas do método de estimativa Intermediate COCOMO que se referem a RNFs receberam o valor 1 em todo o dataset, uma vez que 1 é um valor neutro, que não influenciará na estimativa. Receberam o valor 1 os seguintes parâmetros relacionados a RNF: Required software reliability, Run-time performance constraints, Memory constraints attributes, Volatility of the virtual machine environment e Required turnaround time. A Tabela B.1 no Apêndice mostra todos as en- tradas do Intermediate COCOMO (cost drivers); note que o valor neutro é o apresentado na coluna Nominal. Desta maneira, foi possível calcular o esforço estimado e consequen- temente o erro (MRE) do método sem utilizar RNFs para cada projeto do dataset.
Utilizando esse procedimento obtivemos o esforço estimado para cada projeto utili- zando o método Intermediate COCOMO, utilizando e não utilizando os RNFs no método de estimativa. Como descrito anteriormente, o dataset apresenta o esforço realizado efe- tivamente em cada projeto, ou seja, quanto foi realmente despendido em cada projeto. Assim, foi possível calcular o erro da estimativa (MRE) para cada um dos projetos nos dois cenários (com e sem RNF). A próxima Seção apresenta e analisa os dados obtidos durante esta execução.
4.3
Análise
Esta Seção apresenta a análise realizada sobre os dados obtidos durante a fase de execução deste experimento, levando em consideração os 2 cenários (com e sem a influência de RNFs).
A Tabela 4.3 mostra o erro da estimativa (MRE) em propriedades estatísticas: média (chamada de MMRE), mediana e desvio padrão para todos os projetos envolvidos no
experimento.
Tabela 4.3: Experimento - Intermediate COCOMO com Promise COCOMO81 Com RNF Sem RNF Perc.Redução
Média (MMRE) 32.26 46.67 30,88%
Mediana 22.18 37.29 40,52%
Desvio padrão 32.41 31.65 -
Os números na Tabela 4.3 indicam uma vantagem no uso dos requisitos não-funcionais como entrada para as estimativas. Por exemplo, o uso de RNF reduziu o erro médio de 46.67 para 32.26, uma redução de 30.88%. Analisando a mediana, houve uma redução de 40,52%. No entanto, é importante confirmar que a distribuição dos erros (MRE) com e sem requisitos não funcionais são estatisticamente diferentes.
Conforme justificado na seção 4.1.4 o método Kolmogorov-Smirnov (K-S teste duas amostras) foi utilizado para comparar as duas distribuições (com e sem RNF). Uma ferra- menta online (http://www.physics.csbsju.edu/cgi-bin/stats/KS-test.n.plot) foi utilizada para produzir a Figura 4.1, que mostra graficamente as distribuições acumula- tivas. A diferença máxima entre as distribuições cumulativas é de 0.2857 e o Pr(same) correspondente é 0.009, o que significa que há somente 0.9% de chance das duas distri- buições serem a mesma.
Figura 4.1: Gráfico cumulativo Kolmogorov - Pr(same): probabilidade das duas distri- buições serem a mesma
O experimento mostra que a precisão, conforme mostrado também na Tabela 4.3, foi melhorada cerca de 30% quando os RNFs são utilizados. Já o K-S teste mostrou que as duas distribuições (com e sem RNF) são diferentes com uma segurança estatística de 99.1%. Então, pode-se argumentar que o uso de RNF produz resultados melhores da estimativa, baseado em dados significantemente estatísticos gerados. No entanto, é im- portante ressaltar que os resultados são preliminares e limitados, pois apenas um método de estimativa foi utilizado e este método foi manualmente ajustado para aceitar estimati- vas sem RNF como entrada. Além disso, apenas um dataset foi utilizado. Desta maneira, a afirmação de que estimativas de software sem o uso RNF produzem resultados piores precisa ser confirmada em pesquisas futuras. De qualquer maneira, nossa pesquisa mos- tra que há fortes indicações de que há uma correlação positiva entre o uso de RNFs nas estimativas de esforço e a precisão da estimativa.
Conclusão
Esta dissertação apresentou uma pesquisa com o objetivo de entender quão abrangente é o uso de requisitos não-funcionais como entrada para os métodos algorítmicos de estimativa de esforço na literatura. Uma revisão sistemática foi conduzida para responder o OBJ- 1 (entender como os métodos algorítmicos de estimativa de esforço existentes tratam os requisitos não-funcionais) e o OBJ-2 (entender a relação do uso de requisitos não- funcionais com a precisão dos métodos algorítmicos de esforço).
Foram obtidas 22320 publicações da literatura sobre o tema. Após aplicarmos filtros para falsos positivos, como a retirada de duplicações e procedimentos para seleção já pré definidos pela metodologia, restaram 39 publicações. A revisão sistemática respondeu adequadamente ao OBJ-1 já que foi possível notar que houve o dobro de métodos algo- rítmicos de estimativa de esforço de software (26 vs 13) que não utilizam requisitos não funcionais.
No entanto, não foi possível obter uma clara conclusão do OBJ-2 através da revisão sistemática (questão de pesquisa Q4), já que as publicações disponíveis na literatura sobre o tema são inconclusivas sobre a relação do uso ou não de requisitos não funcionais na precisão da estimativa. Mais importante ainda, não foi possível derivar conclusões estatisticamente significativas dos dados publicados.
Cada questão de pesquisa da revisão sistemática tem um risco diferente de ser ou não possível de respondê-la exclusivamente através da revisão sistemática. A Q4, no caso específico deste trabalho, não foi possível de responder (devido a natureza da pergunta realizada). Devido a isso, é sugerido adicionar um passo de avaliação do risco, durante a fase de planejamento, de cada questão de pesquisa proposta no protocolo da revisão sistemática, com o objetivo de estimar qual o percentual daquela questão ser possível de responder. Além disso, a criação do passo “Fontes e métodos de referência” à revisão sistemática ajudou a criar um string de busca melhor, portanto é sugerido adicionar este passo ao realizar o planejamento de uma revisão sistemática.
O fato de não ter sido possível obter a versão completa de todos as publicações da literatura, muitas vezes por serem antigas e difíceis de localizar, pode ser visto como uma ameaça à validade da revisão sistemática já que pode afetar a validade do experimento. No entanto, outros pesquisadores já reportaram na literatura este problema e seus efeitos. Nossa pesquisa focou em métodos algorítmicos de estimativa. Apesar de que o número de publicações foi grande no início, apenas poucas delas apresentaram novos métodos de
estimativa (muitas publicações apresentaram análises em estimativa, mas não um novo método de estimativa especificamente). Além disso, nós não refizemos a busca para pro- curar por novos estudos relevantes a esta revisão sistemática desde Julho de 2014.
Apesar disso, o resultado da revisão sistemática mostra os métodos algorítmicos de estimativa de esforço publicados na literatura, apresentando assim uma visão do estado da arte dos métodos algorítmicos de estimativa de esforço. Trabalhos futuros podem ser realizados em cima desta base de conhecimento, sem que toda a literatura seja analisada novamente.
A fim de cumprir o OBJ-2, um quase-experimento foi realizado visando entender a relação do uso dos RNFs e a precisão dos métodos algorítmicos. O resultado experimental do quase-experimento, utilizando o dataset público do projeto Promise, mostrou que o uso de RNFs resulta em uma redução de aproximadamente 30% do erro da estimativa do software. Análises adicionais realizadas com o teste Kolmogorov mostraram que as distribuições (com e sem requisitos não-funcionais) são diferentes com 99.1% de segurança estatística. Portanto, podemos argumentar que a redução do erro em 30% quando há o uso de requisitos-não funcionais tem significância estatística, já que as distribuições são diferentes.
Os resultados obtidos durante o quase-experimento apontam uma forte indicação de que há correlação entre o uso de requisitos não-funcionais e a precisão do método para o Intermediate-COCOMO no dataset Promise (OBJ-2). Não há como afirmar com certeza a generalização desta afirmação para outros métodos de estimativa e datasets.
As principais contribuições deste trabalho foram: (a) conhecimento do estado da arte na utilização de métodos algorítmicos de estimativa de custo; (b) lições aprendidas nos passos de planejamento da revisão sistemática (como avaliar o risco das questões de pes- quisa e inserido o passo “Fontes e métodos de referência”); (c) identificação de forte indicação de que há correlação entre o uso de RNFs e a precisão do método de estimativa. Experimentos futuros poderão ser realizados utilizando mais métodos algorítmicos distintos de estimativa de software e diferentes datasets a fim de trazer mais evidências a relação entre o uso de RNFs e a precisão da estimativa.
[1] Delphi method - trendnovation southeast. http://trendsoutheast.org/2011/all- issues/issue-02/delphi-method/, 2011. Accessed: 2013-09-10.
[2] Acm digital library. http://dl.acm.org/, 2013. Accessed: 2013-12-01.
[3] Citeseer library. http://citeseer.ist.psu.edu, 2013. Accessed: 2013-12-01.
[4] Collection of computer science bibliographies. http://liinwww.ira.uka.de/bibliography/, 2013. Accessed: 2013-12-01.
[5] Ei compendex. http://www.ei.org/, 2013. Accessed: 2013-12-01.
[6] Elsevier. http://www.elsevier.com/advanced-search, 2013. Accessed: 2013-12-01.
[7] Estimation techniques | software benchmarking | software estimation | software stan- dards | isbsg. http://www.isbsg.org/, 2013. Accessed: 2013-08-19.
[8] Google scholar. http://scholar.google.com, 2013. Accessed: 2013-12-01.
[9] Ibm publications center. http://www-05.ibm.com/e- business/linkweb/publications/servlet/pbi.wss, 2013. Accessed: 2013-12-01.
[10] Ieee xplore digital library. http://ieeexplore.ieee.org/, 2013. Accessed: 2013-12-01.
[11] Science direct. http://www.sciencedirect.com, 2013. Accessed: 2013-12-01.
[12] Springer link. http://link.springer.com/, 2013. Accessed: 2013-12-01.
[13] Wiley online library. http://onlinelibrary.wiley.com/, 2013. Accessed: 2013-12-01.
[14] Mendeley. http://www.mendeley.com/, 2014. Accessed: 2014-02-01.
[15] Select estimator. http://www.infotechfl.com/estimator, 2015. Accessed: 2015-07- 15.
[16] Zotero. https://www.zotero.org/, 2015. Accessed: 2015-03-18.
[17] Scopus. https://www.scopus.com/, 2016. Accessed: 2016-09-21.
[18] S. A. Abbas, X. Liao, A. U. Rehman, A. Azam, and M.I. Abdullah. Cost estimation: A survey of well-known historic cost estimation techniques. Journal of Emerging
Trends in Computing and Information Sciences, 3(4):612–636, 2012.
[19] R. Abdukalykov, I. Hussain, M. Kassab, and O. Ormandjieva. Quantifying the impact of different non-functional requirements and problem domains on software effort estimation. IEEE Transactions on Software Engineering, 33(1):33–53, 2007.
[20] Rolan Abdukalykov, Ishrar Hussain, Mohamad Kassab, and Olga Ormandjieva. Quantifying the impact of different non-functional requirements and problem do- mains on software effort estimation. In Software Engineering Research, Management
and Applications (SERA), 2011 9th International Conference on, pages 158–165.
IEEE, 2011.
[21] Silvia Abrahao and Emilio Insfran. A metamodeling approach to estimate software size from requirements specifications. In 2008 34th Euromicro Conference Software
Engineering and Advanced Applications, pages 465–475. IEEE, 2008.
[22] A. J. Albrecht. Measuring application development productivity. In Proceedings
of the Joint Share, Guide, and IBM Application Development Symposium, pages
83–92, 1979.
[23] Allan J. Albrecht and John E Gaffney. Software function, source lines of code, and development effort prediction: a software science validation. IEEE transactions on
software engineering, (6):639–648, 1983.
[24] Allan J. Albrecht and John E. Gaffney Jr. Software function, source lines of code, and development effort prediction: a software science validation. IEEE Transactions
on Software Engineering, (6):639–648, 1983.
[25] P Alderson and S Green. Cochrane reviewers’ handbook 4.2.2. In The Cochrane
Library, Issue 1, 2004.
[26] Javier Alvarez, Francisco Ortega, Vicente Rodríguez, and Nieves Roqueñí. Estima- tion software project through basic functional units.
[27] L. Angelis, I. Stamelos, and M. Morisio. Building a software cost estimation model based on categorical data. pages 4–15, 2001.
[28] A. Antón. Goal Identification and Refinement in the Specification of Information
Systems. PhD thesis, Georgia Institute of Technology, 1997.
[29] N. B. Armstrong. “Software Estimating: A Description and Analysis of Current
Methodologies with Recommendation on Appropriate Techniques For Estimating RIT Research Corporation Software Projects. PhD thesis, , Wallace Memorial Li-
brary, RIT, 1987.
[30] Doty Associates. Software Cost Estimation Study: Study Results. Rome Air Deve- lopment Center, Air Force Systems Command, 1977.
[32] John W. Bailey and Victor R. Basili. A meta-model for software development resource expenditures, 1981.
[33] John W Bailey and Victor R Basili. A meta-model for software development re- source expenditures. In Proceedings of the 5th international conference on Software
engineering, pages 107–116. IEEE Press, 1981.
[34] Jorge Biolchini, Paula Gomes Mian, Ana Candida Cruz Natali, and Gui- lherme Horta Travassos. Systematic review in software engineering. System En-
gineering and Computer Science Department COPPE/UFRJ, Technical Report ES,
679(05):45, 2005.
[35] Barry Boehm, Chris Abts, and Sunita Chulani. Software development cost estima- tion approaches - a survey. Annals of Software Engineering, 10(1):177–205, 2000.
[36] Barry Boehm, A Winsor Brown, Ray Madachy, and Ye Yang. A software product line life cycle cost estimation model. In Empirical Software Engineering, 2004.
ISESE’04. Proceedings. 2004 International Symposium on, pages 156–164. IEEE,
2004.
[37] Barry Boehm, Bradford Clark, Ellis Horowitz, Richard Shelby, and Chris Westland. An overview of the cocomo 2.0 software cost model. In Software Technology Confe-
rence, April 1995.
[38] Barry W. Boehm. Software Engineering Economics. Prentice Hall, Englewood Cliffs, NJ, 1981.
[39] Pearl Brereton, Barbara A. Kitchenham, David Budgen, Mark Turner, and Moha- med Khalil. Lessons from applying the systematic literature review process within the software engineering domain. J. Syst. Softw., 80(4):571–583, April 2007.
[40] Lionel C Briand, Khaled El Emam, and Frank Bomarius. COBRA: a hybrid method for software cost estimation, benchmarking, and risk assessment. In Proceedings of
the 20th international conference on Software engineering, pages 390–399. IEEE
Computer Society, 1998.
[41] Jung Choi and Sumit Sircar. An empirical model of software size and work-effort estimation for business application software. Journal of Computer Information Sys-
tems, 47(2):66–75, 2006.
[42] Lawrence Chung and Julio Cesar Prado Leite. Conceptual modeling: Foundations and applications. chapter On Non-Functional Requirements in Software Enginee- ring, pages 363–379. Springer-Verlag, Berlin, Heidelberg, 2009.
[43] Evita Coelho and Anirban Basu. Effort estimation in agile software development using story points. International Journal of Applied Information Systems, 3(7):7–10, 2012.
[44] Norman Dalkey and Olaf Helmer. An experimental application of the delphi method to the use of experts. Management Science, 9(3):458–467, 1963.
[45] Wayne W Daniel. Kolmogorov–smirnov one-sample test. Applied Nonparametric
Statistics, pages 319–330, 1990.
[46] A. Davis. Software Requirements: Objects, Functions and States. Prentice Hall, 1993.
[47] Marsha Finfer and Russell Mish. Software acquisition management guidebook: Cost estimation and measurement. Technical report, DTIC Document, 1978.
[48] F. R. Freiman and R. E. Park. Price software model - version 3: an overview. 1979.
[49] Juan J Cuadrado Gallego, Daniel Rodríguez, Miguel Ángel Sicilia, Miguel Garre Rubio, and Angel García Crespo. Software project effort estimation based on mul- tiple parametric models generated through data clustering. Journal of Computer
Science and Technology, 22(3):371–378, 2007.
[50] D. D. Galorath and M. W. Evans. Software sizing, estimation, and risk management:
When performance is measured performance improves. Boca Raton, 2006.
[51] D. D. Galorath and D. J. Reifer. Analysis of the state of the art of parametric software cost modeling. Technical report, Software management consultants, 1980.
[52] Matthias Galster and Eva Bucherer. A taxonomy for identifying and specifying non-functional requirements in service-oriented development, 2008.
[53] Dean Giustini and Maged Kamel Boulos. Google scholar is not enough to be used alone for systematic reviews. Online Journal of Public Health Informatics, 5(2), 2013.
[54] Martin Glinz. On non-functional requirements. IEEE International Requirements
Engineering Conference, pages 21–26, 2007.
[55] S. Grimstad, M. Jorgensen, and K. Molokken-Ostvold. Information and software technology. International Journal of Forecasting, 48(4):302–310, 2006.
[56] Mitsuari Hakuta, Fujimitsu Tone, and Masato Ohminami. A software size estima- tion model and its evaluation. Journal of Systems and Software, 37(3):253–263, 1997.
[57] Maurice H. Halstead. Elements of Software Science. Elsevier North-Holland, Ams- terdam, 1977.
[58] Robert T. Hughes, Alan Cunliffe, and Franklyn Young-Martos. Evaluating soft- ware development effort model-building techniques for application in a real-time telecommunications environment. IEE Proceedings-Software, 145(1):29–33, 1998.
[59] A. Idri, A. Abran, and T. M. Khoshgoftaar. Estimating software project effort by analogy based on linguistic values. pages 21–30, 2002.
[60] 610.12 - Standard Glossary of Software Engineering Terminology, 1990.
[61] IEEE. 830-1998 - recommended practice for software requirements specifications. Technical report, 1998.
[62] Systems and software engineering — Measurement process, 2007.
[63] Information technology – Open Distributed Processing – Unified Modeling Language (UML), 2005.
[64] Software and systems engineering – Software measurement – IFPUG functional size measurement method, 2009.
[65] Minoru Itakura and Akio Takayanagi. A model for estimating program size and its evaluation. In Proceedings of the 6th international conference on Software enginee-
ring, pages 104–109. IEEE Computer Society Press, 1982.
[66] R. W. Jensen. A comparison of the jensen and cocomo schedule and cost estimation models. 1978.
[67] Richard L Jenson and Jon W Bartley. Parametric estimation of programming effort: an object-oriented model. Journal of Systems and Software, 15(2):107–114, 1991.
[68] Capers Jones. Program Quality and Programmer Productivity. Technical Report TR 02.764, IBM, 1977.
[69] Capers Jones. The spr feature point method. 1986.
[70] Capers Jones. Applied Software Measurement (2Nd Ed.): Assuring Productivity and
Quality. McGraw-Hill, Inc., Hightstown, NJ, USA, 1997.
[71] Capers Jones. A short history of the lines of code (loc) metric. 2008.
[72] M. Jorgensen, B. Boehm, and S. Rifkin. Software development effort estimation: Formal models or expert judgment? IEEE Software, 26(2):14–19, 2009.
[73] Magne Jorgensen and Martin Shepperd. A systematic review of software develop- ment cost estimation studies. IEEE Trans. Softw. Eng., 33(1):33–53, January 2007.
[74] M. Jørgensen. Estimation of software development work effort: evidence on expert judgement and formal models. International Journal of Forecasting, 3(3):449–462, 2007.
[75] Ivan Jureta, Stéphane Faulkner, and Pierre Yves Schobbens. A more expressive softgoal conceptualization for quality requirements analysis, 2006.
[76] A Kanai, T Furuyama, and M Takahashi. A cost model for software conversion based on program characteristics and a converter effect. In Computer Software
and Applications Conference, 1992. COMPSAC’92. Proceedings., Sixteenth Annual International, pages 63–68. IEEE, 1992.
[77] M. Kassab. Formal and Quantitative Approach to Non-Functional Requirements
Modeling and Assessment in Software Engineering. PhD thesis, Concordia Univer-
sity, Montreal, Canada, 2009.
[78] Marc I. Kellner, Raymond J. Madachy, and David M. Raffo. Software process simulation modeling: Why? what? how? Journal of Systems and Software, 46:91– 105, 1999.
[79] Chris F Kemerer. An empirical validation of software cost estimation models. Com-
munications of the ACM, 30(5):416–429, 1987.
[80] Vahid Khatibi and Dayang N. A. Jawawi. Software cost estimation methods: A re- view. Journal of Emerging Trends in Computing and Information Sciences, 2(1):21– 29, 2010.
[81] Barbara Kitchenham and Stuart Charters. Guidelines for performing Systematic Literature Reviews in Software Engineering. Technical Report EBSE 2007-001, Keele University and Durham University Joint Report, 2007.
[82] Barbara Kitchenham, O. Pearl Brereton, David Budgen, Mark Turner, John Bailey, and Stephen Linkman. Systematic literature reviews in software engineering - a systematic literature review. Inf. Softw. Technol., 51(1):7–15, January 2009.
[83] Barbara Kitchenham and Shari Lawrence Pfleeger. Principles of survey research - part 6, 2002.
[84] Heinz K. Klein and Michael D. Myers. A set of principles for conducting and evaluating interpretive field studies in information systems. MIS Q., 23(1):67–93, March 1999.
[85] A Kulkarni, JB Greenspan, DA Kriegman, JJ Logan, and TD Roth. A generic technique for developing a software sizing and effort estimation model. In Computer
Software and Applications Conference, 1988. COMPSAC 88. Proceedings., Twelfth International, pages 155–161. IEEE, 1988.
[86] Yigit Kultur, Ekrem Kocaguneli, and Ayse B Bener. Domain specific phase by phase effort estimation in software projects. In Computer and Information Sciences, 2009.
ISCIS 2009. 24th International Symposium on, pages 498–503. IEEE, 2009.
[87] Yigit Kultur, Ekrem Kocaguneli, and Ayse Basar Bener. Domain specific phase by phase effort estimation in software projects. pages 498–503. IEEE, 2009.
[88] Sweta Kumari and Shashank Pushkar. Comparison and analysis of different software cost estimation methods. IJACSA) International Journal of Advanced Computer
Science and application, 4(1), 2013.
[89] A. L. Kustanowitz. A new approach to estimating resources for application program development. In Proceedings of the IEEE COMSAC, 1977.
[90] F. Lau. Toward a framework for action research in Information systems studies.
Information technology & People, 12(2):148–176+, 1999.
[91] Hareton Leung and Zhang Fan. Software cost estimation. In Handbook of Software