Ao final da disciplina, os alunos deverão ser capazes de discutir a importância da psicometria aplicada aos estudos organizacionais, sobretudo numa lógica de desenvolvimento de pesquisas empíricas na área da psicologia organizacional e do trabalho (POT) apoiados quer na Teoria Clássica dos Testes (Nunnally & Bernstein, 1994) quer na Teoria de Resposta ao Item (Embretson & Reise, 2000). Pretender-se-á também que os alunos desenvolvam competências para a elaboração (Boateng et al., 2018; Carpenter, 2018; DeVellis, 2017), adaptação (Brown, 2015) e verificação de evidências de validade de instrumentos psicométricos (Brennan, 2006) utilizando as últimas linhas orientadoras da International Test Commission (2018), dos Standards da APA, AERA e NCME (2014), e dos Principles for the Validation and Use of Personnel Selection Procedures da Society for Industrial and Organizational Psychology (2018). Estes passos serão suportados através do uso de software adequado (Dima, 2018; Mair, 2018; Marôco, 2021a; Merkle & Rosseel, 2018).
A disciplina será dividida em 3 unidades, a saber:
Unidade 1: Psicometria
Objetivos específicos:
Discutir as principais limitações e tendências teóricas e empíricas relacionadas à psicometria;
Diferenciar as diferentes correntes na psicometria;
Discutir as diferentes fontes de evidências de validade segundo os Standards for Educational and Psychological Testing (2014).
Unidade 2: Elaboração e/ou adaptação de instrumentos psicométricos
Objetivos específicos:
Descrever as etapas e critérios da elaboração de um novo instrumento psicométrico (Boateng et al., 2018; Carpenter, 2018; DeVellis, 2017);
Descrever as etapas e critérios da adaptação de um instrumento psicométrico já existente (Heggestad et al., 2019; Leong et al., 2016);
Discutir as normas orientadoras da International Test Commission (2018).
Unidade 3: Avaliação das evidências de validade de instrumentos psicométricos
Objetivos específicos:
Discutir as características e formas de obtenção das diferentes fontes de evidências de validade:
a. Baseadas no conteúdo (Sireci & Faulkner-Bond, 2014);
b. Baseadas na estrutura interna (Rios & Wells, 2014);
c. Baseadas na relação com outras variáveis (Oren et al., 2014);
d. Baseadas no processo de resposta (Padilla & Benítez, 2014); e,
e. Baseadas nas consequências do uso dos testes (Lane, 2014).
Realizar uma análise fatorial exploratória (Marôco, 2021b)e confirmatória (Marôco, 2021a), e respetiva discussão das semelhanças e diferenças.
Os recentes avanços observados nas áreas de tecnologia, informática e comunicação que tanto contribuíram para a globalização, a terceirização e o desemprego, têm provocado substanciais alterações no comportamento humano nos contextos de organizações e no trabalho (O&T).
Neste contexto, as organizações passaram a investir maciçamente nas áreas de pesquisa e desenvolvimento (P&D). Nesse sentido, é de fundamental importância desenvolver competências relacionadas à pesquisa que objetiva explicar o desempenho humano em O&T, sobretudo a psicologia organizacional e do trabalho baseada em evidências, tema abordado na disciplina “Psicologia Organizacional e do Trabalho baseada em Evidências”. No seguimento da disciplina anteriormente oferecida, surge a presente proposta de uma nova disciplina com o objetivo de ampliar o desenvolvimento de competências em pesquisa baseada em evidências. A mensuração dos fenômenos organizacionais e explicativos do comportamento humano no ambiente de trabalho ganha fundamental importância. A importância do rigor na mensuração é inegável, para que se possa ter confiança nas inferências posteriores dos construtos medidos. Deste modo, será dado um enfoque especial na utilização e avaliação de instrumentos psicométricos com evidências de validade adequadas.
Psicometria. Elaboração e adaptação de instrumentos psicométricos. Evidências de validade de instrumentos psicométricos. Procedimentos de análise de dados. Teoria de Resposta ao Item. Teoria Clássica dos Testes. Temas contemporâneos em POT.
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing. American Psychological Association.
Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best practices for developing and validating scales for health, social, and behavioral research: A primer. Frontiers in Public Health, 6, 1–18. https://doi.org/10.3389/fpubh.2018.00149
Brennan, R. L. (Ed.). (2006). Educational measurement (4th ed.). ACE/Praeger. http://www.worldcat.org/title/educational-measurement/oclc/69104278
Brown, T. A. (2015). Confirmatory factor analysis for applied research (2nd ed.). The Guilford Press.
Carpenter, S. (2018). Ten steps in scale development and reporting: A guide for researchers. Communication Methods and Measures, 12(1), 25–44. https://doi.org/10.1080/19312458.2017.1396583
DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). SAGE.
Dima, A. L. (2018). Scale validation in applied health research: Tutorial for a 6-step R-based psychometrics protocol. Health Psychology and Behavioral Medicine, 6(1), 136–161. https://doi.org/10.1080/21642850.2018.1472602
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Lawrence Erlbaum Associates. http://www.springerlink.com/index/L1H4387820R8V517.pdf
Heggestad, E. D., Scheaf, D. J., Banks, G. C., Monroe Hausfeld, M., Tonidandel, S., & Williams, E. B. (2019). Scale adaptation in organizational science research: A review and best-practice recommendations. Journal of Management, 45(6), 2596–2627. https://doi.org/10.1177/0149206319850280
International Test Commission. (2018). ITC Guidelines for Translating and Adapting Tests (second edition). International Journal of Testing, 18(2), 101–134. https://doi.org/10.1080/15305058.2017.1398166
Lane, S. (2014). Validity evidence based on testing consequences. Psicothema, 26(1), 127–135. https://doi.org/10.7334/psicothema2013.258
Leong, F. T. L., Bartram, D., Cheung, F. M., Geisinger, K. F., & Iliescu, D. (Eds.). (2016). The ITC international handbook of testing and assessment. Oxford University Press. https://doi.org/10.1093/med:psych/9780199356942.001.0001
Mair, P. (2018). Modern psychometrics with R. Springer. https://doi.org/10.1007/978-3-319-93177-7
Marôco, J. (2021a). Análise de equações estruturais: Fundamentos teóricos, software & aplicações (3rd ed.). ReportNumber.
Marôco, J. (2021b). Análise estatística com o SPSS statistics (8th ed.). ReportNumber.
Merkle, E. C., & Rosseel, Y. (2018). blavaan : Bayesian Structural Equation Models via Parameter Expansion. Journal of Statistical Software, 85(4), 1–30. https://doi.org/10.18637/jss.v085.i04
Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
Oren, C., Kennet-Cohen, T., Turvall, E., & Allalouf, A. (2014). Demonstrating the validity of three general scores of PET in predicting higher education achievement in Israel. Psicothema, 26(1), 117–126. https://doi.org/10.7334/psicothema2013.257
Padilla, J.-L., & Benítez, I. (2014). Validity evidence based on response processes. Psicothema, 26(1), 136–144. https://doi.org/10.7334/psicothema2013.259
Rios, J. A., & Wells, C. (2014). Validity evidence based on internal structure. Psicothema, 26(1), 108–116. https://doi.org/10.7334/psicothema2013.260
Sireci, S. G., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100–107. https://doi.org/10.7334/psicothema2013.256
Society for Industrial and Organizational Psychology. (2018). Principles for the validation and use of personnel selection procedures (5th edition). Industrial and Organizational Psychology, 11(S1), 1–97. https://doi.org/10.1017/iop.2018.195
A disciplina encontra-se estruturada da seguinte forma. Exceto pelos primeiros encontros, momento em que será apresentado e discutido o programa da disciplina, bem como, discutido os conceitos básicos da Psicometria, os demais serão conduzidos pelo professor responsável e, principalmente, pelos alunos inscritos. O programa instrucional foi concebido de forma que os alunos, no decorrer da disciplina, cada vez mais assumam a responsabilidade pela realização dos encontros, cabendo ao professor a coordenação das apresentações e discussões dos textos e atividades propostos.
Após o primeiro encontr
I. A porcentagem da disciplina que ocorrerá no sistema não presencial (1-100%) – 100% remoto.
II. Detalhamento das atividades que serão presenciais e das que serão desenvolvidas via remota, com discriminação do tempo de atividade contínua online – Todas as atividades, incluindo as aulas e as atividades de aprendizagem ocorrerão de forma remota.
III. Especificação se as aulas, quando online, serão síncronas ou assíncronas – As aulas serão remotas síncronas.
IV. Descrição do tipo de material e/ou conteúdo que será disponibilizado para o aluno – Serão disponibilizados textos na plataforma do E-Disciplinas da USP, via Moodle.
V. A plataforma que será utilizada – Google Meet para as aulas e E-Disciplinas USP para os textos e atividades de aprendizagem.
VI. Definição sobre a presença na Universidade e, quando necessária – A disciplina é 100% online.
VII. Discriminar quem deverá estar presente (professora/professor; aluna/aluno; ambos) – A disciplina é 100% online.
VIII. Descrição dos tipos e da frequência de interação entre aluna/aluno e professora/professor (somente durante as aulas; fora do período das aulas; horários; por chat/e-mail/fóruns ou outro) – Durante as aulas síncronas em horários a serem estipulados pela grade de disciplinas do PPGP/FFCLRP/USP e pela plataforma E-Disciplinas da USP para atividades de aprendizagem e dúvidas.
IX. Sempre que possível, utilizar metodologias ativas de ensino e atividades de cooperação e colaboração entre os alunos – Sim.
X. A forma de controle da frequência nas aulas – Relatórios do Google Meet.
XI. Informação sobre a obrigatoriedade ou não de disponibilidade de câmera e áudio (microfone) por parte dos alunos – Não será obrigatório o uso de câmera e áudio durante 100% do tempo. Contudo, em apresentações de trabalho, será exigido o uso.
XII. A forma de avaliação da aprendizagem (presencial/remota) – Descritas em ‘Critérios de Avaliação’.
XIII. Os critérios de avaliação contemplando qual a(s) metodologia(s) utilizada(s) e como ser(á)ão atribuído(s) o(s) conceito(s) - Descritas em ‘Critérios de Avaliação’.
ANEXO 1
Estrutura de Apresentação de Artigos
Instruções de preenchimento:
• Este trabalho deve ser entregue apenas pelos alunos selecionados para apresentarem os artigos para a turma;
• Este trabalho, desde que entregue na data especificada, vale 2 (dois) pontos;
• No caso de algum aluno apresentar mais de um artigo para a turma, apenas o de maior valor será considerado;
• Cada aluno terá entre 30 e 60 minutos para apresentar o artigo. O tempo preciso para tal apresentação será determinado em função da quantidade de alunos matriculados na disciplina.
Slide 1. Informações Gerais
o Referência do artigo
o Nome do aluno
o Nome do professor
o Nome do Programa de Pós-Graduação
o Nome da Instituição de Ensino
Slide 2. Objetivo do Artigo
o Descreva os objetivos principais e específicos do artigo
Slides 3 a 5. Revisão de Literatura
o Descreva as principais informações contidas na Revisão de Literatura apresentada no artigo
o Selecione os pontos que mais se relacionam com os objetivos da pesquisa analisada
Slides 6 a 9. Método de Pesquisa
o Descreva a população de estudo, amostragem, e a amostra (quantitativa e qualitativamente) utilizada na pesquisa
o Liste e caracterize os instrumentos utilizados na pesquisa
o Descreva os procedimentos de coleta de dados utilizados na pesquisa
o Descreva os procedimentos de análise de dados utilizados na pesquisa
Slides 10 a 12. Resultados e Discussão
o Sintetize os principais resultados gerados pela pesquisa, bem como as discussões propostas pelo autor
Slide 13. Considerações Finais
o Relate as principais conclusões, limitações e contribuições da pesquisa
Slides 14. Perguntas para Reflexão e Discussão
o Apresente duas perguntas para promover a reflexão e a discussão do texto com os demais colegas de turma
ANEXO 2
Estrutura de Resenha do Desenvolvimento/Adaptação de um Instrumento Psicométrico
Instruções de preenchimento:
• Use fonte Arial, tamanho 12 e espaçamento simples entre linhas e parágrafos;
• Use margens de tamanho 2,5 cm;
• De 3 a 5 páginas;
• Este trabalho deve ser realizado individualmente ou em dupla, a partir da leitura do artigo escolhido;
• Caso o artigo selecionado não contenha informações sobre os tópicos que integram o método (organização, amostra, instrumentos e procedimentos), redija “não se aplica” no campo correspondente;
• Este trabalho, desde que entregue na data especificada, vale até 3 (três) pontos.
Aluno:
Referência: descreva a referência completa do artigo
Argumentação Central: descreva a ideia central desenvolvida pelo(s) autor(s) ao longo da revisão de literatura apresentada no artigo
Objetivo(s) do Artigo: relate o objetivo(s) do artigo
Método: descreva as informações relativas ao contexto, à amostra/população, aos procedimentos de elaboração e/ou adaptação do instrumento psicométrico, os procedimentos de coleta de dados e os procedimentos de análise de dados
Principais Resultados: sintetize os principais resultados gerados pelo estudo(s)
Duas perguntas sobre o artigo: elabore duas perguntas de cunho científico sobre a pesquisa
A resenha deve ser escrita de forma discursiva. Os tópicos acima apresentados são orientadores do conteúdo.
ANEXO 3
Estrutura das Análises fatoriais exploratórias e/ou confirmatórias
Instruções de preenchimento:
• Use fonte Arial, tamanho 12 e espaçamento simples entre linhas e parágrafos;
• Use margens de tamanho 2,5 cm;
• De 4 a 7 páginas;
• A primeira página do artigo deve conter:
o Título, com, no máximo, oito palavras, em maiúsculas e negrito (português e inglês)
o Resumo em português, com cerca de 150 palavras, alinhamento à esquerda, contendo campo de estudo, objetivo, método, resultados e conclusões
o Três palavras-chave, alinhamento à esquerda, em português
o Resumo em inglês, com cerca de 150 palavras, alinhamento à esquerda, contendo campo de estudo, objetivo, método, resultados e conclusões
o Três palavras-chave, alinhamento à esquerda, em inglês
o Em seguida, em uma nova página, deve ser iniciado o texto
• Siga as etapas descritas abaixo;
• Este trabalho deve ser realizado individualmente, em duplas ou trios;
• Este trabalho, desde que entregue na data especificada, vale até 5 (pontos) pontos.
Introdução
Nesta seção, a análise deve ser contextualizada. O leitor precisa compreender quais os principais motivos ou causas que culminaram com a proposta desta análise. Para tanto, procure identificar, na literatura científica pertinente, limitações, problemas ou tendências de pesquisa relacionados ao tema de interesse (i.e., instrumento psicométrico). O texto não deverá ultrapassar o limite de duas páginas. Veja alguns tópicos que podem ser desenvolvidos na introdução do artigo:
• Relevância do tema para a área de POT;
• Limitações e tendências observadas nas pesquisas da área;
• Comentários sobre a importância da temática selecionada por você;
• Descrição do objetivo do artigo/análise;
• Descrição da estrutura dos textos seguintes (exceto referências).
Revisão de Literatura
Contextualizado a análise, bem como descritos seus principais objetivos, a presente seção deve sintetizar as principais bases (teóricas, conceituais, metodológicas, empíricas) relacionadas à temática por você selecionada. Contudo, deve ser algo breve, contendo definições do constructo, características e principais resultados de pesquisa encontrados (recentes, internacionais, e nacionais). O texto não deve ultrapassar 2 páginas e, no mínimo, 5 artigos, não listados nesta ementa, devem ser utilizados. Os fichamentos realizados individualmente pelos alunos da disciplina, desde que compatíveis com a temática selecionada, podem servir como base para desenvolvimento desta análise.
Método
A presente seção deve constar as etapas de elaboração e/ou adaptação do instrumento psicométrico; a amostra utilizada (tanto no caso de dados primários, quanto secundários); os procedimentos de coleta de dados, os aspectos éticos e os procedimentos de análise de dados (e.g., técnica estatística, estimador, rotação, método de extração). O texto não deve ultrapassar 2 páginas.
Resultados e Considerações Finais
A presente seção deve sintetizar o texto apresentado anteriormente, de forma que fiquem claras, novamente, as principais limitações e tendências das pesquisas que se relacionam à temática selecionada por você para desenvolvimento desta análise. Todos os índices psicométricos devem ser apresentados quer se trate de uma análise fatorial exploratória (e.g., variância extraída, λmin, KMO, Teste de Bartlett, α, ω, CR) quer seja uma análise fatorial confirmatória (e.g., índices da qualidade global de ajustamento do modelo aos dados [e.g., RMSEA, SRMR, CFI, TLI, NFI, χ²(gl)…], λmin, γmin, AVE, α, ω, CR, ρ). Além disso, é recomendável que o autor do trabalho reconheça as próprias limitações e contribuições do artigo/análise elaborado, cotejando os resultados com a revisão de literatura apresentada. Esta parte não deve ultrapassar 3 páginas.
Referências Bibliográficas
Nesta seção, liste as referências bibliográficas, segundo normas da American Psychology Association (APA), 7ª Edição.