1 Introdução

As universidades desempenham um papel fundamental na sociedade brasileira, particularmente na educação e no desenvolvimento do país. Em 2018, os dados do Censo da Educação Superior, realizado pelo INEP, demonstraram existir 2.537 universidades, no Brasil, das quais 299 eram mantidas diretamente pelo poder público, as quais abrigavam de 2.077.481 alunos, que representavam 24,58% dos estudantes de ensino superior do país (Inep, 2019). A Educação Superior no Brasil, ministrada em instituições públicas (incluindo as federais) ou privadas, com variados graus de abrangência ou especialização é aberta a candidatos que tenham concluído o ensino médio ou equivalente, e sido aprovados em processo seletivo (Cavalcante, 2000).

As universidades federais brasileiras oferecem ensino gratuito na graduação e nos cursos de pós-graduação stricto sensu, e são mantidas com recursos do Governo Federal através do Ministério da Educação – MEC. As universidades são instituições sociais e multidisciplinares, que gozam de estatuto jurídico especial (Cavalcante, 2000; Chauí. 2003), e que prezam pela indissociabilidade das atividades de ensino, pesquisa e extensão.

A qualidade na Educação Superior é avaliada por um conjunto de atributos definidos pelas próprias instituições, para verificar o atingimento (ou não) de padrões aceitáveis de desempenho (Fowler, Mello, & Costa Neto, 2011). A dinâmica da organização social contemporânea exige velocidade e profundidade científica para apoiar as estratégias e orientar a organização dos negócios na busca da qualidade com foco no cliente. No âmbito das instituições brasileiras de educação, a qualidade dos serviços constitui um dos maiores desafios, por aumentar a satisfação dos estudantes (Oliveira, Theophilo, & Vieira, 2020). Ainda que pareça paradoxal, pois a intenção deste trabalho não é defender a mercantilização da educação, não há como negar que os alunos são os beneficiários diretos dos esforços organizacionais, o que os torna em certa medida clientes das instituições de ensino (Brambilla, 2016).

Diversas pesquisas têm sido realizadas, sobre a satisfação de alunos matriculados no ensino superior, através de variadas abordagens, na tentativa de considerar o amplo espectro de variáveis relacionadas a esse fenômeno e à relação entre eles (Garret, 2014; Paswan, & Young, 2002; Ramos, 2015; Oliveira, Theophilo, & Vieira, 2020). Pesquisas anteriores também utilizaram Modelagem de Equações Estruturais – SEM para testar nomologicamente a qualidade dos serviços educacionais (Paswan, & Young, 2002) e a satisfação dos estudantes (Vieira, Milach, & Huppes, 2008).

Os estudos de satisfação de clientes geralmente utilizam variáveis latentes para definir a qualidade global de um serviço/produto, algo que não pode ser medido diretamente através de variáveis observáveis. As variáveis latentes (ou fatores comuns) explicam a covariação entre um conjunto de indicadores observáveis e a sua imbricação através de SEM permite a estimação dos chamados Índices de Satisfação de Clientes – CSI (Bertaccini, Bacci, & Petrucci, 2021). Os modelos CSI medem a qualidade de serviços conforme a experiência dos consumidores, representando assim uma avaliação global da experiência de consumo de um mercado ou de um provedor específico, a qual não pode ser representada como resultado de apenas um conceito isolado e estático. E por utilizarem uma série de conceitos inter-relacionados os modelos CSI fornecem uma perspectiva completa das relações causa-efeito entre as variáveis conceptuais, cobrindo desde os determinantes fundamentais até às consequências do fenômeno.

Estudos recentes, como o de Bertaccini, Bacci e Petrucci (2021) têm buscado inspiração no American Customer Satisfaction Index (ACSI) e no EuropeanCustomer Satisfaction Index(ECSI), para criar modelos que permitam avaliação objetiva dos serviços educacionais a partir da ótica dos clientes (os alunos ou a sociedade). As universidades federais brasileiras, que até alguns anos disputavam estudantes apenas com as universidades privadas, hoje concorrem entre si por alunos de diversas regiões do país, e como os orçamentos dependem em grande medida do número de matrículas que conseguem manter, a competição surge naturalmente.

Num cenário cada vez mais competitivo, e orçamentos cada vez mais apertados, é fundamental que os gestores acadêmicos adotem práticas de relacionamento com os beneficiários do seu esforço (Lima, & Brambilla, 2020), seja para manter a atratividade, seja para reforçar a imagem da instituição. Algumas universidades até possuem instrumentos quantitativos de avaliação interna, particularmente no que se refere à avaliação de disciplinas, mas até onde se tem conhecimento, ainda não existe um instrumento que permita a avaliação global da instituição, como o que está sendo proposto. Como os alunos são, em última análise, os clientes da instituição (Pereira, & Gil, 2007; Santos, & Romeiro, 2017), é natural que as instituições de ensino se preocupem em aferir as suas expectativas, satisfação e lealdade, entre outros sentimentos, independentemente do tipo de relação de clientela mantida com tais usuários.

Apesar dos estudos existentes sobre a temática da satisfação e da qualidade percebida, no Brasil ainda são escassos os estudos envolvendo a validação de modelos de medição, que permitam medir objetivamente a satisfação dos alunos de instituições federais de ensino superior. O presente trabalho utiliza um modelo inspirado no ECSI, adaptado para o contexto da educação gratuita brasileira, buscando estender o conhecimento sobre a avaliação da qualidade percebida nos serviços prestados, e da satisfação dos usuários das universidades públicas federais, para oferecer aos gestores um instrumento de medição validado cientificamente e viável para aplicação regular.

No Brasil o ensino de graduação e de pós-graduação oferecido pelas universidades públicas federais é financiado indiretamente pelos contribuintes, e por isso o componente relativo ao valor foi substituído pela confiança na instituição, como sugerem Bryant, Fornell e Morgeson (2008), para o caso dos serviços públicos. Considerando que a confiança possui bases cognitivas, afetivas e comportamentais, e que influencia diretamente a intenção de lealdade (Terres & Santos, 2013), este construto foi considerado mais adequado ao estudo, do que a lealdade propriamente dita, pois as carreiras acadêmicas geralmente têm alto custo de mudança para os estudantes, e isto impacta significativamente na intenção de lealdade (C. P. dos Santos & Fernandes, 2008).

Ao contrário de Alves e Raposo (2007), o modelo testado neste trabalho utiliza a confiança em substituição à lealdade, e não trabalha com o valor percebido. Como os estudantes dificilmente conseguiriam avaliar adequadamente o custo dos serviços prestados, o presente trabalho testa um modelo inovador, no qual a satisfação não deriva do valor pago pelos serviços e impacta diretamente na formação da confiança, esta sim um componente fundamental para a reputação institucional.

2 Revisão Teórica

2.1 A satisfação dos alunos nas instituições de ensino superior

Nos últimos tempos, diversos autores dedicaram-se à mensuração da satisfação dos clientes de serviços públicos. Entre os anos 80 e o início do século atual, diversos autores tentaram, sem grande sucesso, modelar a satisfação de clientes de serviços públicos através de indicadores (Brown & Coulter, 1983; Parks, 1984; Stipak, 1979; Swindell & Kelly, 2000).

No Brasil, trabalhos como o de La Falce, Muylder, Pressot e Toivanen (2014) têm buscado avaliar a qualidade dos serviços prestados pelas organizações do setor público e a satisfação dos seus clientes, através de escalas e indicadores, tendo em vista que “estas organizações devem não só observar as necessidades dos clientes, mas também aproveitar as oportunidades de aprender com os clientes entendendo suas expectativas e percepções sobre os serviços” (p. 51). Ainda que os estudantes não sejam apenas “clientes”, no sentido literal, uma vez que sua relação com a universidade tem características distintas daquelas que habitualmente se estabelecem entre os prestadores e os clientes de serviços em geral, parece não haver dúvida de que os métodos de ensino para promover a relação ensino-aprendizagem, a gestão da Universidade, os procedimentos de matrícula e a estrutura geral da instituição impactam na satisfação do estudante (Brambilla, 2016).

As universidades federais brasileiras possuem autonomia e adotam sistemas próprios de avaliação, além de uma avaliação externa, realizada periodicamente, quando dos recredenciamentos. A avaliação institucional criada pelo SINAES abriu espaço para uma avaliação formativa e propôs uma avaliação emancipatória, comprometida com o desenvolvimento autônomo das instituições (R. S. Pinto, Mello, & Melo, 2016), mas pouco avançou no processo de ausculta dos estudantes. As instituições privadas, que há alguns anos atuavam de forma passiva nas relações com o mercado, hoje já são forçadas a trabalhar proativamente para sobreviver em meio à concorrência acirrada, porém “a educação superior pública brasileira ainda adota uma abordagem de dentro para fora, presumindo que os gestores sabem o que os alunos esperam e querem da instituição” (Hoffmann, Cavalheiro, Kontz, & Martins, 2021, p. 6), como se os estudantes não tivessem opinião própria. O próprio Formulário de Avaliação Institucional Externa^[i]é um instrumento qualitativo, que dedica um único item à política de atendimento dos estudantes, e ainda assim com peso muito pequeno (5), se comparado a outros aspectos institucionais, como a política de pessoal e carreira docente, cujo peso é quatro vezes maior.

Alguns estudos de natureza quantitativa têm sido usados para avaliar a satisfação dos estudantes de Instituições de Ensino Superior – IES. É o caso, por exemplo, de Pasquini, Santos, Pascual, Suppion e Tambosi Filho (2012), e de Suehiro e Andrade (2018), que avaliaram a satisfação dos estudantes de diferentes cursos e a sua evolução ao longo da vida acadêmica. Outros, como Santos, Polydoro, Scortegagna e Linden (2013), avaliaram a integração e a satisfação dos alunos, e recomendaram que a avaliação institucional inclua também dados de natureza atitudinal e afetiva, como as percepções dos alunos sobre a satisfação com a universidade e sua influência na experiência acadêmica como um todo, além dos dados de natureza acadêmica, como a nota dos alunos, índices de evasão e tempo de integralização curricular. Mas até onde se tem conhecimento, nenhum instrumento de avaliação objetivo-quantitativo foi adotado de forma permanente no âmbito das universidades federais brasileiras.

2.2 O ACSI e sua evolução

O primeiro modelo CSI que se tem notícia foi o Barômetro de Satisfação do Cliente Sueco (SCSB) introduzido, em 1989 (Fornell, 1992), seguido pelo Índice de Satisfação do Cliente Americano (ACSI), em 1994 (Fornell, Johnson, Anderson, Cha, & Bryant, 1996), e depois pelo Barômetro de Satisfação do Cliente Norueguês (NCSB) (Andreassen & Lindestad, 1998). Uma derivação desses modelos, especialmente do ACSI, resultou no Índice de Satisfação do Cliente Europeu (ECSI) em 1998 (Cassel & Eklöf, 2001). E desde então diversos trabalhos (Bruhn & Grund, 2000; Chitty, Ward, & Chua, 2007; Johnson, Gustafsson, Andreassen, Lervik, & Cha, 2001; Kristensen, Martensen, & Gronholdt, 2000) têm utilizado o ECSI como inspiração para a compreensão/mensuração do fenômeno em diferentes indústrias e contextos.

Os trabalhos de Alves e Raposo (2007), Alves (2010), Duarte, Raposo e Alves (2012), Eurico, Oom do Valle e Silva (2013) e de Eurico, Pinto, Silva e Marques (2018) também utilizaram modelos adaptados do ECSI para medir a satisfação dos estudantes nas universidades portuguesas; o trabalho de Temizer e Turkyilmaz (2012) utilizou o ECSI como base para a criação do Índice de Satisfação dos Estudantes da Educação Superior, na Turquia, e o recente trabalho de Bertaccini, Bacci e Petrucci (2021) utilizou o modelo como ponto de partida para avaliar a qualidade percebida pelos estudantes nas universidade italianas.

O ACSI original foi introduzido nos Estados Unidos em 1994 pelo Centro Nacional de Pesquisas da Qualidade, da Michigan Business School, que havia implantado sistemas semelhantes na Suécia, em 1989, e realizado estudos-piloto em Taiwan, Nova Zelândia, Coreia e Brasil (Anderson & Fornell, 2000). O modelo ACSI e seus sucedâneos apresentam duas propriedades importantes: são modelos genéricos, que podem ser utilizados por diversas organizações e países, e avaliam a satisfação dentro de uma rede nomológica, que incorpora os antecedentes e os consequentes da satisfação do cliente. “A validade nomológica é um tipo de validade de construto, que atesta o quanto um fator se comporta como previsto dentro de uma cadeia de relações com outros fatores” (Fornell et al., 1996, p. 9).

O ACSI (Fornell et al., 1996) define a qualidade percebida (ou o desempenho) como resultado das experiências dos clientes com o produto/serviço, e como um dos antecedentes da satisfação, que presumivelmente deverá influenciar positiva e diretamente o valor percebido e a satisfação geral. Nele as expectativas são previsões do cliente quanto a qualidade do serviço, que refletem as experiências anteriores; as expectativas podem derivar de fontes não experimentais, incluindo o boca-a-boca ou a comunicação feita através da publicidade ou da mídia. No modelo original o ACSI é formado por seis variáveis latentes: expectativa, qualidade percebida, valor percebido, satisfação, reclamação e lealdade. A expectativa e a qualidade influenciam o valor percebido e a satisfação; e esta última influencia as reclamações e a lealdade dos clientes.

O ECSI foi lançado em 1998, como instrumento adequado ao mercado europeu (Lopes, Pereira, & Vieira, 2009), e validado três anos após por Cassel e Eklöf (2001). Concebido à luz do ACSI, o modelo incorporou a imagem do produto/serviço como construto exógeno e possível influenciador da expectativa, da satisfação e da lealdade. Modelos derivados do ECSI foram utilizados por Alves (2010) e por Eurico et al. (2018), para avaliação da satisfação em IES portuguesas, e por Hoffmann, Cavalheiro, Kontz e Martins (2021), em instituições brasileiras. Neste último trabalho os autores levantaram 1.581 questionários válidos de 23 universidades públicas e gratuitas, e constataram que a satisfação é um fator determinante da lealdade, e que entre os determinantes de satisfação, estão a imagem da universidade, o tratamento adequado das reivindicações e o valor percebido pelos estudantes.

2.3 Modelo teórico e hipóteses

O presente trabalho testa um modelo teórico inspirado no ECSI (Figura 1), no qual a imagem da instituição influencia diretamente a qualidade percebida e as expectativas dos estudantes; a qualidade percebida é influenciada pela imagem da instituição e pelas expectativas sobre os serviços acadêmicos, e afeta diretamente a satisfação e a confiança na universidade; e a confiança deriva diretamente da qualidade percebida e da satisfação com os serviços acadêmicos, e inversamente do volume de reclamações.

A imagem tem um papel importante na relação entre cliente e fornecedor, pois geralmente o consumidor inicia o processo de compra, implícita ou explicitamente, com uma avaliação da imagem. Conforme Gomes e Sapiro (1993), a imagem é um dos ativos mais preciosos que uma organização pode ter. Uma imagem favorável realça a experiência e uma imagem desfavorável destrói essa mesma imagem (Grönroos, 1995). Em longo prazo a comunicação com o mercado, através da publicidade, das vendas e das relações públicas, realçam e modelam a imagem. No caso das universidades federais, a não evasão de alunos tem relação direta com a satisfação, e pode ser medida pelo nível de satisfação com o ambiente acadêmico, pelo envolvimento do aluno em atividades extracurriculares e por outros fatores externos (Santos & Romeiro, 2017). Considerando o exposto, o presente modelo sugere as seguintes hipóteses:

H.: A imagem da universidade influencia positivamente a qualidade percebida pelos estudantes;

H.: A imagem da universidade favorece e criação de expectativas por parte dos alunos.

A expectativa é o ponto de partida dos processos de comparação e dos processos psicológicos realizados pelo consumidor. Conforme Lovelock e Wright (2001), se o produto/serviço for analisado dentro de sua zona de tolerância, os clientes tenderão a considerar ele como adequado, mas se a qualidade real cai abaixo do nível esperado pelos clientes, ocorre uma discrepância, ou lacuna na qualidade.

Ante o exposto é possível hipotetizar que:

H.: A expectativa dos alunos favorece o reconhecimento de qualidade nos serviços;

H.: A expectativa dos alunos favorece a satisfação com os serviços.

A qualidade percebida é um dos antecedentes da satisfação dos alunos (Oliveira, Theophilo, & Vieira, 2020), e pode ser definida como a avaliação do cliente, da excelência do produto ou do serviço em uma experiência recente de consumo (Fornell et al., 1996). Segundo Zeithaml (1988), um serviço é de qualidade quando iguala ou supera as expectativas que o cliente tem a respeito dele. Portanto, a avaliação da qualidade do serviço deve ser feita comparando as expectativas de execução com a percepção a respeito do serviço recebido. E face às definições dos autores acima, sugere-se a seguinte hipótese:

H.: A qualidade percebida influencia positivamente a satisfação dos alunos.

A confiança é uma atitude frente à incerteza e incapacidade de prever o futuro, que é influenciada tanto pela personalidade do indivíduo quanto pelo sistema social. Nas trocas de consumo a confiança pode ser definida como as expectativas mantidas pelo consumidor de que o provedor de serviços é responsável e cumprirá suas promessas (Sirdeshmukh, Singh, & Sabol, 2002). A confiança cognitiva é a faceta mais amplamente utilizada (C. P. dos Santos & Fernandes, 2008) e propõe que as crenças de confiança são baseadas nas opiniões ou conhecimento sobre os objetos. Em essência, a confiança cognitiva envolve uma decisão consciente a confiar em um parceiro baseado nas suas avaliações de competência, responsabilidade e dependência (Terres & Santos, 2013). Portanto espera-se que:

H.: A qualidade percebida pelos estudantes faz aumentar a confiança na universidade.

A satisfação, como pedra basilar do conceito de marketing e preditora relevante do comportamento de compra futuro, é assunto amplamente investigada na literatura. Em termos mais simples, a satisfação representa a qualidade favorável da avaliação subjetiva do indivíduo, quanto aos resultados e experiências relacionados ao consumo de um produto ou serviço (Westbrook, 1980). E isso permite hipotetizar que:

H.: A satisfação dos alunos aumenta a confiança nos serviços prestados pela Universidade;

H.: A satisfação dos alunos reduz a tendência a reclamar dos serviços da Universidade.

O gerenciamento das reclamações possui papel fundamental na construção de relacionamentos duradouros entre empresas e consumidores, sendo assim uma ferramenta estratégica (C. P. dos Santos & Fernandes, 2008). Se a instituição deixa de gerir adequadamente as reclamações ela falha duas vezes, quando deixa de atender as necessidades dos seus alunos, e quando deixa de corrigir a falha que deu origem à reclamação. Por isso espera-se que:

H.: As reclamações dos estudantes reduzem a sua confiança na universidade.

3 Método

O trabalho, de abordagem eminentemente quantitativa, recolheu dados numa universidade pública localizada do interior do Rio Grande do Sul, através de uma survey que ficou hospedada no site Questionpro^[ii]por 58 dias. O link da pesquisa foi distribuído através das redes sociais dos autores, e como incentivo à adesão cada questionário respondido garantia a doação de 100 gramas de ração para um projeto de alimentação dos cães errantes que vivem no campus. A população de interesse compreendia cerca 9.500 estudantes matriculados em 64 cursos de graduação, e a coleta de dados foi realizada no segundo semestre de 2020, durante a pandemia de Covid-19. A análise dos dados foi feita com o pacote Smart PLS-3.3.3 (Ringle, Wende, & Becker, 2015), tendo em vista a possibilidade oferecida por aquele software, de lidar com amostras pequenas e dados não normais.

Além das questões demográficas, o instrumento original continha 29 questões avaliativas, todas elas adaptadas de trabalhos anteriores, que foram medidas numa escala de razão de 100 pontos, conforme sugerido por Fornell et al. (1996). A Tabela 1 apresenta a lista de variáveis utilizadas no levantamento: as seis variáveis da imagem foram adaptadas de Andreassen e Lindestad (1998) e de Alves e Raposo (2007), as variáveis representativas das expectativas de Fornell et al. (1996) e de (Oliver, 1980), as da qualidade percebida de Brady e Cronin (2001) e de Fornell et al. (1996), as da satisfação de Oliver (1980) e de Fornell et al. (1996), as da confiança de Sirdeshmukh, Singh e Sabol (2002) e de Terres e Santos (2013) e as da reclamação de Bayol et al. (2000).

4. Resultados

4.1 Caracterização da amostra

A amostra recolhida é composta por 277 respondentes, a maioria jovens entre 16-24 anos ou 25-34 e bastante equilibrada entre os gêneros (χ. = 12,95; GL = 8; Sig = 0,114). Conforme se vê na Tabela 2, há uma concentração significativa de respondentes nos anos intermediários, especialmente nas faixas que vão de um a três anos de vivência acadêmica.

Conforme se vê na Figura 2, a amostra apresenta uma concentração significativa de respondentes (χ2 = 118,9; GL = 4; Sig = 0,000) nos anos intermediários, especialmente na 3ª faixa, que vai de dois a três anos de vivência acadêmica, uma quase normalidade que nem mesmo era esperada, tendo em vista que se tratava de uma amostra de conveniência.

4.2 Análise do modelo teórico e de verificação das hipóteses

Tanto o modelo de mensuração, quanto o modelo estrutural, foram avaliados com o pacote Smart PLS-3.3.3 (Ringle, Wende, & Becker, 2015), conforme recomendado por Joe F. Hair, Sarstedt, Hopkins e Kuppelwieser (2014) e por P. Pinto (2016), e até mesmo por Fornell et al. (1996), que recomendam a adequação daquele software para estimar modelos com amostras pequenas e dados não normais, como neste caso. A validade convergente foi atestada pelo valor das cargas fatoriais do modelo de mensuração (outermodel), todas elas superiores a 0,7, e pela Variância Média Extraída – AVE superior a 0,5 em todos os fatores (Hair et al., 2014), como se vê na Tabela 3.

Os índices de Confiabilidade Composta e Alfas de Cronbach superaram os mínimos esperados de 0,7 em todos os fatores, e os Coeficientes de Determinação – R. das principais variáveis endógenas (confiança, qualidade percebida e satisfação) apresentam valores superiores a 0,75, ou “substancialmente explicativos” (Hair et al., 2014, p. 113). A validade discriminante foi avaliada pelo critério de Fornell e Larcker (1981), que compara o quadrado das correlações entre os fatores à AVE de cada um deles. Por este critério, existe de validade discriminante quando a AVE de cada fator supera o quadrado das correlações do próprio com os demais fatores. Conforme se vê na Tabela 4, as raízes quadradas das AVE (em negrito na diagonal principal), superam as correlações em todas das linhas e colunas correspondentes, o que atesta a existência de validade discriminante no modelo.

O modelo estrutural foi codificado no Smart-PLS-3.3.3 (Ringle, Wende, & Becker, 2015) e estimado em dois tempos: na primeira rodada foram estimadas as cargas fatoriais do modelo de mensuração (outer model) e do modelo estrutural (inner model); e na segunda fase foram estimadas as significâncias das relações através do t bootstrapping (1.000 repetições). Para facilitar a intepretação, os valores de . foram estimados e inseridos na Figura 3 entre parênteses, abaixo das cargas fatoriais correspondentes. Como se vê na figura, com exceção da relação Reclamações à Confiança, cujo t bootstrapping apresentou valor inferior ao mínimo de 1,96 (P. Pinto, 2016), todas as demais relações estruturais apresentaram significância estatística.

Conforme se vê na Figura 3, a imagem institucional favorece significativamente a qualidade percebida (H.) e contribui para a formação de expectativas (H.); e as expectativas fortalecem a qualidade percebida (H.) e impulsionam a satisfação (H.). A qualidade percebida, por sua vez, impulsiona a satisfação dos estudantes (H.) e fortalece a confiança na instituição (H.). E o construto de maior interesse – a satisfação dos estudantes – fortalece significativamente a confiança na instituição (H.) e reduz de forma expressiva a tendência a reclamações (H.). Conforme dito acima, a relação entre reclamações e confiança não apresentou significância estatística, e com isso a hipótese H. não se confirmou.

E assim, considerando que oito, das nove hipóteses de pesquisa restaram confirmadas, e que o modelo como um todo foi considerado confiável e válido, é possível afirmar que a satisfação dos estudantes, ao menos daqueles que foram incluídos na amostra, pode ser adequadamente medida através do conjunto de variáveis aqui proposto. O resultado contribui para o conhecimento teórico, ao melhorar e testar empiricamente um modelo inspirado em instrumentos previamente validados, cujo resultado reforça as evidências de que a satisfação produzida pelos serviços acadêmicos, mesmo aqueles isentos de pagamento direto, dependem significativamente da qualidade percebida e do conjunto de expectativas que os usuários possuem em relação à performance da instituição que os presta.

Em resumo, o resultado sugere que quanto melhor a instituição comunicar o seu comprometimento com o seu público (os estudantes e a sociedade), maior será a crença na sua capacidade de entregar valor, e consequentemente melhor será a avaliação da qualidade percebida nos seus serviços e maio será a satisfação dos alunos. E o mesmo ocorre em relação à confiança na instituição, que é reforçada diretamente pela qualidade percebida e pela satisfação dos estudantes com os serviços que recebem.

4.3 Adequação do modelo para uso gerencial

Além das contribuições teóricas, este estudo também oferece contribuições para facilitar o trabalho dos planejadores e dos gestores institucionais, na difícil tarefa de avaliar a satisfação e/ou a qualidade percebida pelos estudantes. Embora se reconheça a resistência existente em relação à mensuração objetiva da qualidade da educação pública, não raro os gestores universitários se defrontam com o desafio de avaliar as percepções dos estudantes ou de outros stakeholders, quanto à qualidade dos serviços que prestam, ou mesmo de medir a satisfação produzida no âmbito dos cursos oferecidos. E quando tais desafios se apresentam, muitos recorrem a comparações de médias ou de frequência, cuja interpretação gráfico-visual, sem tratamentos estatísticos de maior profundidade, nem sempre são suficientes.

Por isso, além de testar a validade convergente, discriminante e nomológica da satisfação dos estudantes, o presente trabalho inova ao utilizar uma ferramenta de uso consagrado – o intervalo de confiança – para avaliar objetivamente o construto. A ferramenta que aqui se propõe permite comparar estatisticamente as avaliações dos alunos matriculados nos diferentes cursos de uma universidade pública e gratuita, representá-las de forma pontual, pelas médias das amostras, e generalizar os resultados para o restante dos alunos de cada curso, dentro de um limite de confiança.

Como os gestores geralmente se interessam mais pela avaliação dos cursos como um todo, as médias das amostras colhidas eventualmente nem sempre satisfazem a necessidade de informação, e por isso é importante oferecer-lhes um método que além da estatística amostral, também permita fazer alguma inferência sobre as médias de cada subpopulação. O método que aqui se propõe como contribuição gerencial supõe que após a validação dos construtos dentro da cadeia nomológica apresentada, a satisfação seja convertida em índice pela média dos seus indicadores, para que sejam estimados os intervalos de confiança da avaliação de cada curso.

O intervalo de confiança “é o intervalo de valores que contém a média da população com determinada probabilidade de acerto” (Lapponi, 2005, p. 302), ou “o intervalo de possíveis valores no qual o parâmetro estimado esteja presente, com um determinado nível de confiança (1–α)” (Belfiore, 2015, p.256). O intervalo de confiança permite que se compare as médias das amostras, e que a partir delas se possa estimar os limites mínimo e máximo para as médias dos estudantes matriculados em cada curso, a partir das amostras recolhidas.

Com o intervalo de confiança, a média da população μ pode ser estimada pela fórmula:

Em que:

X = média da amostra

Z = nível de confiança (geralmente 95% ou ± 1,96)

σ = desvio padrão da amostra

n = tamanho da amostra recolhida de cada curso

Neste caso, como nem todos os estudantes aderiram à pesquisa com a mesma intensidade, alguns cursos ofereceram amostras muito pequenas, que dificultaram a análise. Por razões de ordem prática, e considerando que o principal objetivo é demonstrar o método sugerido, os autores optaram por restringir a comparação a seis cursos (dos 49 pesquisados) cujas amostras possuíam ao menos 10 respostas. Como as amostras eram pequenas, o intervalo de confiança foi estimado com a distribuição “.”, em substituição a distribuição “Z” (função “int.confiança.t”, da planilha Excel), considerando que a distribuição . permite testes com amostras menores, mas aproxima-se da distribuição normal em amostras maiores (Field, 2020).

Após a estimação dos intervalos de confiança, os índices de satisfação dos cursos escolhidos para esta demonstração foram analisados e plotados em gráfico de máximos e mínimos (Figura 4) para facilitar a visualização. O resultado sugere que os estudantes, de modo geral, estão bastante satisfeitos com a instituição na qual estudam, tendo em vista que os índices de satisfação variam de 78,8 (Administração) a 87,2 (Oceanologia), numa escala de 100 pontos. Entretanto, mesmo que as médias amostrais não apresentem diferenças significativas, duas questões chamam a atenção: (1) a distância que separa os cursos melhor avaliados, daqueles cujos estudantes mostram-se menos satisfeitos supera oito pontos, uma diferença que não pode ser desprezada; e (2) os grandes intervalos em torno das médias de alguns cursos, como biblioteconomia e medicina, sinalizam heterogeneidade de opiniões, e isto reduz a qualidade informativa da média.

O método de avaliação proposto pelo presente trabalho parte do pressuposto que tão importante quanto comparar as médias das amostras levantadas periodicamente pelas Comissões Próprias de Avaliação, é analisar os intervalos de confiança das informações produzidas sobre cada subpopulação (a totalidade dos estudantes matriculados em cada curso). Como as amostras recolhidas geralmente têm tamanhos e distribuições diferentes em cada curso, e como nem sempre os estudantes têm motivação semelhante para responder às pesquisas institucionais, tão importante quanto as médias, é avaliar a heterogeneidade das opiniões manifestadas.

A título de exemplo pode-se tomar os cursos de Administração e de Oceanologia da instituição analisada. Um analista menos atento, que compare apenas as médias das avaliações recolhidas para este trabalho (Tabela 5), talvez conclua que os índices de satisfação de uns e de outros sejam de fato diferentes, tendo em vista a grande diferença de médias. Entretanto, se observar os intervalos de confiança para ambas as médias, perceberá que a diferença entre as amostras não pode ser generalizada para os cursos com um todo, uma vez que o limite superior do curso de Administração (84,6) se sobrepõe ao limite inferior do curso de Oceanologia (82,3), e isto não permite afastar a hipótese de igualdade de médias entre os dois cursos.

O resultado sugere que se colhermos diversas amostras aleatórias do curso de Administração da Universidade estudada, em 95% das vezes as médias flutuarão entre 72,9 e 84,6, e no curso de Oceanologia as médias flutuarão entre 82,3 e 92,1, o que não permite afastar a presunção de igualdade na satisfação de um grupo ou de outro.

5 Discussão

O presente trabalho testou e validou um modelo de mensuração da satisfação dos alunos matriculados numa universidade federal do sul do Brasil, inspirado em modelos de avaliação largamente utilizados em outros contextos, especialmente o ECSI. O modelo proposto e validado é composto por seis construtos (imagem institucional, expectativas, qualidade percebida, satisfação, confiança e reclamações), e tem a satisfação como elemento central. O modelo foi testado através de Modelagem de Equações Estruturais, com o pacote Smart-PLS-3.3.3, e todos os fatores atenderam aos requisitos mínimos de confiabilidade e validade.

Ainda que tenha utilizado o ECSI como ponto de partida, o presente estudo inova ao substituir o valor percebido (um construto fortemente vinculado ao custo dos serviços) pela confiança, tendo em vista as características do objeto de estudo. Como as universidades federais brasileiras não cobram valores monetários diretamente dos estudantes pelo ensino que ministram, estes certamente teriam dificuldade de avaliar aqueles indicadores. E a confiança, ao contrário, por ser uma atitude que se constrói ao longo da relação do aluno com a universidade, pode ser facilmente avaliada e expressa na forma de indicadores.

O resultado confirmou que a imagem antecede a qualidade percebida (Fornell et al., 1996; Andreassen & Lindestad, 1998) e impulsiona as expectativas (Bayol et al., 2000). E confirmou também que a qualidade percebida é um dos principais impulsionadores da satisfação (Andreassen & Lindestad, 1998; Bayol et al., 2000; Bei & Chiao, 2001). O resultado também confirmou que a satisfação de fato impulsiona a confiança, como sugerem Bryant, Fornell e Morgeson (2008) e que ao mesmo tempo reduz a tendência a reclamações. Das nove hipóteses de pesquisa, apenas a hipótese de que as reclamações deveriam reduzir a confiança (H9) não se confirmou por falta de significância estatística.

O fator referente às reclamações foi o que apresentou maior número de valores perdidos e menor coeficiente de determinação (R.=0,135) entre todos os construtos endógenos. E a baixa influência deste construto na formação da confiança sugere a possibilidade de haver alguma ambiguidade na forma como os seus indicadores foram apresentados. Como dois indicadores são praticamente iguais e foram formulados afirmativamente (“constantemente eu realizo reclamações formais...” e “eu realizo constantemente reclamações...”), e o terceiro foi feito em forma de especulação (“se eu realizar reclamações formais ... acredito que não irão resolver”), é possível que alguns respondentes tenham se confundido ou hesitado em respondê-los. Para novos trabalhos sugere-se apresentar as questões de forma direta e mais incisiva, como por exemplo “a universidade não oferece meios adequados para receber reclamações dos estudantes” ou “a universidade não resolve as reclamações que recebe”.

O trabalho possui limitações quanto ao tamanho e às características da amostra, assim como a forma como esta foi colhida. Conforme dito ao longo do trabalho, a amostra não cumpriu com o pressuposto de normalidade dos dados, nem atingiu o número ideal de respondentes por variável (10 respostas para cada variável da escala), o que dificultou a estimação através de algoritmos baseados em covariância. Além disso, como a coleta dos dados foi feita durante a pandemia da COVID-19, com os alunos ausentes do campus, houve dificuldade para convencer alguns a responder o questionário, e isto fez com que a amostra ficasse rarefeita em diversos cursos.

Novos trabalhos são altamente recomendados para replicar o método e o modelo aqui apresentados, de preferência com amostras grandes e aderentes a alguns cursos mais numerosos, para que se possa avaliar o modelo com algoritmos mais robustos, que permitam testar a invariância do modelo através de análise multigrupos. Como cenário ideal recomenda-se buscar o apoio de duas ou mais universidades, para obter amostras mais generosas que permitam avaliar a estabilidade do modelo em recortes entre e interinstitucionais.

Os autores do presente trabalho reconhecem a importância das análises tradicionais, nas quais a avaliação da satisfação e da qualidade percebida muitas vezes se restringe à análise das médias amostrais de um pequeno conjunto de variáveis, pois em muitos casos isso é tudo o que os gestores conseguem obter das respectivas Comissões Próprias de Avaliação. Entretanto os autores entendem que a avaliação da qualidade dos serviços institucionais e da satisfação dos estudantes pode ser bastante melhorada, se os gestores empregarem um instrumento mais robusto, como o que está sendo apresentado aqui.

Como a satisfação é uma construção plural, ela não pode ser medida diretamente através de uma única variável manifesta. Desse modo, mais importante do que perguntar aos estudantes se eles estão muito ou pouco satisfeitos, é perguntar-lhes sobre cada um dos componentes das diversas variáveis latentes que – juntas – resultam na satisfação. Assim, somente após avaliar a confiabilidade e a validade das variáveis latentes que formam o modelo, e analisar devidamente os caminhos que reforçam ou degradam a satisfação (ver exemplos em Apêndice), é que os gestores poderão generalizar os parâmetros amostrais para cada um dos cursos avaliados, dentro do intervalo do confiança que for estabelecido pela Administração Superior de cada instituição.

Referências

Alves, H. (2010). Perceived value index in higher education. Innovative Marketing, 6(2), 33–42.

Alves, H., & Raposo, M. (2007). Student Satisfaction Index in Portuguese Public Higher Education. The Service Industries Journal, 27(6), 795–808.

Anderson, E. W., & Fornell, C. (2000). Foundations of the American Customer Satisfaction Index. Total Quality Management, 11(7), 869–882.

Andreassen, T. W., & Lindestad, B. (1998). Customer loyalty and complex services. International Journal of Service Industry Management, 9(1), 7–23. https://doi.org/10.1108/09564239810199923

Bayol, M.P., De La Foye, A., Tellier, C., Tenenhaus, M. (2000). Use of PLS path modeling to estimate the European consumer satisfaction index (ECSI) model. Statist. Appl. Italian J. Appl. Statist. 12 (3), 361–375 https://hal.inrae.fr/hal-03110080/document

Bei, L. T., & Chiao, Y. C. (2001). An integrated model for the effects of perceived product, perceived service quality, and perceived price fairness on consumer satisfaction and loyalty. Journal of consumer satisfaction, dissatisfaction and complaining behavior, 14, 125.

Belfiore, P. (2015). Estatística aplicada a administração, contabilidade e economia com Excel e SPSS. Rio de Janeiro: GEN LTC.

Bertaccini, B., Bacci, S., & Petrucci, A. (2021). A graduates ’ satisfaction index for the evaluation of the university overall quality. Socio-Economic Planning Sciences, 73, 100875. https://doi.org/10.1016/j.seps.2020.100875

Brady, M. K., & Cronin, J. J. (2001). Some New Thoughts on Conceptualizing Perceived Service Quality: A Hierarchical Approach. Journal of Marketing, 65(3), 34–49. https://doi.org/10.1509/jmkg.65.3.34.18334

Brambilla, F. R. (2016). Exploring the co-creation of value in the Brazilian private higher educational service. R. Adm. FACES Journal, Belo Horizonte v. 15, n. 4, p. 79-99.

Bryant, B. E., Fornell, C., & Morgeson, F. (2008). American customer satisfaction index methodology report. Milwaukee, WI: American Society for Quality.

https://www.theacsi.org/about-acsi/the-science-of-customer-satisfaction

Brown, K., & Coulter, P. B. (1983). Subjective and objective measures of police service delivery. Public administration review, 43(1), 50-58.

Bruhn, M., & Grund, M. A. (2000). Theory, development and implementation of national customer satisfaction indices: The Swiss Index of Customer Satisfaction (SWICS). Total Quality Management, 11(7), 1017–1028. https://doi.org/10.1080/09544120050135542

Cassel, C., & Eklöf, J. A. (2001). Modelling customer satisfaction and loyalty on aggregate levels: Experience from the ECSI pilot study. Total Quality Management, 12(7–8), 834–841. https://doi.org/10.1080/09544120100000004

Chitty, B., Ward, S., & Chua, C. (2007). An application of the ECSI model as a predictor of satisfaction and loyalty for backpacker hostels. Marketing Intelligence & Planning, 25(6), 563–580. https://doi.org/10.1108/02634500710819941

Duarte, P. O., Raposo, M. B., & Alves, H. B. (2012). Using a Satisfaction Index to Compare Students’ Satisfaction During and After Higher Education Service Consumption. Tertiary Education and Management, 18(1), 17–40.

Eurico, S., Oom do Valle, P., & Silva, J. A. (2013). Satisfaction in tourism-related higher education: the graduates’ perspective. International Journal of Academic Research, 5(4), 35–49. https://doi.org/10.7813/2075-4124.2013/5-4/B.5

Eurico, S., Pinto, P., Silva, J. A., & Marques, C. (2018). The ECSI model in higher education in tourism: A segmentation analysis in the Portuguese case. Tourism, 66(2), 208–226.

Field, A. (2020). Descobrindo a estatística usando o SPSS (5a ed.). Porto Alegre: Penso.

Fornell, C. (1992). A National Customer Satisfaction Barometer: The Swedish Experience. Journal of Marketing, 56(1), 6–21. https://doi.org/10.1177/002224299205600103

Fornell, C., Johnson, M. D., Anderson, E. W., Cha, J., & Bryant, B. E. (1996). The American Customer Satisfaction Index: Nature, Purpose, and Findings. Journal of Marketing, 60(4), 7–18. https://doi.org/10.1177/002224299606000403

Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18, 39–50.

Gomes, M. T., & Sapiro, A. (1993). Imagem corporativa: uma vantagem competitiva sustentável. Revista de Administração de Empresas, 33(6), 84–96. https://doi.org/10.1590/S0034-75901993000600009

Grönroos, C. (1995). Relationship marketing: The strategy continuum. Journal of the Academy of Marketing Science, 23(4), 252–254. https://doi.org/10.1007/BF02893863

Hair, J. F., Sarstedt, M., Hopkins, L., & Kuppelwieser, V. G. (2014). Partial least squares structural equation modeling (PLS-SEM): An emerging tool in business research. European Business Review, 26(2), 106–121. https://doi.org/10.1108/EBR-10-2013-0128

Hoffmann, R., Cavalheiro, É., Kontz, L. B., & Martins, A. (2021). Satisfação e lealdade discente nas universidades federais brasileiras. RACE - Revista de Administração, Contabilidade e Economia, 1–20. https://doi.org/10.18593/race.20840

INEP. (2019). Sinopses Estatísticas da Educação Superior – Graduação 2018. Disponível em ;

Johnson, M. D., Gustafsson, A., Andreassen, T. W., Lervik, L., & Cha, J. (2001). The evolution and future of national customer satisfaction index models. Journal of Economic Psychology, 22(2), 217–245. https://doi.org/10.1016/S0167-4870(01)00030-7

Kristensen, K., Martensen, A., & Gronholdt, L. (2000). Customer satisfaction measurement at Post Denmark: Results of application of the European Customer Satisfaction Index Methodology. Total Quality Management, 11(7), 1007–1015. https://doi.org/10.1080/

La Falce, J. L., Muylder, C. F., Pressot, I. M., & Toivanen, M. A. B. L. (2014). Qualidade no Serviço Público: Um Estudo de Caso em Uma Fundação Pública em Minas Gerais. Amazônia, Organizações e Sustentabilidade, 3(2), 43–62. https://doi.org/10.17800/2238-8893/aos.v3n2p43-62

Lapponi, J. C. (2005). Estatística usando Excel. (Campus, Ed.) (4.). Rio de Janeiro: Campus.

Lima, C. S., Brambilla, F. R.. (2020). Cocriação de valor no relacionamento entre empresa e cliente: um estudo na empresa mercur e seu modelo de interação. In: 13º Congresso Latinoamericano de Varejo e Consumo - CLAV 2020. FGV: São Paulo.

Lopes, H. E. G., Pereira, C. C. de P., & Vieira, A. F. S. (2009). Comparação entre os modelos norte-americano (ACSI) e europeu (ECSI) de satisfação do cliente: um estudo no setor de serviços. RAM. Revista de Administração Mackenzie, 10(1), 161–187. https://doi.org/10.1590/S1678-69712009000100008

Lovelock, C., Wright, L. Serviços: marketing e gestão. São Paulo: Saraiva, 2001.

Oliveira, M. J., Theophilo, R. G., & Vieira, P. R. da C. (2020). Impacto da satisfação na lealdade do aluno de universidade brasileira de capital aberto: Revista Vianna Sapiens, 11(2), 25. https://doi.org/10.31994/rvs.v11i2.674

Oliver, R. L. (1980). A Cognitive Model of the Antecedents and Consequences of Satisfaction Decisions. Journal of Marketing Research, 17(4), 460. https://doi.org/10.2307/3150499

Parks, R. B. (1984). Linking Objective and Subjective Measures of Performance. Public Administration Review, 44(2), 118. https://doi.org/10.2307/975862

Pasquini, E. S., Santos, M., Pascual, J. V. I., Suppion, K., & Tambosi Filho, E. (2012). Avaliação dos Cursos de Ensino Superior Através da Ótica Discente de Satisfação/Insatisfação. Revista Da Faculdade de Administração e Economia, 3(2), 147–165. https://doi.org/10.15603/2176-9583/refae.v3n2p147-165

Pinto, P. (2016). Modelos de Equações Estruturais com Variáveis Latentes. Lisbon: Bnomics Ed.

Pinto, R. S., Mello, S. P. T. de, & Melo, P. A. (2016). Meta-avaliação: uma década do Processo de Avaliação Institucional do SINAES. Avaliação: Revista Da Avaliação Da Educação Superior (Campinas), 21(1), 89–108. https://doi.org/10.1590/S1414-40772016000100005

Ringle, C. M., Wende, S., & Becker, J.-M. (2015). SmartPLS 3. Boenningstedt: SmartPLS GmbH, http://www.smartpls.com.

Santos, A. A. A. dos, Polydoro, S. A. J., Scortegagna, S. A., & Linden, M. S. S. (2013). Integração ao ensino superior e satisfação acadêmica em universitários. Psicologia: Ciência e Profissão, 33(4), 780–793. https://doi.org/10.1590/s1414-98932013000400002

Santos, C. P. dos, & Fernandes, D. V. der H. (2008). A recuperação de serviços como ferramenta de relacionamento e seu impacto na confiança e lealdade dos clientes. Revista de Administração de Empresas, 48(1), 10–24. https://doi.org/10.1590/S0034-75902008000100002

Santos, M. A., & Romeiro, V. (2017). A satisfação com a experiência acadêmica influencia a relação de confiança comportamental com a instituição? Revista Brasileira de Ensino Superior, 3(1), 78. https://doi.org/10.18256/2447-3944/rebes.v7n1p78-97

Sirdeshmukh, D., Singh, J., & Sabol, B. (2002). Consumer Trust, Value, and Loyalty in Relational Exchanges. Journal of Marketing, 66(1), 15–37. https://doi.org/10.1509/jmkg.66.1.15.18449

Stipak, B. (1979). Citizen Satisfaction with Urban Services: Potential Misuse as a Performance Indicator. Public Administration Review, 39(1), 46. https://doi.org/10.2307/3110378

Suehiro, A. C. B., & Andrade, K. S. de. (2018). Satisfação com a experiência acadêmica: um estudo com universitários do primeiro ano. Revista Psicologia Em Pesquisa, 12(2). https

Swindell, D., & Kelly, J. M. (2000). Linking Citizen Satisfaction Data to Performance Measures: A Preliminary Evaluation. Public Performance & Management Review, 24(1), 30. https://doi.org/10.2307/3381075

Temizer, L., & Turkyilmaz, A. (2012). Implementation of Student Satisfaction Index Model in Higher Education Institutions. Procedia - Social and Behavioral Sciences, 46, 3802–3806. https://doi.org/10.1016/j.sbspro.2012.06.150

Terres, M. D. S., & Santos, C. P. (2013). Desenvolvimento de uma Escala para Mensuração das Confianças Cognitiva, Afetiva e Comportamental e Verificação de seus Impactos na Lealdade. Revista Brasileira de Marketing, 12(1), 122–148. https://doi.org/10.5585/

Westbrook, R. A. (1980). A Rating Scale for Measuring Product/Service Satisfaction. Journal of Marketing, 44(4), 68. https://doi.org/10.2307/1251232

Zeithaml, V. A. (1988). Consumer Perceptions of Price, Quality, and Value: A Means-End Model and Synthesis of Evidence. Journal of Marketing, 52(3), 2. https://doi.org/10.

Notas