SisPAE 2015
OFICINA DE DIVULGAÇÃO
DE RESULTADOS DO SISPAE 2015

METODOLOGIA
E PROCEDIMENTOS

CAPANEMA

SisPAE: Sistema Paraense de
Avaliação Educacional
· Avaliação externa da Educação Básica.
· Fornece informações consistentes, periódicas e
comparáveis sobre a situação da escolaridade
básica na rede pública de ensino paraense.
SisPAE: 2013 - 2016
2014-2016: SEDUC/PA e Fundação Vunesp/SP

Os resultados dos alunos no SisPAE permitem

verificar se as competências e habilidades, entre as
propostas para cada etapa de ensino-aprendizagem
escolar, encontram-se em efetivo desenvolvimento.

Como é que se conhece as habilidades que estão

sendo investigadas?
Como é que se apresentam os níveis em que a
aprendizagem se realizou?

Matriz de Referência da Avaliação
"Conhecendo as matrizes curriculares e as
competências estipuladas para os testes o
professor contará com um material altamente rico
em
possibilidades
de
interpretação
e
desenvolvimento de ações pedagógicas que
contribuíram no processo de superação das
dificuldades de aprendizagem."
Valdecir Soligo
* SOLIGO, Valdecir. Possibilidades e Desafios das Avaliações em Larga Escala da
Educação Básica na Gestão Escolar. Revista Eletrônica Política e Gestão
Educacional, n. 9, 2º Semestre 2010.
Disponível em: www.fclar.unesp.br

Os conteúdos, as competências e as habilidades
apontados na MRA ­ SisPAE para cada série e
disciplina, indicam o que os alunos devem
aprender em cada área do conhecimento, em cada
etapa da escolarização.
A MRA ­ SisPAE retrata as estruturas conceituais
mais gerais das disciplinas e também as
competências mais gerais dos alunos, que se
traduzem em habilidades específicas.

" Quando o que se quer saber é o desempenho de

um sistema educacional, é preciso avaliar,
utilizando uma metodologia de larga escala. Caso
contrário, a avaliação será sempre parcial e
incompleta, e por essas razões, poderá levar a
decisões que pouco ou quase nada contribuem
para a melhoria do projeto educacional.

Característica

Instrumento

Temperatura

Termômetro

Graus Celsius,
Fahrenheit etc.

Nível socioeconômico

Questionário

Critério
Brasil etc.

Teste

Proficiência na
Escala Saeb, ENEM,
Pisa etc.

Proficiência

Medida

Instrumentos do SisPAE: Provas

Por exemplo: Prova 4º ano EF Língua
Portuguesa- Turma A
Caderno 1
22 questões

Caderno 10
22 questões

Caderno 21
22 questões

Por que numerar cadernos de prova?

Por exemplo: Cadernos de Prova
4º ano EF - Língua Portuguesa

Da aplicação de metodologia estatística apropriada , que
trata o conjunto de respostas de uma prova SisPAE ­
disciplina e ano escolar ­ obtém-se uma média de
proficiência.
A média expressa o rendimento dos alunos em uma prova.
Nas provas de larga escala, como as do SisPAE, em lugar
de somar os pontos da prova respondida e dar uma nota
para cada aluno, calculam-se as médias para o conjunto
dos alunos.

Na análise de
resultados do
SisPAE são
aplicadas a Teoria
Clássica de Testes
e a Teoria da
Resposta ao Item
­ TCT e TRI

Resultados com base no número de acertos do aluno
na prova (Escore).
A qualidade de um item é medida com base na
frequência de respostas que ele recebe.
Permite estudar a percepção dos respondentes em
cada item.
Permite avaliar a dificuldade e a discriminação de um
item.

Teoria da Resposta ao Item - TRI
A Teoria da Resposta ao Item (TRI) é um conjunto
de modelos matemáticos que representam a
probabilidade de um indivíduo responder
corretamente a um item, dados os parâmetros do
item e a proficiência do indivíduo.

Teoria da Resposta ao Item - TRI
A TRI permite comparar resultados de um ano

para outro, não importando se a prova é mais fácil
ou mais difícil. Com alguns itens pré-testados em
ambas as provas, torna-se possível equalizar as
proficiências.
A TRI permite medir, explicar a medida, avaliar o
ganho em proficiência entre as séries/anos
escolares, e utilizar essa medida como uma forma
de tomar ações para um melhor planejamento
educacional.

Vamos ver na Prática?
SisPAE 2015 - Língua Portuguesa - 4º Ano EF

LPA 01 - Identificar a finalidade de um texto

O que significa
Parâmetros TRI?

Como foram as
escolhas em
cada
alternativa de
resposta?

SisPAE 2015 - Matemática - 5º Ano EF

Generalização de resultados
Quando um estudo afere
desempenhos de turmas e
escolas representativos de
um sistema educacional, em
disciplinas, seus resultados
expressam o desempenho
desse sistema educacional,
na disciplina e no nível de
ensino avaliados.

Revista do SisPAE
2015
Referências

e

Resultados
Verifique os dados
do desempenho de
sua(s) turma (s), na
sua disciplina.

SisPAE: dando sentido aos resultados

O SisPAE ancora o
desempenho dos
alunos em uma escala,
a Escala de
Proficiência.

Uma escala permite
ordenar posições e desse
modo, nela se pode situar
o desempenho dos alunos
do sistema educacional.

E mais: o desempenho dos alunos de cada rede e de
cada escola que participou da avaliação.

Escala de Proficiência: ordenando posições

· Uma escala é uma maneira de medir resultados
de forma ordenada.
· A escolha dos números que definem os pontos
de uma escala de proficiência é arbitrária e
construída com os resultados da aplicação do
método estatístico de análise denominado
Teoria da Resposta ao Item (TRI).

Escala de Proficiência: dando sentido aos
resultados
125 150 175 200 225 250 275 300 325 350 375 400 425

A Escala de Proficiência do SisPAE está na
mesma métrica utilizada pelo Saeb, o exame
nacional de referência para a Educação
Básica do Brasil desde 1996. Portanto os
resultados obtidos pelos alunos paraenses
nos dois exames são comparáveis.

TRI: 1º passo - Itens na Escala
Item 1

125

Item 40

150

175

Item 77

200

225

250

A TRI é utilizada para criação da medida da escala para
verificação do desempenho.
Os itens são posicionados na escala de proficiência,
permitindo verificar que habilidade está associada a determinada
proficiência.

Escala SisPAE
Por exemplo: três alunos participaram do SisPAE:
dispondo das suas médias de proficiência, verifica-se
em que ponto da escala se encontram.

235

Níveis de Proficiência de Língua
Portuguesa 4º EF - SisPAE

Nível


4º EF


5º EF


7ª EF


8ª EF


1ª EM


2ª EM


3ª EM


< 135


< 150


< 175


< 200


< 215


< 230


< 250


Básico


135
a < 185


150
a < 200


175
a < 225


200
a < 275


215
a < 280


230
a < 285


250
a < 300


Adequado


185
a < 235


200
a < 250


225
a < 275


275
a < 325


280
a < 340


285
a < 355


300
a < 375


Avançado


235


250


275


325


340


355


375


Abaixo do
Básico


E as médias SisPAE 2015 LP
4º Ano Ensino Fundamental,
situam - se no intervalo ......

Básico

Básico

Básico

Níveis de Proficiência
Nível de
Proficiência

Abaixo do
Básico

Básico

Adequado

Avançado

Descrição
Os alunos neste nível demonstram domínio insuficiente
dos conteúdos, competências e habilidades desejáveis
para o ano/série escolar em que se encontram.
Os alunos neste nível demonstram domínio mínimo dos
conteúdos, competências e habilidades, mas possuem as
estruturas necessárias para interagir com a proposta
curricular no ano/série subsequente.
Os alunos neste nível demonstram domínio pleno dos
conteúdos, competências e habilidades desejáveis para o
ano/série escolar em que se encontram.
Os alunos neste nível demonstram conhecimentos e
domínio dos conteúdos, competências e habilidades acima
do requerido no ano/série escolar em que se encontram.

Percentuais de alunos do 4o Ano EF por Nível
de Proficiência em Língua Portuguesa
SisPAE 2014 e 2015

Percentuais de alunos do 4o Ano EF por Nível
de Proficiência em Língua Portuguesa
Estado, Rede Estadual e Redes Municipais
SisPAE 2014 e 2015

SisPAE: destaques de uma prova de larga
escala

Proficiência em lugar de Nota/Conceito.
Posicionamento em Escala em lugar de lista de

aprovados.
Interpretação pedagógica dos níveis de
proficiência como mecanismo para induzir
ações de melhoria.

SisPAE 2015 ­ Língua Portuguesa

SisPAE 2015 ­ Língua Portuguesa

SisPAE 2015 ­ Língua Portuguesa

·

estabelecem relações de coesão entre segmentos de texto, associando uma
expressão a seu referente, em poema;

·

identificam o local da moradia de uma personagem no enredo, em fábula;

·

identificam o local em que se desenrola o enredo, em história em quadrinhos;

·

inferem o assunto principal do texto, em notícia;

·

localizam informação explícita, com base na compreensão global do texto, em fábula
e em informativo de interesse público;

·

selecionam título para foto, considerando as informações implícitas nela contidas;

·

identificam as personagens de uma narrativa literária, em conto;

e mais

SisPAE 2015 ­ Língua Portuguesa

· estabelecem relação de causa/consequência entre informações, em artigo de divulgação
científica e em reportagem;
· identificam o efeito de sentido produzido pelo uso de pontuação expressiva (exclamação)
e caixa-alta, em poema;
· identificam as marcas do foco narrativo, em fábula;
· inferem a moral, em fábula;
· identificam o sentido denotado de vocábulo, selecionando aquele que pode substituí-lo,
em notícia;
· selecionam título para o texto, considerando as informações explícitas, em conto, imagem
e notícia;
· inferem o assunto principal do texto, em artigo de divulgação científica;
· identificam os elementos constitutivos da organização interna de um texto científico;
· estabelecem relação entre segmentos de texto, identificando substituições por formas
pronominais.

SisPAE 2015 ­ Língua Portuguesa

SisPAE 2015 ­ Língua Portuguesa

· identificam a finalidade de produção do texto, mobilizando o conhecimento
prévio do gênero, em piada;
· inferem informação subentendida, com base na compreensão global de
uma fábula;
· interpretar um texto com apoio em recursos gráficos apresentados em um
cartaz de interesse escolar;
· estabelecem relação entre segmentos de um poema, identificando
substituições por formas pronominais.

SisPAE 2015 ­ Língua Portuguesa

SisPAE 2015 ­ Língua Portuguesa

LPA 01 - Identificar a finalidade de um texto

SisPAE 2015 ­ Língua Portuguesa

SisPAE: a Escala de Proficiência
" A escala do SisPAE descreve a proficiência em

detalhes. Por isso, é útil para definir tipos de
tarefas a serem propostas aos alunos quando o
que se quer é fazê-los avançar na escala, isto é,
quando o esforço se dirige no sentido de
aumentar os percentuais de alunos classificados
nos níveis mais altos do SisPAE.
" A possibilidade de descrever a proficiência em
detalhes vem da MRA/SisPAE e das provas que
com ela se elaboram.

Vamos à Escola?
Resultado da Escola no SisPAE 2015:
Média de Matemática 5º EF = 200,0

Escola

A média de Matemática da escola corresponde
à média das proficiências em Matemática, dos
alunos de 5º ano EF dessa escola.
125

125

150

175

200

225

250

275

300

325

350

375

400

Escala SisPAE ­ Matemática 5º Ano EF
Nível Abaixo do básico < 175
Os alunos nesse nível são capazes de:
·
·
·
·
·
·
·

descobrir o número ocultado em uma soma que torna a sentença
verdadeira;
determinar o horário após 10 minutos da hora apontada em um relógio
digital;
determinar a diferença, em minutos, entre dois horários;
efetuar uma multiplicação entre um número de três e outro de dois
algarismos;
identificar, em um gráfico de colunas, as entradas associadas ao maior e
menor valor apresentados no gráfico;
ler a temperatura marcada em um termômetro;
ler a marcação em uma seringa que indica volume do líquido contido.

Escala SisPAE ­ Matemática 5º Ano EF
Nível Básico: 175 a 225
Os alunos classificados nessa faixa de proficiência mostram ser capazes
de:
· identificar a unidade de medida correta para determinar o peso de um
elefante;
· identificar o número total apresentado em um gráfico de colunas que
apresenta marcações primárias e secundárias;
· localizar um número de quatro algarismos na reta numérica variando de
32 em 32 unidades (não informado no texto);
· reconhecer o valor posicional de um algarismo que compõe um número;
· resolver problema envolvendo multiplicação para a contagem de carros
dispostos em filas em um estacionamento (configuração retangular).

Vamos à Escala de Proficiência
Matemática 5° EF ­ SisPAE?
Escola

125

Item 1: descobrir
o número
ocultado em uma
soma que torna a
sentença
verdadeira

125

150 175

200

225

250

Item 2: calcular a
soma de três
números, sendo
dois na ordem da
centena e um na
ordem da dezena

275

300

325

350

375

400

Item 3:
Identificar o
decimal 11,5 na
reta numérica
(graduada nos
décimos)

Em média, os alunos dessa escola desenvolveram as
habilidades descritas nos itens 1 e 2, mas não a habilidade
correspondente ao item 3.

Vamos à Escola?
Matemática 5º EF
Nível
%
Abaixo do básico
38,4
Básico
32,5
Adequado
25,6
Avançado
3,5
Matemática 5º EF
Nível
%
Abaixo do básico
13,4
Básico
44,4
Adequado
32,5
Avançado
9,7

Diferenças de Desempenho
Por que?
Há fatores associados a essas diferenças?
" Nível socioeconômico dos alunos da escola (NSE)
" Região (capital/interior) da escola
" Clima em sala de aula
" Nível de qualificação e motivação dos professores da escola
" Nível da infraestrutura predial
" Nível de informatização e outros recursos da escola
" Qualificação e motivação do gestor escolar
" Estilo de liderança do gestor escolar

Estudo de Fatores Associados
ao Desempenho Escolar
Esse tema é parte de uma sessão especial
desta oficina. Não perca!

Muito Obrigado!