Las calificaciones se muestran por promedios, pero al ordenarlo Drupal lo muestra de forma errática, por dar un ejemplo en ocaciones muestra el contenido con un promedio 4.5 arriba del contenido con promedio 4 y en último lugar muestra el contenido con promedio perfecto de 5.
Buscando en Google encontre que para resolver este error hay que agregar a la Vista una Relación, asi que editamos nuestra vista luego hacemos clic en Advanced / RelationShips y hacemos clic en Agregar, tiene que ser del tipo Content: Vote Results, en Data Filters el campo Value Type lo dejamos sin cambio, en el campo Vote Tag seleccionamos el tag de nuestro campo de calificación y por último el campo Aggregation Function selecionamos Average Vote, a continuación muestro como queda la relación configurada y finalmente guardamos los cambios haciendo clic en el boton Apply.
Luego en la Vista en Sort Criteria agregamos Vote Results: Value y escogemos Desc o Asc dependiendo como lo queramos, salvamos la Vista y listo.