I got 51 problems but a #2 pencil ain’t one. J'ai eu 51 problèmes, mais un crayon # 2 est pas un.

Booz Allen Hamilton has a funny name but they’re all about serious business. Booz Allen Hamilton a un drôle de nom, mais ils sont tous sur une affaire sérieuse. The “global strategy and technology La «stratégie globale et de la technologie consulting firm société d'experts-conseils ” was contracted by the College Board in the fallout of the SAT scoring mistakes from last October. »A été contracté par le College Board dans les retombées de la SAT erreurs de pointage Octobre dernier. They audited the testing process and made a report, which was hidden away. Ils ont vérifié les processus de tests et a fait un rapport, qui a été caché. At least until Senator LaValle used subpoena powers and Au moins jusqu'à ce que le sénateur Lavalle utilisé pouvoirs d'assignation et demanded the report le rapport demandé be made public–they were required to do so by New York’s “truth in testing” state laws but the College Board stated that they were “exempt from state law.” I love this choice quote: “Once again The College Board’s approach to problems is to shroud them in secrecy,” Senator LaValle said in a July 13 news release. être rendu public-ils étaient tenus de le faire par de New York "la vérité dans l'essai" des lois de l'Etat mais le College Board déclaré qu'ils étaient «exemptés de la loi de l'État." J'adore ce choix cite: "une fois de plus le College Board" s approche des problèmes est à leur linceul dans le secret ", a déclaré le sénateur Lavalle dans une Juillet 13 Nouvelles libération. “ Their attitude gives rise to greater questions as to their true purpose .” What do you mean, Senator LaValle? "Leur attitude donne lieu à une plus grande des questions quant à leur véritable objectif." Qu'est-ce que vous voulez dire, sénateur Lavalle? Is there still a problem? Existe-t-il encore un problème?

“The board’s lack of accountability in this matter goes to the heart of the arrogance that exists when an organization basically holds a monopoly in a certain market,” LaValle said in a statement following the release of the report. «Le conseil d'administration du manque de responsabilité dans cette question est au cœur de l'arrogance qui existe quand une organisation essentiellement détient un monopole sur un marché," Lavalle dit dans une déclaration après la publication du rapport. “This report still does not answer why such a large number of testing errors occurred on the October 2005 SAT. «Ce rapport n'a toujours pas pourquoi une telle réponse un grand nombre d'essais erreurs se sont produites sur la Octobre 2005 sam. In addition, the board has not provided an explanation of why it took several months to inform over 4,000 students of inaccurate test scores.” En outre, le conseil n'a pas fourni une explication des raisons pour lesquelles il a fallu plusieurs mois pour informer plus de 4000 étudiants de l'inexactitude des résultats des tests. "

Additionally, The National Center for Fair and Open Testing responded to the report by releasing a list of questions that the study did not answer. De plus, The National Centre for Fair and Open Testing a répondu au rapport en publiant une liste de questions que l'étude n'a pas répondu. Among them: What was the root cause of the problem? Parmi ceux-ci: Quelle est la cause profonde du problème? When did The College Board receive the first request for hand scoring of the October SAT? Quand avez-Le College Board recevoir la première demande de main notation de la SAT Octobre? How many weeks did it take for the board to respond to that request? Combien de semaines at-il fallu pour le conseil pour répondre à cette demande? When did The College Board first discover a broad problem? Quand avez-Le Collège Première découvrir un vaste problème? Why was there a delay between that time and when test takers and others were informed of the problem? Pourquoi était-il un décalage entre ce moment-là et quand les preneurs d'essai et d'autres ont été informés du problème?

[thanks, [merci, Daily Stanford Stanford Daily ]

Now, I went into that report (it’sa powerpoint presentation) and picked out some of the most fun parts of it. Maintenant, je suis allé dans ce rapport (il s'agit d'une présentation powerpoint) et repris quelques-uns des plus amusants parties de celui-ci. Actually, it’s more a case of me fearmongering by promoting potentially frightening sections of a report which just goes to show how flimsy the SAT is as part of a situation which just demonstrates how much that not-for-profit status is bullshit. En fait, c'est plus une affaire de moi fearmongering en favorisant potentiellement effrayant sections d'un rapport qui va juste pour montrer comment peu la SAT est dans le cadre d'une situation qui démontre seulement que la quantité de non-lucratif est bullshit.

The report was released July 26 and has since been buried from the public as best the College Board can manage. Le rapport a été publié Juillet 26 et a depuis été enterré par le public du mieux que le Collège Conseil peut gérer. It’s available on their website Il est disponible sur leur site here ici ; I’m not making this stuff up. , Je ne suis pas faire ça. Booz Allen Hamilton placed each of the 51 identified error-risk-locations into one of these categories: Booz Allen Hamilton placé chacun des 51 identifiés erreur de risque endroits dans l'une de ces catégories:

There were some really cute flowcharts and diagrams, too–even little pie charts of “overall rating” for the likelihood a particular flaw in the testing chain could fail. Il y avait vraiment mignon diagrammes et de schémas, même trop peu de graphiques de "l'ensemble des avis" la probabilité pour un défaut dans la chaîne de test pourrait échouer. There were several charts–one titled “Prioritization of Risk” (on slide 54 for those reading along) shows the killzone. Il y avait plusieurs cartes-un intitulé "Ordre de priorité des risques" (à la diapositive 54 pour ceux qui lisent le long) montre la Killzone. These 4 were both of “higher impact” (ie “affects large part or whole answer sheet”) and “high likelihood,” remember the color scheme: Ces 4 étaient à la fois de "plus grand impact» (c'est-à-dire "affecte grande partie ou toute la feuille de réponses") et "haut risque", rappelez-vous le schéma de couleurs:

7. Scanner reading variation due to erasure 7. Scanner lecture variation en raison de l'effacement

3. 3. Scanner variation on marginal marks Scanner variations marginales sur les marques

4. Scanner reading variation due to alternative writing implement Scanner lecture Variation due à d'autres écrire

26. Answer sheets left in test books Réponse à gauche en feuilles d'essai

Don’t worry, they provide partial solutions on slide 56. Ne vous inquiétez pas, ils fournissent des solutions partielles à la diapositive 56. For instance, pesky #7 can be solved by… Par exemple, pesky # 7 peut être résolu par…

1. Continue double scan Continuer double balayage
2. Supply pencils/erasers at test centers Approvisionnement crayons / gommes à des centres d'essai

Wait, that’s it? Attendez, c'est ça? That’s how they solve it? C'est la façon dont ils le résoudre? What about the blank spaces under “medium-term improvements” and “major future changes” or “follow-on analysis”? Qu'en est-il des espaces sous la rubrique «à moyen terme des améliorations" et "grands changements futurs" ou "suite à l'analyse"? Why is there even the “follow-on analysis” table if there is nothing in it on that entire slide? Pourquoi y at-il même le "sur-analyse" table si il n'ya rien sur elle dans toute cette diapositive? Okay, whatever. Bon, que ce soit. How do we solve “ Scanner reading variation due to alternative writing implement ” ? Comment pouvons-nous résoudre "Scanner lecture Variation due à d'autres écrire"? We… supply pencils and erasers at test centers. … Nous l'offre de crayons et de gommes à des centres d'essai. Oh. And that finishes it? Et que se termine? Oh, we can “Investigate software upgrades for consistent readings (color scanning, wavelength, etc.)” also? Oh, nous pouvons "enquêter sur les mises à niveau logicielles destinées à garantir la cohérence des lectures (la numérisation en couleur, longueur d'onde, etc)" également? That’s great. That's great. And then eventually have an online test? Et puis finalement un test en ligne? That sounds stupid but I’ll take your word for it. Cela paraît stupide mais je vais prendre votre parole. Hmm, those problems sound easier to fix than some of the other ones, though. Hmm, les problèmes son plus facile que de fixer quelques-unes des autres, si. Error 51, Errors in deleting items from database –that sounds nasty. Erreur 51, des erreurs lors de la suppression des éléments de base de données que les sons désagréables. You would have to ” Ensure DB backup and rollback procedures in place” to solve that one. Vous n'avez pas à "veiller à ce PB et du démantèlement de sauvegarde mis en place des procédures" pour résoudre celui-là.

Oh well, I’ll trust that stuff. Oh bien, je ne doute pas que stuff. I’ll just skip to the appendix and see if there is anything else of interest…Oh, look, here are some of those things that were of lower likelihood! Je vous reste plus qu'à sauter à l'appendice et voir s'il ya quelque chose d'autre d'intérêt… Oh, regardez, voici certaines de ces choses qui étaient de moindre risque! These can’t be very important. Ceux-ci peuvent ne pas être très important. Hang on, they could have “higher” impact? Hang on, ils auraient pu "élevé" impact? Okay, what happens if there is “Scanner variation due to smeared pencil marks.” That can’t be that bad. Bon, ce qui se passe si il est "Scanner variation due à enduit crayon." Cela ne peut être que mauvaise. Smeared pencil marks due to manual handling–I can see that happening, I guess. Enduit crayon en raison de la manutention manuelle-Je vois que cela ne se produise, je pense. And what’s the result? Inaccurate scores ? Et quel est le résultat? Évaluations inexactes? Say it ain’t so! Dites-le n'est pas le cas! Well, at least there are now protections for that. Eh bien, au moins il existe maintenant des protections pour cela. Wait, there are “none” now or in the foreseeable future? Attendez, il ya "none" maintenant ou dans un avenir prévisible? Dang. Too bad there are several other ways for that to happen, too–not least among them a PEM database corruption which results in data storage failure and then… inaccurate scores. Tant pis, il existe plusieurs autres moyens pour cela, trop pas moins entre eux une base de données PEM la corruption qui se traduit par l'échec de stockage de données et puis… les évaluations inexactes. And which again has “none” ways against happening right now. Et qui a de nouveau "aucun" passe-t-il les moyens contre pour le moment. Glad to see you have it all under control, College Board, but I’m still seeing a little too much red . Heureux de voir que vous avez tout sous contrôle, College Board, mais je suis encore voir un peu trop de rouge. Not you, though–all you see is green, green, cash. Pas vous, bien-tout ce que vous voyez est vert, vert, espèces. Good thing you still manage to keep the best interests of the students your balance books in mind. Bonne chose que vous parviennent encore à garder les meilleurs intérêts des élèves le solde de votre compte dans l'esprit des livres.

Finish with more from the Daily Stanford article… Terminer avec de plus le Daily Stanford article…

In the long run, the report makes the recommendation of offering the SAT online as a way to minimize scoring problems due to mechanical malfunctions, though the prospect of an online SAT raises many security questions. À long terme, le rapport fait la recommandation d'offrir la SAT en ligne comme un moyen de réduire au minimum les problèmes de cotation en raison de défectuosités mécaniques, bien que la perspective d'une SAT en ligne soulève de nombreuses questions de sécurité. Certainly, the amount of weight given to SAT scores in college admissions necessitates that the process be carefully scrutinized for error. Certes, le montant du poids accordé à la SAT les évaluations d'admission au collège exige que le processus soit soumise à un examen approfondi à l'erreur.

Although The College Board insists that the mistakes that led to last fall’s incorrect exams will be fixed, and the problem was an isolated incident, the organization’s reputation as a supposedly non-profit, fair institution has been damaged by the mistake and its initial refusal to cooperate with the Senate Higher Education Committee. Bien que le College Board insiste sur le fait que les erreurs qui ont mené à l'automne dernier incorrecte examens sera fixée, et le problème a été un incident isolé, l'organisation comme une réputation prétendument à but non lucratif, juste institution a été endommagé par l'erreur et son premier refus de coopérer avec le Sénat l'enseignement supérieur. Moreover, this gives rise to the question of whether the SAT should continue to be used in college admissions. De plus, ce qui donne lieu à la question de savoir si la SAT devrait continuer à être utilisés dans Collège admission.

Wooooo.

Oh, for dessert: here are all 51 problem areas: Oh, pour le dessert: ici sont tous les 51 domaines: