I got 51 problems but a #2 pencil ain’t one. حصلت على 51 ولكن المشاكل قلم رصاص رقم 2 ليست واحدة.

Booz Allen Hamilton has a funny name but they’re all about serious business. Booz الن هاملتون له اسم ولكنها مضحكه انت كل شيء عن الاعمال الخطيره. The “global strategy and technology "استراتيجية عالمية والتكنولوجيا consulting firm شركة استشاريه ” was contracted by the College Board in the fallout of the SAT scoring mistakes from last October. "تم التعاقد من قبل مجلس الكليه في السقط من جلس سجل اخطاء من تشرين الاول / اكتوبر الماضي. They audited the testing process and made a report, which was hidden away. وهي المراجعه عملية الاختبار ، وقدمت التقرير ، التي كانت مخباه بعيدا. At least until Senator LaValle used subpoena powers and على الاقل الى ان السناتور لافال تستخدم الصلاحيات والحضور demanded the report وطالب التقرير be made public–they were required to do so by New York’s “truth in testing” state laws but the College Board stated that they were “exempt from state law.” I love this choice quote: “Once again The College Board’s approach to problems is to shroud them in secrecy,” Senator LaValle said in a July 13 news release. يتم بين القطاعين العام ويطلب منهم القيام بذلك في نيويورك "لجنة الحقيقة في الاختبار" ولكن قوانين الدولة ومجلس الكليه وذكرت انها "تعفي من دولة القانون." انا احب هذا الاختيار اقتبس : "مرة اخرى مجلس الكليه' ق نهج للمشاكل هو الكفن لهم في السرية ، "لافال وقال عضو مجلس الشيوخ في 13 تموز / يوليه نشرة اخباريه. Their attitude gives rise to greater questions as to their true purpose .” What do you mean, Senator LaValle? "موقفهم يثير المزيد من الاسءله الحقيقية لهذا الغرض." ماذا تعني ، عضو مجلس الشيوخ لافال؟ Is there still a problem? هو لا تزال هناك مشكلة؟

“The board’s lack of accountability in this matter goes to the heart of the arrogance that exists when an organization basically holds a monopoly in a certain market,” LaValle said in a statement following the release of the report. "المجلس عدم المساءلة في هذا الامر في صميم غطرسه القائم اساسا عندما منظمة هي الجهة الوحيدة المخوله في بعض الاسواق ،" لافال في تصريح له بعد الإفراج عن التقرير. “This report still does not answer why such a large number of testing errors occurred on the October 2005 SAT. "هذا التقرير لا يزال قاصرا عن الاجابه لماذا هذا العدد الكبير من التجارب على اخطاء وقعت السبت تشرين الاول / اكتوبر 2005. In addition, the board has not provided an explanation of why it took several months to inform over 4,000 students of inaccurate test scores.” بالاضافة الى ذلك ، فان المجلس لم يقدم تفسيرا لماذا استغرق عدة اشهر لتبلغ اكثر من 4000 طالب من عشرات التجارب غير دقيقة. "

Additionally, The National Center for Fair and Open Testing responded to the report by releasing a list of questions that the study did not answer. بالاضافة الى ذلك ، فان المركز الوطني للعادلة ومفتوحة للتجارب ورد على التقرير عن طريق الافراج عن قائمة من الاسءله ان الدراسه لم يرد علي. Among them: What was the root cause of the problem? ومن بينها : ما هو السبب الجذري للمشكلة؟ When did The College Board receive the first request for hand scoring of the October SAT? متى كلية المجلس تلقى اول طلب لجهة التسجيل من تشرين الاول / اكتوبر السبت؟ How many weeks did it take for the board to respond to that request? كم عدد اسابيع لانه لم يتخذ المجلس للرد على هذا الطلب؟ When did The College Board first discover a broad problem? متى كلية المجلس اكتشاف اول مشكلة واسعة النطاق؟ Why was there a delay between that time and when test takers and others were informed of the problem? لماذا كان هناك تأخير بسيط بين ذلك الوقت وعندما اخذ تجارب الاخرين وابلغ من هذه المشكلة؟

[thanks, [شكرا ، Daily Stanford ستانفورد يوميا ] [

Now, I went into that report (it’sa powerpoint presentation) and picked out some of the most fun parts of it. الآن ، ذهبت الى أن التقرير (it'sa عرض PowerPoint) والحصول على بعض من اكثر متعة اجزاء منه. Actually, it’s more a case of me fearmongering by promoting potentially frightening sections of a report which just goes to show how flimsy the SAT is as part of a situation which just demonstrates how much that not-for-profit status is bullshit. في الحقيقة انه اكثر من قضية من خلال تشجيع لي fearmongering المخيفه التي يحتمل ان اجزاء من التقرير الذي يذهب فقط لبيان كيفية وقد جلست هي واهية كجزء من الحاله التي يظهر كم فقط ان لا تسعى للربح هو الهراء.


The report was released July 26 and has since been buried from the public as best the College Board can manage. في تقرير صدر في 26 تموز / يوليو ومنذ ذلك الحين دفن من الجمهور بأفضل ما يمكن لمجلس كلية ادارة. It’s available on their website لأنها متاحة على الموقع الالكترونى here هنا ; I’m not making this stuff up. ؛ انا لست جعل هذه الاشياء. Booz Allen Hamilton placed each of the 51 identified error-risk-locations into one of these categories: Booz الن هاملتون وضعت كل واحدة من 51 خطأ في تحديد مواقع الخطر - الى واحدة من هذه الفئات :

A. Not at all mitigated or detected ا ليس على الاطلاق او التخفيف من اكتشاف
B. Partial mitigation or detection of risk ب التخفيف الجزئي او الكشف عن المخاطر
C. Substantial mitigation or detection of risk جيم كبيرة او التخفيف من اثارها الكشف عن المخاطر
D. Completely mitigated or detected دال تماما او التخفيف من اكتشاف

There were some really cute flowcharts and diagrams, too–even little pie charts of “overall rating” for the likelihood a particular flaw in the testing chain could fail. وكانت هناك بعض حقا لطيف خرائط ورسوم بيانية ، بل وقليل جدا - الفطيره الخرائط من "التصنيف العام" لاحتمال وجود خطأ معين في سلسلة تجارب قد تفشل. There were several charts–one titled “Prioritization of Risk” (on slide 54 for those reading along) shows the killzone. هناك العديد من الخرائط واحد وتحت عنوان "تحديد الاولويات للخطر") على 54 لتلك الشريحه على طول القراءة) يبين killzone. These 4 were both of “higher impact” (ie “affects large part or whole answer sheet”) and “high likelihood,” remember the color scheme: 4 وكانت هذه على حد سواء "اعلى والاثر" (اي "يؤثر على جزء كبير او كل ورقة الاجابه") و "احتمال كبير" ان نتذكر مخطط الالوان :

7. Scanner reading variation due to erasure 7. ماسحه القراءة نظرا لاختلاف المحو
3. 3. Scanner variation on marginal marks ماسحه ضوءيه مختلفة لعلامات هامشيه
4. Scanner reading variation due to alternative writing implement ماسحه ضوءيه القراءة نظرا لاختلاف الكتابة تنفيذ البديل
26. Answer sheets left in test books الاجابه تترك في اختبار صحائف الكتب

Don’t worry, they provide partial solutions on slide 56. لا تقلق ، وهي توفر حلول جزئية على 56 شريحة. For instance, pesky #7 can be solved by… فعلى سبيل المثال ، pesky # 7 يمكن ان تحل من قبل…

  1. Continue double scan مواصلة المسح المزدوج
  2. Supply pencils/erasers at test centers العرض اقلام الرصاص / محايات في مراكز الاختبار

Wait, that’s it? الانتظار ، ذلك؟ That’s how they solve it? هذا هو كيفية ايجاد حل لها؟ What about the blank spaces under “medium-term improvements” and “major future changes” or “follow-on analysis”? وماذا عن المساحات الفارغه في اطار "اجراء تحسينات المتوسطة الاجل" و "التغييرات الرئيسية في المستقبل" او "بشان متابعة وتحليل"؟ Why is there even the “follow-on analysis” table if there is nothing in it on that entire slide? ولماذا وحتى "بشان متابعة وتحليل" الجدول واذا لم يكن ثمة في هذا كله أنه على الشريحه؟ Okay, whatever. حسنا ، أيا كان. How do we solve “ Scanner reading variation due to alternative writing implement ” ? كيف نتوصل الى حل "ماسحه ضوءيه القراءة نظرا لاختلاف الكتابة تنفيذ البديل"؟ We… supply pencils and erasers at test centers. ونحن… توريد أقلام الرصاص والمحايات فى مراكز الاختبار. Oh. أوه. And that finishes it? وان ينتهي؟ Oh, we can “Investigate software upgrades for consistent readings (color scanning, wavelength, etc.)” also? أوه ، يمكننا أن "التحقيق في برامج لرفع مستوى يتسق قراءات (مسح اللون ، الطول الموجي ، وما الى ذلك)" ايضا؟ That’s great. ذلك عظيم. And then eventually have an online test? وبعد ذلك في نهاية المطاف على الانترنت للتجارب؟ That sounds stupid but I’ll take your word for it. ان الاصوات الغبيه ولكن انا لاتخاذ كلمتك. Hmm, those problems sound easier to fix than some of the other ones, though. هم ، هذه المشاكل اسهل سليمة لتصحيح بعض من الآخرين ، على الرغم. Error 51, Errors in deleting items from database –that sounds nasty. 51 خطأ ، والأخطاء في حذف البنود من قاعدة بيانات الاصوات - ان مقرف. You would have to ” Ensure DB backup and rollback procedures in place” to solve that one. قمتم الى "ضمان ديسيبل الاحتياطيه وتراجع الاجراءات المعمول بها" لحل آن واحد.

Oh well, I’ll trust that stuff. أوه حسنا ، أنا على ثقة من ان مادة خام. I’ll just skip to the appendix and see if there is anything else of interest…Oh, look, here are some of those things that were of lower likelihood! انا فقط لتخطي والتذييل وانظر اذا كان هناك اهتمام من اي شيء آخر… اوه ، نظره ، وهنا بعض من تلك الاشياء التي كانت أقل من احتمال! These can’t be very important. هذه لا يمكن ان يكون في غاية الاهميه. Hang on, they could have “higher” impact? تعليق على ذلك ، يمكن ان يكون "اعلى" اثر؟ Okay, what happens if there is “Scanner variation due to smeared pencil marks.” That can’t be that bad. حسنا ، ماذا يحدث اذا كان هناك "نظرا لاختلاف ماسحه smeared علامات القلم الرصاص." ان ذلك لا يمكن ان يكون سيئا. Smeared pencil marks due to manual handling–I can see that happening, I guess. قلم رصاص smeared علامات بسبب المناوله اليدويه - استطيع ان أرى أن يحدث ، احزر. And what’s the result? Inaccurate scores ? وما النتيجة؟ عشرات غير دقيقة؟ Say it ain’t so! اقول انها ليست بذلك! Well, at least there are now protections for that. حسنا ، على الاقل هناك الآن الحمايه لذلك. Wait, there are “none” now or in the foreseeable future? الانتظار ، وهناك "لا شيء" الان او في المستقبل المنظور؟ Dang. لعينا. Too bad there are several other ways for that to happen, too–not least among them a PEM database corruption which results in data storage failure and then… inaccurate scores. سيئ جدا وهناك عدة طرق أخرى لذلك أن يحدث أيضا - ليس أقلها أ بيم قاعدة بيانات الفساد الذي يؤدي الى عدم تخزين البيانات غير دقيقة… وبعد ذلك عشرات. And which again has “none” ways against happening right now. مرة اخرى والتي قد "لا شيء" سبل مكافحة يحدث الآن. Glad to see you have it all under control, College Board, but I’m still seeing a little too much red . سعداء ان نرى لديكم كل هذا تحت السيطرة ، مجلس الكليه ، ولكنني لازلت رؤية اكثر من اللازم قليلا الاحمر. Not you, though–all you see is green, green, cash. لا أنت ، على الرغم من كل شيء تراه هو أخضر ، أخضر ، نقدا. Good thing you still manage to keep the best interests of the students your balance books in mind. جيد ، لا تزال ادارة لكم ان تبقى المصالح العليا للطلاب رصيدك الكتب في الاعتبار.

Finish with more from the Daily Stanford article… الانتهاء من أكثر من مادة ستانفورد يوميا…

In the long run, the report makes the recommendation of offering the SAT online as a way to minimize scoring problems due to mechanical malfunctions, though the prospect of an online SAT raises many security questions. في المدى الطويل ، ويقدم التقرير توصية تقدم جلست على الانترنت كوسيله للتقليل الى أدنى حد سجل مشاكل بسبب اعطال ميكانيكيه ، على الرغم من احتمال السبت على شبكة الانترنت يثير العديد من المسائل الامنية. Certainly, the amount of weight given to SAT scores in college admissions necessitates that the process be carefully scrutinized for error. وبالتأكيد ، فإن المبلغ من وزنه ونظرا الى عشرات السبت في كلية الاعترافات يستوجب ان تكون هذه العملية لتمحيص دقيق للخطأ.

Although The College Board insists that the mistakes that led to last fall’s incorrect exams will be fixed, and the problem was an isolated incident, the organization’s reputation as a supposedly non-profit, fair institution has been damaged by the mistake and its initial refusal to cooperate with the Senate Higher Education Committee. ورغم ان كلية المجلس يصر على ان الاخطاء التي ادت الى الخريف الماضي الامتحانات ستكون صحيحة ثابتة ، والمشكلة هي حادثة منعزلة ، وسمعة المنظمه بوصفها ويفترض ان لا تستهدف الربح ، وقد قامت المءسسه عادلة تضررت بفعل والخطأ الاولى لرفض التعاون مع لجنة مجلس الشيوخ للتعليم العالي. Moreover, this gives rise to the question of whether the SAT should continue to be used in college admissions. وعلاوة على ذلك ، وهذا يثير مسألة ما اذا كان جلس ينبغي الاستمرار في استخدام القبول في الكليه.

Wooooo.

Oh, for dessert: here are all 51 problem areas: أوه ، لالحلوي : 51 وهنأ جميع مجالات المشاكل :

A. Not at all mitigated or detected ا ليس على الاطلاق او التخفيف من اكتشاف
B. Partial mitigation or detection of risk ب التخفيف الجزئي او الكشف عن المخاطر
C. Substantial mitigation or detection of risk جيم كبيرة او التخفيف من اثارها الكشف عن المخاطر
D. Completely mitigated or detected دال تماما او التخفيف من اكتشاف
6. Scanner wrongly picks up persistent debris as a mark 6. ماسحه خطأ تلتقط استمرار الحطام وكدليل
7. Scanner reading variation due to erasure 7. ماسحه القراءة نظرا لاختلاف المحو
8. Scanner reading variation on hesitation marks 8. ماسحه قراءة مختلفة لعلامات التردد
17. Answer sheet wrongly force matched to student 17 الجواب خطأ ورقة قوة لتقترن الطلابيه
22. Scanner misreads marks due to scan track corruption 22. يسيء قراءة العلامات ماسحه لمسح المسار بسبب الفساد
25. Packages tampered with before shipping 25. الاحزمه يعبث به قبل الشحن
32. Scanner variation due to smeared pencil marks 32. ماسحه نظرا لاختلاف درجة smeared قلم رصاص
47. Key entry mistakenly mixes pages from different answer sheets 47. خطأ مفتاح الدخول من مختلف يمزج صفحات الاجابه صحائف
49. PEM database gets corrupted 49. بيم قاعدة بيانات يحصل افسدتها
51. Errors in deleting items from database 51. اخطاء في حذف البنود من قاعدة البيانات
1. Bubble alignment error due to paper manufacturing 1. فقاعة الانحياز بسبب خطأ في صناعة الورق
2. Paper alignment error due to paper material 2. الانحياز ورقة ورقة خطأ بسبب المواد
3. Scanner variation on marginal marks 3. ماسحه ضوءيه مختلفة لعلامات هامشيه
4. Scanner reading variation due to alternative writing implement 4. ماسحه القراءة نظرا لاختلاف الكتابة تنفيذ البديل
5. Scanner wrongly picks up loose debris as a mark 5. ماسحه خطأ تلتقط فضفاضة وكدليل على الحطام
9. Inconsistency in scanning of double grids 9. تضارب في المسح من ضعف شبكات
10. Scanner picks up unintended marks from back side of paper 10. ماسحه ضوءيه تلتقط علامات غير مقصودة من جانب ورقة العودة
11. Scanner picks up unintended marks due to rubbing adjacent pages 11. ماسحه ضوءيه تلتقط علامات غير مقصودة نتيجة لفرك المتاخمه للصفحات
12. Editor assigns incorrect answer key due to invalid/missing test code/ form code 12. يكلف المحرر الرئيسية اجابة صحيحة غير صحيحة نظرا ل/ المفقودين اختبار مدونة / شكل قانون
13. Incorrect answer key used due to student entering wrong valid test/form code 13. اجابة صحيحة الرئيسية المستخدمة دخول الطلاب بسبب خطأ صالحة اختبار / شكل قانون
16. Answer sheet wrongly manually matched to student by PEM 16 الجواب صحيفة خطأ يدويا من قبل الطلاب ليقابل بيم
19. Student gets incomplete score using composite answer sheet 19. طالب يحصل على درجة كاملة باستخدام مركب ورقة الاجابه
21. Scanner reading variation due to partially wet sheets 21. ماسحه القراءة جزئيا بسبب اختلاف صحائف ويت
26. Answer sheets left in test books 26 الجواب اختبار تركت في صحائف الكتب
28. Answer sheets go missing before receipt 28 الجواب صحائف الذهاب المفقودين قبل استلام
37. Scanner variation on “good” marks due to unforeseen paper distortion 37. ماسحه الاختلاف على "حسن" الى درجة غير متوقعة بسبب التشويه ورقة
38. 2 nd scanner out of tolerance 38 (2) الثانية وماسحه ضوءيه من التسامح
39. 1 st scanner out of tolerance 39 (1) شارع ماسحه ضوءيه من التسامح
40. Both scanners out of tolerance 40. الماسحات الضوءيه على حد سواء من التسامح
41. Unforeseen events cause scanner variation 41. ماسحه ضوءيه والاحداث غير المتوقعة سبب الاختلاف
43. Scanner software bugs due to code changes 43. ماسحه برامج البق بسبب التغييرات في الرموز
44. Wrong answer sheet pulled from batch for editing 44. سحبت ورقة إجابة خاطءه من دفعه للتحرير
48. Item level edit mistake 48. البند تحرير مستوى الخطأ
15. Answer sheet wrongly automatched to student 15 الجواب خطأ automatched لصحيفة الطلاب
18. Scanner reading variation due to humidity/ moisture 18. ماسحه القراءة نظرا لاختلاف الرطوبه / رطوبه
20. Typed essay not correctly matched to student 20. مقالة مطبوعة بشكل صحيح لا تتناسب مع الطلاب
23. Packages are tampered with during shipping 23. الحزم يعبث به اثناء الشحن
24. Packages are damaged during shipping 24. الحزم هي التي اصيبت باضرار خلال النقل البحري
27. Exams discovered in test booklets late at PEM 27. الامتحانات اكتشف في وقت متأخر من الكتيبات اختبار بيم
29. Answer sheet packages go missing before receipt 29 الجواب صحيفة الحزم الذهاب المفقودين قبل استلام
30. Answer sheets destroyed with shipping materials 30 الجواب صحائف تدمير المواد مع النقل البحرى
31. Answer sheets or boxes misplaced at PEM 31. صحائف الاجابه في غير محلها او صناديق بيم
42. Sheet scanned once only (unscannable on other attempt) 42. الممسوحه ضوئيا ورقة مرة واحدة فقط) على محاولة اخرى unscannable)
14. Student enters wrong valid/ cross admin registration number 14. يدخل الطالب على خطأ صحيحه / الصليب الادارة رقم التسجيل
33. Scanner reads marks in wrong order due to answer sheets flipped over 33. ماسحه ضوءيه في ما يلي علامات بسبب خطأ من أجل الاجابه على صحائف اكثر من مقلب
34. Pages from answer sheets in wrong order after slitting 34. صحائف صفحات من الاجابه خطأ في الترتيب بعد الحز
35. Pages from answer sheet go missing at scanner 35. صفحات من الاجابه في صحيفة المفقودين الذهاب ماسحه
36. Pages stuck together going through scanner 36. تمسك الصفحات التي يمر بها معا ماسحه
45. Erroneous manual key entry for unscannables 45. الخاطئة دليل دخول رئيسية لunscannables
46. Editor makes test/form code error on unscannables 46. الاختبار يجعل تحرير / خطأ على شكل قانون unscannables
50. Data feed generation gets corrupted 50. خلاصة البيانات جيل يحصل افسدتها