I got 51 problems but a #2 pencil ain’t one. 나는 51 문제가 아니라 # 2 연필이 하나가 아닌지.

Booz Allen Hamilton has a funny name but they’re all about serious business. 부즈 앨런 해밀턴이 재미있는 이름을하지만 그들은 모든 사업에 대해 심각합니다. The “global strategy and technology 의 "글로벌 전략과 기술 consulting firm 컨설팅 회사 ” was contracted by the College Board in the fallout of the SAT scoring mistakes from last October. "이 계약으로 대학의 보드에 악영향은 지난해 10 월부터 토요일 점수 실수를합니다. They audited the testing process and made a report, which was hidden away. 테스트 과정과 그들이 감사 보고서가있는가 숨어있다는 걸 알아야합니다. At least until Senator LaValle used subpoena powers and 소환 능력을 사용하기 전까지 적어도 상원 의원과 라발 demanded the report 이 보고서를 요구 be made public–they were required to do so by New York’s “truth in testing” state laws but the College Board stated that they were “exempt from state law.” I love this choice quote: “Once again The College Board’s approach to problems is to shroud them in secrecy,” Senator LaValle said in a July 13 news release. - 그들은 필요가를 공개하여이를 위해 뉴욕의 "진실을 시험"주법 그러나 대학 보드 밝혔다 그들은 "주 법률에서 면제합니다."사랑이 선택 따옴표 : "다시 한 번 대학 보드 ' 그들의 접근 방법에 문제가이 비밀을 막, "상원 의원에 라발 7월 13일 뉴스 릴리스 말했다. “ Their attitude gives rise to greater questions as to their true purpose .” What do you mean, Senator LaValle? "그들의 태도는 그들의 진정한 목표로 질문에 큰 상승을합니다."무슨 뜻 이죠, 상원 의원 라발? Is there still a problem? 가 여전히 문제가 되나?

“The board’s lack of accountability in this matter goes to the heart of the arrogance that exists when an organization basically holds a monopoly in a certain market,” LaValle said in a statement following the release of the report. "이사회는이 문제에 대해 책임 부족의 심장에 간다 오만에 존재하는 조직 기본적으로 보유하면 특정 시장을 독점하고,"라발는 다음과 같은 성명서에서이 보고서의 석방을합니다. “This report still does not answer why such a large number of testing errors occurred on the October 2005 SAT. "이 리포트는 아직 응답하지 않습니다 같은 이유에서 다수의 테스트를 2005년 10월 오류가 발생했습니다 토. In addition, the board has not provided an explanation of why it took several months to inform over 4,000 students of inaccurate test scores.” 또한이위원회는 이유에 대한 설명이 제공되지 않음을 알려 몇 개월 걸렸습니다 정확하지 않은 이상 4000 수학 능력 시험 성적의 학생합니다. "

Additionally, The National Center for Fair and Open Testing responded to the report by releasing a list of questions that the study did not answer. 또한, 국립 센터를 오픈 테스트를 공정하고 답변을 질문의 목록을 발표하는이 보고서의 연구에 대답하지 않았다. Among them: What was the root cause of the problem? 그중 :이 문제의 근본 원인은 무엇입니까? When did The College Board receive the first request for hand scoring of the October SAT? 대학은 언제 손 보드가 나타납니다 점수에 대한 요청은 10 월 첫째 토? How many weeks did it take for the board to respond to that request? 얼마나 많은 주일에 한 소요 보드에 회신하여 그 요청? When did The College Board first discover a broad problem? 대학 기판은 언제 처음 발견하는 광범위한 문제가 되나? Why was there a delay between that time and when test takers and others were informed of the problem? 지연 시간을 사이에 해당하는 이유는 무엇입니까 때이 정보를 수험생 및 기타의 문제가 되나?

[thanks, [감사합니다, Daily Stanford 일일 스탠포드 ]

Now, I went into that report (it’sa powerpoint presentation) and picked out some of the most fun parts of it. 지금, 나는이 충돌한 보고서 (이것 파워 포인트 프레 젠 테이션) 및 대부분의 재미를 골라 내서의 일부 부분이있습니다. Actually, it’s more a case of me fearmongering by promoting potentially frightening sections of a report which just goes to show how flimsy the SAT is as part of a situation which just demonstrates how much that not-for-profit status is bullshit. 사실, 이건 나 fearmongering를 홍보하여 더 많은 잠재적인 무서운 사건을보고 어떤 부분 the 토는 단순히를 표시하는 방법의 일환으로 설득력없는 상황에 어느 정도 그렇지 않기를 단지 - 위해 - 이익을하는 방법을 보여줍니다 상태는 말도합니다.

The report was released July 26 and has since been buried from the public as best the College Board can manage. 이 보고서는 이후 26 년 7 월에 공공으로 최고의 대학에서이 보드에 묻혀 관리할 수있습니다. It’s available on their website 그것이 자신의 웹사이트에 사용할 수있는 here 여기에 ; I’m not making this stuff up. ; 나는 이런 것들을하지 않고 있죠. Booz Allen Hamilton placed each of the 51 identified error-risk-locations into one of these categories: 각각의 위치 부즈 앨런 해밀턴 51 - 리스크 - 위치를 하나의 오류가 발견 이러한 분류 :

There were some really cute flowcharts and diagrams, too–even little pie charts of “overall rating” for the likelihood a particular flaw in the testing chain could fail. 정말 귀여운 흐름도 및 다이어그램이 일부도 - 심지어 작은 파이 차트 "전체 등급"을 확률 테스트를 특정 사슬에 결함이 실패할 수도있습니다. There were several charts–one titled “Prioritization of Risk” (on slide 54 for those reading along) shows the killzone. 이 여러 차트 - 한 제목은 "우선 순위의 위험"(독서 따라 이들을위한 슬라이드 54) killzone 나타냅니다. These 4 were both of “higher impact” (ie “affects large part or whole answer sheet”) and “high likelihood,” remember the color scheme: 이들 4는 둘 다 "더 높은 미치는 영향"(예 : "영향을 미치는 대규모의 일부 또는 전체 답안지")과 "높은 확률,"기억하고 색 구성표 :

7. Scanner reading variation due to erasure 7. 스캐너 독서 변동으로 인해 삭제

3. 3. Scanner variation on marginal marks 스캐너 유사 상표에 한계

4. Scanner reading variation due to alternative writing implement 스캐너 읽고 쓰기 변동으로 인해 구현하는 대안

26. Answer sheets left in test books 남아있는 시험 답안지 도서

Don’t worry, they provide partial solutions on slide 56. 걱정 마세요, 그들은 부분적인 솔루션을 제공합니다 슬라이드 56. For instance, pesky #7 can be solved by… 예를 들면, 성가신 # 7으로써 해결할 수도있습니다…

1. Continue double scan 계속 이중 스캔
2. Supply pencils/erasers at test centers 공급 연필 / 지우개 테스트 센터

Wait, that’s it? 잠깐,이게 다야? That’s how they solve it? 그들이 어떻게 해결하는가? What about the blank spaces under “medium-term improvements” and “major future changes” or “follow-on analysis”? 아래 빈 공간을 무엇에 대해 "중간 - 용어 개선"과 "주요 미래의 변경 사항"또는 "다음 -를 분석"? Why is there even the “follow-on analysis” table if there is nothing in it on that entire slide? 거기에도 이유는 무엇입니까은 "다음 -를 분석"테이블에 대해선 아무것도있다면 전체를 슬라이드? Okay, whatever. 그래, 무슨합니다. How do we solve “ Scanner reading variation due to alternative writing implement ” ? 어떻게 문제를 해결 "스캐너 읽고 쓰기를 구현 대안 변동으로 인해"? We… supply pencils and erasers at test centers. 우리가… 공급 장치, 연필, 지우개 테스트 센터합니다. Oh. 오. And that finishes it? 그가 완료어요? Oh, we can “Investigate software upgrades for consistent readings (color scanning, wavelength, etc.)” also? 오, 우리는 "소프트웨어 업그레이 드에 대한 조사를 일관성있는 수치 (컬러 스캐닝, 파장 등)"을 구입? That’s great. 잘됐다. And then eventually have an online test? 그러면 결국은 온라인 테스트? That sounds stupid but I’ll take your word for it. 바보 같은 소리하지만 난 당신 말을 맡지합니다. Hmm, those problems sound easier to fix than some of the other ones, though. 흠, 이러한 문제를 해결 소리보다 쉽게 다른 것들 중 일부지만. Error 51, Errors in deleting items from database –that sounds nasty. 오류 51, 오류가 데이터베이스에서 항목을 삭제하는 중 - 소리 불쾌한합니다. You would have to ” Ensure DB backup and rollback procedures in place” to solve that one. 당신은 "데이터베이스의 백업 및 롤백 절차를 보장 장소"를 해결하기는 하나.

Oh well, I’ll trust that stuff. 아 그럼, 내가 그런 것들을 신뢰합니다. I’ll just skip to the appendix and see if there is anything else of interest…Oh, look, here are some of those things that were of lower likelihood! 부록을보고 난 단지로 건너 뛰 다른 사람의 관심을 아무것도있다면… 아, 자, 여기에 그 중 일부가 낮은 과거의 일들과 확률! These can’t be very important. 이들은 아주 중요하다 수없습니다. Hang on, they could have “higher” impact? 꽉 잡아, 그들은 우리가 "높은"미치는 영향? Okay, what happens if there is “Scanner variation due to smeared pencil marks.” That can’t be that bad. 네,있다면 어떻게됩니까는 "스캐너 변동으로 인해 착수금 연필 자국합니다."그것은 그렇게 나쁘지 않을 수있습니다. Smeared pencil marks due to manual handling–I can see that happening, I guess. 연필 자국 착수금으로 인해 수동으로 처리 - 내가 볼 수가 일어나고, 아마. And what’s the result? Inaccurate scores ? 무엇이 결과는 어떻습니까? 부정 확한 점수를? Say it ain’t so! 이 아니라고 그래서! Well, at least there are now protections for that. 음, 적어도 지금은 보호를 해당합니다. Wait, there are “none” now or in the foreseeable future? 잠깐,이 "없음"지금 또는 미래의 예견? Dang. 댕합니다. Too bad there are several other ways for that to happen, too–not least among them a PEM database corruption which results in data storage failure and then… inaccurate scores. 너무 나쁜 일이 일어 나도록하는에는 여러 다른 방법을도 -없습니다 중 최소한 그들에게 어떤 결과가 뛰어나 데이터베이스가 손상될… 부정 확한 데이터 스토리지 실패하고 다음을 점수를합니다. And which again has “none” ways against happening right now. 를 다시하고 있고, 어느은 "없음"바로 지금 일어나는 방법으로 반대합니다. Glad to see you have it all under control, College Board, but I’m still seeing a little too much red . 만나서 반갑습니다 모든 상황을 통제하고있어, 대학 보드,하지만 지금도 여전히 전을 너무 많이보고 약간 붉은합니다. Not you, though–all you see is green, green, cash. 그렇지, 비록 - 당신이보고있는이 녹색, 녹색, 현금으로합니다. Good thing you still manage to keep the best interests of the students your balance books in mind. 좋은 아직도 학생의 최상의 이익을 유지 관리하는 귀하의 균형을 도서의 마음을합니다.

Finish with more from the Daily Stanford article… 일일 스탠포드에서 더 많은 자료를 완료…

In the long run, the report makes the recommendation of offering the SAT online as a way to minimize scoring problems due to mechanical malfunctions, though the prospect of an online SAT raises many security questions. 긴 안목으로 보면,이 보고서 토가 온라인으로 제공하는 추천의 점수를 최소화하는 방법으로 기계적인 결함으로 인해 문제가지만 전망 많은 보안 문제를 제기하는 온라인 토. Certainly, the amount of weight given to SAT scores in college admissions necessitates that the process be carefully scrutinized for error. 물론, 토양의 양을 무게를 건네 대학에 입학 점수를주의 깊게 면밀한 조사하는 과정에서 오류가 필요합니다.

Although The College Board insists that the mistakes that led to last fall’s incorrect exams will be fixed, and the problem was an isolated incident, the organization’s reputation as a supposedly non-profit, fair institution has been damaged by the mistake and its initial refusal to cooperate with the Senate Higher Education Committee. 비록 대학 보드 주장의 잘못을 주도 지난 가을의 잘못된 시험에 고정된다, 그리고 문제는 우발적인 사고는 조직의 명성을 추측 아닌 - 이익, 공정한 기관이 손상을 실수로 초기 거절 상원은 고등 교육위원회에 협조합니다. Moreover, this gives rise to the question of whether the SAT should continue to be used in college admissions. 또한,이를 통해 상승에 대한 문제를 계속 사용할 수 있는지 여부를 브랜드에 사용되는 대학 입학해야합니다.

Wooooo. wooooo합니다.

Oh, for dessert: here are all 51 problem areas: 아, 후식 : 여기는 모두 51 문제를 지역 :