Tóm tắt các điểm chính
- HLE chứa 2,500 câu hỏi công khai cấp sau đại học từ toán học, khoa học máy tính, văn học, âm nhạc và lịch sử
- 76% câu hỏi dạng exact-match answer, 24% trắc nghiệm, 14% kết hợp văn bản và hình ảnh
- Gemini 3 Pro dẫn đầu bảng xếp hạng HLE tính đến tháng 12/2025
- Future House chỉ ra khoảng 30% câu trả lời hóa học/sinh học có thể sai do quy trình xét duyệt chỉ 5 phút
- HLE ra đời vì các benchmark cũ như MMLU đã bão hòa với điểm số trên 90%
Humanity’s Last Exam là gì?
Humanity’s Last Exam (HLE) là bộ câu hỏi đánh giá được thiết kế để đo lường khả năng suy luận của các mô hình ngôn ngữ lớn, không chỉ khả năng khớp mẫu của chúng. HLE nhằm đánh giá mức độ tốt của một mô hình xử lý các vấn đề cấp chuyên gia trên nhiều lĩnh vực học thuật.
Khi các mô hình ngôn ngữ lớn tiến bộ, các nhà nghiên cứu dựa vào các bộ sưu tập câu hỏi đánh giá, được gọi là benchmarks (bộ kiểm thử), để so sánh hiệu năng và theo dõi tiến trình. HLE được thiết kế để đánh giá khả năng suy luận thực sự, không phải chỉ nhận diện mẫu đơn thuần.
Tại sao cần Humanity’s Last Exam? Các benchmark cũ đã bão hòa như thế nào?
Với nhiều benchmarks đã tồn tại, tại sao cần thêm một benchmark khác? Các benchmarks từng thách thức các mô hình ngôn ngữ lớn, chẳng hạn như MMLU, giờ đã bão hòa, với các models thường đạt điểm trên 90%. Ở điểm này, những benchmarks này ngừng đo lường sự khác biệt có ý nghĩa giữa các models.
HLE là benchmark thế hệ tiếp theo nâng mức độ khó bằng cách tập hợp các câu hỏi do chuyên gia tạo yêu cầu suy luận nhiều bước, không chỉ đơn thuần nhớ lại hoặc khớp mẫu bề nổi.
HLE được phát triển như thế nào?
Centre for AI Safety hợp tác với Scale AI
Cuối năm 2024, Centre for AI Safety, một tổ chức phi lợi nhuận về an toàn AI, hợp tác với Scale AI, một công ty dữ liệu, để phát triển một benchmark AI khó hơn. Dan Hendrycks lãnh đạo dự án.
Team crowdsource các câu hỏi cấp sau đại học từ nhiều ngành học thuật và cung cấp giải thưởng đáng kể: 50 người đóng góp hàng đầu mỗi người thắng 5,000 USD, và 500 người tiếp theo nhận 500 USD.
Kết quả là một pool lớn các câu hỏi cấp chuyên gia trên nhiều chủ đề, chẳng hạn như toán học, khoa học máy tính, văn học, phân tích âm nhạc và lịch sử.
Quy trình chọn lọc câu hỏi diễn ra thế nào?
Team HLE có quy trình xét duyệt nghiêm ngặt cho các câu hỏi:
Để được chấp nhận, câu hỏi phải làm khó một mô hình ngôn ngữ lớn tiên tiến. Khoảng 70,000 câu hỏi đáp ứng tiêu chí này. Các chuyên gia đánh giá ngang hàng tinh chỉnh và lọc tổng số xuống còn 13,000 câu hỏi. Những người tổ chức và chuyên gia đánh giá phê duyệt thủ công 6,000 trong số những câu hỏi này. Các nhà nghiên cứu chia pool câu hỏi này thành một tập công khai 2,500 câu hỏi và một tập holdout khoảng 500 câu hỏi.
HLE bao gồm những gì?
1. Paper HLE mô tả benchmark
Paper HLE mô tả benchmark là bộ kiểm thử đóng cuối cùng cho các kỹ năng học thuật rộng. Các câu hỏi của nó yêu cầu suy luận nhiều bước, ngăn các models đoán hoặc ghi nhớ câu trả lời.
HLE bao gồm 2,500 câu hỏi công khai và khoảng 500 câu hỏi bổ sung trong một tập holdout riêng tư. Mỗi câu hỏi phải nguyên bản, có một câu trả lời đúng duy nhất và chống lại tìm kiếm web đơn giản hoặc tra cứu cơ sở dữ liệu.
2. Câu hỏi được định dạng như thế nào?
Khoảng 76% câu hỏi sử dụng định dạng exact-match answer (câu trả lời khớp chính xác) và 24% còn lại sử dụng trắc nghiệm. Khoảng 14% câu hỏi là multimodal, liên quan đến cả văn bản và hình ảnh.
Những phê bình về HLE như thế nào?
Kết quả ban đầu
Kết quả ban đầu cho thấy các frontier models ban đầu đạt điểm kém trên các câu hỏi, nhưng bày tỏ sự tự tin cao. Khoảng cách này chỉ ra hallucinations (ảo giác – khi AI tự tin đưa ra thông tin sai).
Future House phê bình gì về HLE?
Các nhóm độc lập cũng nêu lo ngại. Future House, một phòng thí nghiệm nghiên cứu phi lợi nhuận, công bố blog “Khoảng 30% câu trả lời hóa học/sinh học của Humanity’s Last Exam có khả năng sai”.
Phân tích của họ tập trung vào giao thức xem xét. Những người viết câu hỏi tuyên bố câu trả lời đúng, nhưng người đánh giá được hướng dẫn chỉ dành 5 phút xem xét tính đúng đắn của câu trả lời. Họ lập luận quy trình này để các câu trả lời quá phức tạp, giả tạo hoặc mơ hồ trượt qua thường xung đột với văn học khoa học.
HLE phản hồi phê bình như thế nào?
Những người duy trì HLE phản hồi bài đăng bằng cách ủy thác một đánh giá ba chuyên gia về tập con tranh cãi. Tính đến ngày 16 tháng 9 năm 2025, họ lên kế hoạch thông báo một quy trình xem xét cuộn cho HLE.
Bối cảnh các benchmark AI
1. Các benchmark về kiến thức và suy luận
HLE nằm trong một hệ sinh thái rộng hơn của các benchmarks kiểm tra các khía cạnh khác nhau của khả năng mô hình ngôn ngữ lớn. Các benchmarks đánh giá kiến thức học thuật và suy luận bao gồm:
Massive Multitask Language Understanding (MMLU) kiểm tra hiệu năng zero-shot (không cần ví dụ) trên 57 chủ đề khác nhau. MMLU-Pro/MMLU Pro+ tăng độ phức tạp câu hỏi và tập trung vào suy luận bậc cao hơn.
Google Proof Q&A (GPQA) là benchmark STEM cấp sau đại học chống Google với 448 câu hỏi trắc nghiệm. Humanity’s Last Exam (HLE) sử dụng các vấn đề được tuyển chọn cấp chuyên gia nhấn mạnh suy luận hơn nhớ lại.
2. Các benchmark về hiểu đa phương thức
Các benchmarks đo lường suy luận liên quan đến cả văn bản và hình ảnh bao gồm:
Massive Multi-discipline Multimodal Understanding and Reasoning (MMMU) chứa khoảng 1,500 câu hỏi đa phương thức, đa ngành được lấy từ các kỳ thi, bài kiểm tra và sách giáo khoa. MMMU-Pro benchmark loại bỏ các câu hỏi có thể giải quyết bằng các models chỉ văn bản, thêm các tùy chọn câu trả lời mạnh mẽ hơn và giới thiệu setting chỉ thị giác trong đó toàn bộ prompt được nhúng trong một hình ảnh.
3. Các benchmark về kỹ thuật phần mềm
Các benchmarks khác tập trung cụ thể vào kỹ thuật phần mềm và sử dụng công cụ:
SWE-bench được xây dựng từ các vấn đề GitHub thực từ 12 kho Python. Model đọc codebase, diễn giải mô tả vấn đề và đề xuất một patch.
SWE-bench Verified là phiên bản cải tiến của SWE-bench sửa các bài kiểm tra quá cụ thể, làm rõ mô tả vấn đề mơ hồ và ổn định thiết lập môi trường. SWE-bench-Live là phiên bản có thể mở rộng, được cập nhật liên tục với 1,319 tác vụ trên 93 repos.
4. Framework đánh giá toàn diện
Center for Research on Foundation Models (CRFM) của Stanford phát triển Holistic Evaluation of Language Models (HELM) để hỗ trợ đánh giá AI có trách nhiệm.
HELM đánh giá các models trên một loạt các scenarios tiêu chuẩn, chẳng hạn như trả lời câu hỏi, tóm tắt, các truy vấn quan trọng về an toàn và nội dung xã hội/đạo đức. Các scenarios này được chấm điểm trên nhiều chiều, không chỉ độ chính xác, mà còn calibration (hiệu chuẩn), robustness (bền vững) và toxicity (độc hại).
HELM đã phát triển thành một họ các frameworks liên quan: HELM Capabilities (bảng xếp hạng đa năng), HELM Audio (đánh giá âm thanh), HELM Lite (tập con nhỏ hơn), HELM Finance (tác vụ tài chính), MedHELM (suy luận và an toàn chăm sóc sức khỏe).
5. Đánh giá an toàn đo lường
Các frameworks an toàn đo lường rủi ro hơn là năng lực trí tuệ:
Model Evaluation & Threat Research (METR) là tổ chức nghiên cứu phi lợi nhuận đánh giá các khả năng có khả năng nguy hiểm, chẳng hạn như tấn công mạng, cố gắng tránh tắt máy hoặc khả năng tự động hóa AI R&D. Nhiệm vụ của nó là phát hiện sớm các rủi ro thảm họa.
Frontier Safety Framework của Google DeepMind định nghĩa các mức khả năng quan trọng (CCLs), theo dõi liệu các frontier models có tiếp cận chúng hay không và thực hiện các kế hoạch giảm thiểu khi chúng làm vậy.
Các model AI hiện tại đạt điểm bao nhiêu?
Các bảng xếp hạng công khai theo dõi hiệu năng thế nào?
Nhiều bảng xếp hạng công khai theo dõi hiệu năng mô hình ngôn ngữ lớn trên các số liệu khác nhau:
Scale LLM Leaderboards bao gồm bảng xếp hạng cho hành vi agent, an toàn và hiệu năng frontier trên các benchmarks tiêu chuẩn. LLM Stats bao gồm tạo hình ảnh, tạo video, văn bản sang giọng nói, giọng nói sang văn bản và embeddings.
Vellum LLM Leaderboard tập trung vào suy luận và lập trình. Artificial Analysis.AI LM Leaderboard xếp hạng các models về trí thông minh, giá, tốc độ và độ trễ. Hugging Face Open LLM Leaderboard bao gồm kết quả chi tiết cho nhiều models.
Điểm số hiện tại tính đến tháng 12/2025
Infinity News tổng hợp một số điểm số tính đến thời điểm viết vào tháng 12 năm 2025:
Humanity’s Last Exam: Theo Vellum leaderboard, người dẫn đầu hiện tại là Gemini 3 Pro, flagship generative multimodal AI model của Google.
Multimodal Reasoning: Gemini 3 Pro, được thiết kế để hợp nhất các phương thức vào một hệ thống duy nhất, dẫn đầu về multimodal reasoning, theo Kaggle MMLU-Pro leaderboard.
Coding / Software Tasks (SWE-bench): Claude Sonnet 4.5 của Anthropic, ưu tiên suy luận cẩn thận, giữ vị trí hàng đầu trong lập trình và tác vụ phần mềm thực tế, theo Vellum leaderboard.
Agentic / Long-horizon Tasks: Claude Sonnet 4.5 cũng dẫn đầu trong các tác vụ agent và long-horizon (tầm xa), theo Vellum leaderboard.
An toàn và khả năng nguy hiểm được đánh giá thế nào?
Theo Scale LLM Safety Leaderboard, được truy cập ngày 8 tháng 12 năm 2025:
o3-2024-04-18 của OpenAI dẫn đầu trong PropensityBench, đo lường lựa chọn giữa hành vi an toàn hoặc có hại. GPT-oss-120b dẫn đầu trong Frontier Risk Evaluation for National Security and Public Safety. Claude Sonnet 4.5 chống lại áp lực nói dối nhiều nhất.
Kết luận
Các benchmarks AI định hình cách chúng ta đo lường tiến trình AI. Khi các benchmarks trước đó đã bão hòa, nhu cầu về một benchmark mới, tập trung vào suy luận, không chỉ nhớ lại hoặc khớp mẫu, trở nên rõ ràng.
Humanity’s Last Exam cố gắng lấp đầy khoảng trống đó bằng cách crowdsource các câu hỏi cấp sau đại học từ các chuyên gia khắp nơi trên thế giới để vạch trần các giới hạn của các mô hình ngôn ngữ lớn. HLE không phải là lời cuối cùng, nhưng nó làm rõ vị trí của AI ngày nay liên quan đến suy luận chuyên gia con người.
