អត្ថបទដែលមានស្លាក #LLM

ការរចនា LLM Evals ដែលចាប់ Regression ពិតប្រាកដ

មុខងារ LLM ខូចក្នុងរបៀបដែល unit tests ធម្មតាមើលមិនឃើញ។ Eval suite ល្អគួរចាប់ផ្តើមពីឧទាហរណ៍ពិត ពិនិត្យអាកប្បកិរិយា មិនមែនអារម្មណ៍ ហើយបំបែកគុណភាពម៉ូដែលពីគុណភាពផលិតផល។

RAG ក្នុង ៦០ វិនាទី

LLM ដឹងតែអ្វីដែលវាបានរៀនប៉ុណ្ណោះ។ RAG អនុញ្ញាតឱ្យវាទៅរកព័ត៌មានពិតប្រាកដសិន មុននឹងឆ្លើយ។ នេះជាដំណើរការទាំង ៦ ជំហាន។

ការបញ្ជូនទិន្នន័យ (Streaming) ចម្លើយ LLM នៅក្នុង Next.js ដោយមិនប្រើប្រាស់ Framework

ការបញ្ជូនទិន្នន័យ token ម្តងមួយៗធ្វើអោយមុខងារ AI មានអារម្មណ៍ថាលឿនរហ័ស។ ខាងក្រោមជារបៀបដែលខ្ញុំបញ្ជូនទិន្នន័យត្រង់ចេញពី Next.js Route Handler ដោយប្រើប្រាស់ Web Streams API — មិនបាច់មានការបន្ថែម SDK ផ្សេងទៀត មិនមាន client library, សរុបប្រហែល៤០បន្ទាត់។

ការទាញយក JSON ដែលអាចទុកចិត្តបានពី LLM

"សូមឆ្លើយនៅក្នុងទម្រង់ JSON" នៅក្នុង prompt មិនមែនជាការសន្យាទេ - វាគ្រាន់តែជាការស្នើរសុំ ដែលម៉ូដែលនឹងបំពាននៅពេលស្ថិតនៅក្រោមសំពាធការគិត។ ខាងក្រោមជារបៀបដែលខ្ញុំទទួលបានទិន្នន័យដែលគោរពតាមលក្ខខណ្ឌវិធាន (schema) គ្រប់ពេលវេលា ដោយប្រើប្រាស់ tool calling, schema validation និង រង្វិលជុំជួសជុល(repair loop) យ៉ាងម៉ត់ចត់។