';if(document.write(e),!window.loadFullI18n){var o=window.i18nStorage.getItem("docx");if(!window.loadDocxCacheI18nFg||!o){var a='';document.write(a)}}}}(),delete window._initLangSettings},window._initLangSettings()}();
Title | year | Author | Notes |
Coding | | | |
Evaluating Large Language Models Trained on Code 2021-07-Codex.pdf | 2021.07 | Wojciech Zaremba OpenAI | 把 GPT 在 code 上训练了一下,模型没有创新,但解决了新的问题。参考性主要是怎么处理数据。 从 GPT-3 的权重开始 finetune,精度上没有收益,但是,收敛速度更快。 只解决了 python |
Competition-Level Code Generation with AlphaCode 2022-02-AlphaCode.pdf | 2022.02 | Yujia Li Oriol Vinyals DeepMind | 数据集上,进一步 finetune 了数据本身。 模型结构,用了完整的 encoder-decoder transformer 结构。 沐神:诚意不如 codex,自卖自夸的成分更多一些。 用 12 种编程语言对 8600 万个程序进行预训练,并针对编码竞赛的内容进行了微调。 |
ChatGPT | | | |
Training language models to follow instructions with human feedback 2022-03-InstructGPT.pdf | 2022.03 | Long Ouyang Ryan Lowe OpenAI | 20 页正文,48 页附录 1. 标了一个小数据集做监督学习 2. RLHF: RL from human feedback。 把 model output 标 rank 排名,然后强化学习。-- 这好像也是我前几年想做落地时的思路。 |
| | | |
TODO | | | |
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models 2023-Visual-ChatGPT.pdf | 2023.03 | Chenfei Wu Nan Duan Microsoft Research Asia | |
| | | |
Multimodal Chain-of-Thought Reasoning in Language Models 2023-02-Multimodal-CoT.pdf | 2023.02 | Zhuosheng Zhang Mu Li Alex Smola Amazon Web Services | |
Sparks of Articial General Intelligence: Early experiments with GPT-4 2023-03-experiments-with-GPT-4.pdf | 2023-03 | Microsoft Research | |