Новость
Hawk помогает LLM генерировать NPU-ядра с учетом аппаратных ограничений
Hawk использует три plug-and-play модуля, чтобы встроить реальные аппаратные ограничения в процесс рассуждений любой LLM. По данным авторов, точность выросла с 49,4% до 80,0% без дообучения, а выполнение ускорилось до 2,2×.
Исследователи Junyi Wen, Ruiyan Zhuang, Yongjia Xu и соавторы представили фреймворк Hawk для генерации NPU-ядер с учетом аппаратных особенностей. Проблема, которую он решает, состоит в том, что LLM не хватает аппаратно-специфичных априорных знаний для такой задачи. Hawk использует три plug-and-play модуля: синтез знаний времени выполнения, поиск с учетом узких мест и дистилляцию, управляемую эффектом. Эти модули внедряют реальные аппаратные ограничения в цикл рассуждений любой LLM, повышая точность с 49,4% до 80,0% без дообучения. Дополнительно, по данным авторов, достигается ускорение выполнения до 2,2× по сравнению с предыдущими базовыми подходами. Статья доступна на arXiv: 2607.01590.
-
Hawk помогает LLM генерировать NPU-ядра с учетом аппаратных ограничений
KDnuggets
🔬 AI Research Digest 📅 Week of July 14–21, 2026 ━━━━━━━━━━━━━━━━━━━━━━━━ 1. 🐦 Colibri: Run a 744B MoE Model on 25 GB of RAM Authors/Org: JustVugg (open-source) | GitHub: JustVugg/colibri Bottleneck solved: Hardware/cost barriers for running frontier-scale models locally — no GPU, no cloud spend required. Colibri is a ~2,400-line pure-C inference engine that streams only the active MoE experts from disk at runtime, keeping just 9.9 GB of dense model weights resident in RAM. Developers and researchers who want to run GLM-5.2 locally for experimentation or fine-tuning evaluation can now do so on a standard consumer machine. 🔗 JustVugg/colibri on GitHub ━━━━━━━━━━━━━━━━━━━━━━━━ 2. ⚡ Hawk: Hardware-Aware LLM Framework for NPU Kernel Generation Authors/Org: Junyi Wen, Ruiyan Zhuang, Yongjia Xu et al. | arXiv: 2607.01590 Bottleneck solved: LLMs fail on NPU kernel generation because they lack hardware-specific priors — Hawk raises accuracy from 49.4% to 80.0% without retraining. Hawk uses three plug-and-play modules (runtime knowledge synthesis, bottleneck-aware retrieval, and effect-driven distillation) to inject real hardware constraints into any LLM's reasoning loop, also delivering up to 2.2× execution speedup over prior baselines. ML infrastructure teams targeting Ascend or custom AI accelerators can layer Hawk on top of existing LLM toolchains immediately. 🔗 arXiv 2607.01590 — Hawk ━━━━━━━━━━━━━━━━━━━━━━━━ 3. 🧠 Codebase-Memory-MCP: Persistent Knowledge Graph for AI Coding Agents Authors/Org: DeusData | GitHub: DeusData/codebase-memory-mcp Bottleneck solved: AI coding agents waste hundreds of thousands of tokens re-scanning files on every query — this cuts structural-query token usage by 99%. Built in pure C as a single static binary with zero dependencies, it parses 158 languages via tree-sitter AST analysis, indexes the Linux kernel (28 M lines) in ~3 minutes, and answers structural queries in under a millisecond. Any team running Claude Code, Codex, or similar agents on large monorepos can drop this MCP server in to immediately slash context costs and speed up agent tool calls. 🔗 DeusData/codebase-memory-mcp on GitHub ━━━━━━━━━━━━━━━━━━━━━━━━ 💡 Stay curious. Read the papers. For More: @kdnuggets @datasciencechats