自宅のRTX3060で小さなLLMを自作してみた
Dataset({ features: ['text', 'footnote', 'meta'], num_rows: 10246 }) Filtered dataset size: 10,246 entries トークナイザー 青空文庫のデータのみで学習を行うということもあり、語彙に偏りがあることが想定されます。 そこで既存のトークナイザーを使うより専用のものを使用した方が良いだろうと考え自作することにしました。SentencePiece で unigram を学習しています。 一般的なCPUですが10分ほどで作成が完了しました。 パラメーターについて model_type: unigram 互換のトークン列を維持しつつ日本語特有の語尾を細かく刻みたかったので unigram を選択。 vocab_size: 32,000 なら GPT-2 Small と同じスケールの埋め込み行列です。
戦えるAIエージェントの作り方
KaggleはAIに解けるか？�MLE-Benchのいま (2025/08/23; 第4回 関東Kaggler会)
Unsloth で始める gpt-oss のファインチューニング
（上記、Github の README.md を一部日本語に翻訳して引用） Unsloth の良い点としては、学習の高速さやVRAM消費量が小さいことに加え、学習の効率化において近似計算を一切使用していないことから、精度低下がゼロと自信を持って書かれていることや、Huggingface において様々な動的量子化/GGUFモデル等を公開していることが挙げられます。 また、Unsloth を用いてLLMのダウンロードを行うと、謎の仕組みで高速に進みます。(Unsloth: Fast downloading is enabled と出てくるので多分早くなっている) インストールは以下のコマンドで行えます。 余談ですが、Unsloth の公式ドキュメントに書かれた LLM のファインチューニングガイド、どのモデルを使うべきか？、LoRA のハイパラのガイド は情報が綺麗にまとまっていて個人的にかな
LLM Leaderboard - Compare GPT-4o, Llama 3, Mistral, Gemini & other models | Artificial Analysis
LLM Leaderboard - Comparison of GPT-4o, Llama 3, Mistral, Gemini and over 30 models Comparison and ranking the performance of over 30 AI models (LLMs) across key metrics including quality, price, performance and speed (output speed - tokens per second & latency - TTFT), context window & others. For more details including relating to our methodology, see our FAQs. Quality: o1 and o3-mini are the h
わずか26分間の学習と1000円以下の計算コストでOpenAI o1-preview相当のAIモデルを構築する方法が発表される
2025年1月31日、スタンフォード大学で大規模言語モデルを研究するニクラス・ミュニホフ氏らの研究チームが、少ないデータサンプルと簡単な方法でOpenAI o1-previewとほぼ同等のスケーリングとパフォーマンスを再現する手法を、未査読論文リポジトリのarXivに発表しました。AIアーキテクトでソフトウェアエンジニアのティム・ケロッグ氏が、この論文について解説しています。 [2501.19393] s1: Simple test-time scaling https://arxiv.org/abs/2501.19393 S1: The $6 R1 Competitor? - Tim Kellogg https://timkellogg.me/blog/2025/02/03/s1 ミュニホフ氏らが発表した論文は、テスト時の計算リソースを増やすことで言語モデルの推論性能を向上させる「Sim
LLMアプリケーションの Fine-tunningと蒸留を活用した改善
PharmaXは、健康を一生涯サポートするかかりつけオンライン薬局『YOJO』を運営しています。 YOJOでは、LLMのマルチエージェント・アプリケーションを構築し、メッセージの薬剤師への提案や一部自動送信を行っています。LLMを用いることで、柔軟でパーソナライズされた対応が迅速に可能になり、ユーザー…
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience with support for both :ollama and :cuda tagged images. 🤝 Ollama/OpenAI API Integration: Effortlessly integrate OpenAI-compatible APIs for versatile conversations alongside Ollama models. Customize the OpenAI API URL to link with LMStudio, GroqCloud, Mistral, OpenRouter, and
Mistral NeMo | Mistral AI
Mistral NeMoMistral NeMo: our new best small model. A state-of-the-art 12B model with 128k context length, built in collaboration with NVIDIA, and released under the Apache 2.0 license. Today, we are excited to release Mistral NeMo, a 12B model built in collaboration with NVIDIA. Mistral NeMo offers a large context window of up to 128k tokens. Its reasoning, world knowledge, and coding accuracy ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/kis/status/1977984559448035471
https://x.com/alfredplpl/status/1948694542607438089
https://x.com/nizumical/status/1941803206306341253?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
OpenRouter R1とブロックチェーン ~LLMがブロックチェーン上でホストされる仕組みを調査してみた~
https://x.com/minchoi/status/1846889331241201849?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
https://x.com/PreferredNetJP/status/1846077341082202269
https://x.com/iwashi86/status/1821926454113997160?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
GitHub - CelVoxes/ceLLama: Cell type annotation with local Large Language Models (LLMs) - Ensuring privacy and speed with extensive customized reports
GitHub - OpenGenerativeAI/llm-colosseum: Benchmark LLMs by fighting in Street Fighter 3! The new way to evaluate the quality of an LLM
https://x.com/0317_hiroya/status/1814128886118293587?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
https://openai.com/index/prover-verifier-games-improve-legibility/
GitHub - neo4j-labs/llm-graph-builder: Neo4j graph construction from unstructured data using LLMs
