CocoIndex – фреймворк для реального времени ETL-пайплайнов
который автоматически конвертирует и индексирует данные для AI-приложений Поддерживает инкрементальные обновления и кастомную логику преобразования, ядро на Rust
Добавляет embedding, knowledge‑graph, semantic search, с нативной поддержкой инкрементального обновления при изменении документов.
⚡ Когда использовать? ✅ Для Semantic Search, RAG, knowledge graph ✅ Когда нужны свежие данные при обновлении источников ✅ Если требуется кастомизация трансформаций и схем
👨💻 Задача Создать поиск по корпоративной базе знаний. При изменении документов — автоматически обновлять индекс и embeddings Без инструмента
- Пишем ETL скрипты вручную
- Создаём схему БД, поддерживаем её
- Организуем инкрементальные обновления
- Рефакторим при изменении требований
С инструментом
- Определяем flow-пайплайн одной функцией
- Вся логика + схема хранилища делаются автоматически
- Инкрементально обновляется всё — embeddings, схемы, связанные связи
Впервые опубликовано: @ai_ossresearch.
Методология
Методология одной книгой
Как Product Owner ведёт запрос бизнеса от первого письма до результата, который можно показать: пять стадий, у каждой понятный выход. Оставьте почту, и я пришлю книгу.
Читать дальше
- CodeAbra/iai-personal-memory-engine
Тоже пусть тут лежит, это знакомый из Threads разрабатывает. Больше про разграничение персональных контекстов агента
- OpenObserve - открытая observability-платформа для логов, метрик, трейсов и RUM
Условный Elasticsearch/Datadog, только в разы дешевле по хранению и разворачивается одним бинарником.
- Headlong - OpenSource автономный AI-агент с постоянной рефлексией
Очень прожорливая штука по токенам, в авторах там мегакрутые чуваки (Konwinski - Perplexity & Co) - работает в фоне, а не только по запросу - сам выбирает, о чём думать и что…