В ретроспективе зафиксирован процесс подготовки конвертера Markdown → JSONL и загрузки в локальную БД
Описан поток, при котором оригинальный Markdown не помещается сразу в БД, а сначала преобразуется в промежуточный JSONL для предварительного просмотра и проверки.
Объяснено, почему результаты делятся на docs_chunks, api_mapping, label_prototypes и почему такая структура удобна для загрузки в локальный PostgreSQL.
Описаны причины, по которым репозиторий был сначала сделан публичным, а затем переведён в приватный, и размышления о публичности
Из‑за неуверенности в текущих навыках публикация казалась обременительной, но было решено, что делиться записями может стать опорой для других и ускорить собственный рост.
Планировалось развернуть локальный LLM‑endpoint в среде Oracle Cloud с 24 GB VRAM и подключить его к автоматизации workflow/PR‑ревью в GitHub, но из‑за утери учётной записи Oracle Cloud и сложности настройки RunPod эта автоматизация откладывается.
На оставшиеся задачи дня решено сосредоточиться на преобразовании примерно 1 500 Markdown‑файлов официальной документации в JSONL и загрузке их в локальную БД
Преобразование одного файла занимает больше времени, чем ожидалось, поэтому завершить всё за один день пока не ясно.
По текущим логам за ~1 ч 9 мин обработано 39 файлов со статусом done и 4 файла со статусом deferred — всего 43 файла.
Средняя скорость ≈ 1,6 минуты на файл, что в сумме для 1 570 файлов составляет примерно 42 часа вычислений.
На завтрашний и послезавтрашний день времени, скорее всего, не будет, поэтому составлен план дальнейшей валидации
Уже созданные JSONL будут загружены в локальный PostgreSQL и проверено, доступен ли поиск.