Rückblick auf den Prozess zur Vorbereitung des Markdown‑→‑JSONL‑Konverters und des Einspielens in die lokale DB
Statt das offizielle Markdown direkt in die DB zu laden, wird es zuerst in ein Zwischen‑JSONL‑Produkt konvertiert, um eine Vorschau/Validierung zu ermöglichen
Das Konverter‑Ergebnis wird in docs_chunks, api_mapping, label_prototypes aufgeteilt und in einer Struktur abgelegt, die das Einspielen in die lokale PostgreSQL erleichtert
Gründe für das erneute Privatisieren des Repositories und Überlegungen zur Veröffentlichung wurden im Rückblick festgehalten
Aufgrund von Unsicherheit über das aktuelle Können war eine Veröffentlichung belastend, aber das Teilen von Aufzeichnungen kann anderen als Sprungbrett dienen und das eigene Wachstum beschleunigen
Geplant war, in einer Oracle‑Cloud‑Umgebung mit 24 GB VRAM einen lokalen LLM‑Endpoint zu betreiben und diesen zur Automatisierung von GitHub‑Workflows/PR‑Reviews zu nutzen
Wegen Verlust des Oracle‑Cloud‑Kontos und des umständlichen RunPod‑Setups wird die LLM‑basierte PR‑Review‑Automatisierung vorerst verschoben
Die verbleibende Aufgabe für heute ist, etwa 1 500 offizielle Markdown‑Dateien in JSONL zu konvertieren und in die lokale DB zu laden
Da die Konvertierung einer Datei mehr Zeit beansprucht als erwartet, ist noch unklar, ob alle 1 500 Dateien heute abgeschlossen werden können
Nach aktuellem Log‑Stand wurden in etwa 1 Stunde 9 Minuten done 39 Dateien + deferred 4 Dateien, insgesamt also 43 Dateien verarbeitet
Die durchschnittliche Geschwindigkeit liegt bei ca. 1,6 Minuten pro Datei; für die gesamten 1 570 Dateien wird rechnerisch ein Aufwand von etwa 42 Stunden erwartet
Für morgen und übermorgen ist die Zeit voraussichtlich knapp, daher wird der weitere Validierungsplan festgehalten
Bereits erzeugte JSONL‑Dateien werden in die lokale PostgreSQL importiert und geprüft, ob sie durchsuchbar sind