Dziesięć lat temu zbudowaliśmy hosting plików: upload przez WWW i FTP, podgląd zdjęć i audio, zbiorcze zarządzanie w panelu. Plik był wtedy końcem drogi — leżał i czekał, aż ktoś go pobierze.
Dziś plik jest początkiem. Wrzucasz nagranie ze spotkania, skan umowy albo PDF i oczekujesz notatki, podsumowania, wpisu. Zmieniło się jedno: między plikiem a wynikiem stoi model, który nie zawsze potrafi ten plik przeczytać — i nie zawsze o tym mówi.
Cicha porażka jest gorsza niż błąd
Nagranie .m4a z telefonu poszło u nas prosto do modelu transkrypcji. Model czyta pliki przez libsndfile, które nie zna AAC. Efekt: notatka powstała bez treści nagrania. Bez wyjątku, bez czerwonego komunikatu, z pustym wynikiem i pewnym siebie tekstem „na temat”.
To jest wzorzec, nie jednorazowa wpadka. Model poproszony o notatkę z pliku, którego nie przeczytał, napisze notatkę. Nie powie „nie dałem rady”, jeśli mu się tego wprost nie każe.
Załącznik to nie jeden typ
Obraz, nagranie i dokument wymagają trzech różnych dróg:
- obraz idzie do modelu jako obraz, wstawiony wprost — bez pośredniego opisu, który gubi szczegóły;
- audio i wideo przez ffmpeg do transkrypcji, z cięciem na segmenty i równoległym przetwarzaniem;
- dokument przez ekstrakcję tekstu z limitem znaków i jawnym markerem przy obcięciu;
- reszta jako link, z informacją, że treść nie została przeczytana.
Do tego drobiazg, który kosztował nas jedną błędną notatkę: telefon wysyła każde zdjęcie jako image.jpg, więc dopasowanie załączników po nazwie pliku daje dwie kopie pierwszej strony skanu. Dopasowanie idzie po indeksie, a prompt dostaje numerację [i/N].
Co można z tego zbudować
Kiedy ta warstwa jest zrobiona porządnie, „hosting plików” zamienia się w coś innego: wrzucasz materiał, a system oddaje treść. W naszej prywatnej platformie notatek na tym stoi cały przepływ — czat ma 23 narzędzia, którymi steruje sam, i potrafi pobrać źródło, przetworzyć, zapisać wpis i dopiąć plik w jednej odpowiedzi.
To projekt prywatny, aplikacja wewnętrzna jednego z kontrahentów, więc nie ma publicznego adresu. Mechanikę, liczby z ewaluacji modeli i zrzuty ekranu pokazujemy na rozmowie.
Czego pilnować u siebie
- Sprawdź, co się dzieje, gdy plik jest nieczytelny. Jeśli dostajesz gładką odpowiedź zamiast błędu — masz problem.
- Sprawdź format wejściowy, nie tylko rozszerzenie. Telefon nagrywa w AAC, a nie każda biblioteka to czyta.
- Sprawdź, co ląduje w prompcie po obcięciu długiego dokumentu i czy w ogóle widać, że coś obcięto.
- Sprawdź koszt i czas na jedną operację, zanim wybierzesz model. U nas wybór opiera się na pomiarze, nie na tym, co było ostatnio na czasie.