Microsoft представила инструмент для конвертации файлов в Markdown
Microsoft выпустила на GitHub открытый инструмент MarkItDown — библиотеку Python для преобразования файлов и офисных документов в формат Markdown. Этот легковесный язык разметки с простым текстовым синтаксисом — его легко читать, писать и понимать.
Благодаря чёткому и предсказуемому синтаксису Markdown, алгоритмы ИИ могут легко анализировать текст и понимать его структуру. Markdown поддерживается многими популярными инструментами, включая GitHub и блокноты Jupyter.
MarkItDown поддерживает следующие форматы файлов:
PDF (.pdf) PowerPoint (.pptx) Word (.docx) Excel (.xlsx) Изображения (метаданные EXIF и OCR) Аудио (метаданные EXIF и транскрипция речи) HTML (специальная обработка Wikipedia и др.) Различные текстовые форматы (csv, json, xml и др.)Библиотека распространяется по открытой лицензии MIT, позволяющей разработчикам свободно использовать, изменять и распространять код с обязательным указанием авторства и оригинальной лицензии. MarkItDown можно скачать с GitHub, установить с помощью команды pip install markitdown или из исходников командой pip install -e.
Кроме того, MarkItDown можно настроить для использования больших языковых моделей (LLM) при описании изображений. Для этого необходимо указать параметры mlm_client и mlm_model в объекте MarkItDown.
Преобразованные файлы можно использовать для индексации, текстового анализа и других задач.