Bug 703773: Fix buffer overwrite in util_printf_d when 'w' is too long.

cbz: Add support for image orientation.

Fix harmless typo: init uint8_t with 0, not NULL.

Bug 703753: Add detection of Orientation from Exif images.

Add the concept of 'orientation' to fz_images. This is set to
the orientation defined in an image; currently only Exif format
images set this. This value is ignored by all internal rendering
functions.

The image document handler checks the orientation, and flips/rotates
the image as necessary when feeding it to the display functions.

Bug 703205: Don't freak out about invalid indirect references.

Print a warning and turn them into 'null' so we don't throw away the
whole dictionary being parsed.

Bug 703100: Avoid encrypting (and extending) signature digests

When creating a new digital signature in a PDF MuPDF asks the
PKCS7 signer for the maximum digest size and adds a zeroed out
dummy signature as a /Contents string to the signature
dictionary. When MUPDF saves the document to a PDF file using
encryption it used to also encrypt the /Contents entry. For
AESv2/v3 encryption schemes strings will be extended by 16-31
bytes owing to an preceding iv string and trailing padding. Next
MuPDF completes unsaved signatures by locating their signature
dictionary objects in the PDF file, finding the /Contents entries
and overwriting their values with the an unencrypted signature
digests calculated by the PKCS7 signer according to the ranges
specified by each signatures /ByteRange entry.

For the PDF from the bug the initial zeroed out signature digest
was extended by 17 bytes when encrypted, thus the reserved size
for the /Contents entry was 17 bytes larger. When completing the
unsaved signatures MuPDF would previously, in pdf_write_digest(),
compare this reserved size to that of the unencrypted zeroed out
dummy signature. These differed by 17 bytes and
pdf_write_digest() errored out.

The check revealed that the zeroed out dummy signature digests
were written using encrypting and then patched without
encryption. Despite this the check is misguided because it
compares the encrypted and unencrypted lengths of the zeroed out
dummy signature digest. The check was meant to compare the
reserved space for the signature digest to the size of the digest
calculated by the PKCS7 signer.

This commit implements the correct approach which is to not
encrypt the initial dummy signature digest /Contents entry while
writing objects to the PDF file, and compare the size of the
digest returned by the PKCS7 signer to the reserved space in the
PDF file. The check has been modified to throw an exception if no
digest is received or if the digest is larger than the reserved
space. Should the digest be shorter than the reserved space,
it will be zeropadded at the end until it cover the entire space.

Bug 703179: Cope with updating deleted content tags.

If a marked content tag has a null mcid_obj, don't try to update it.
This can happen when the entire object is deleted during redaction,
in the case where we desync and cannot track the drawn text with the
structured text markup.

Bug 703092: Fix logic error in structured text scanning.

When scanning the MCID string for a matching character when running
the process filter, in the case where we do not remove the character
we could get stuck at a space character in the input since we'd not
progress.

When we match a character we should either remove or skip it, so make
that decision more explicit.

This also fixes another potential bug where when we were removing
a matching character, str->pos would also be advanced so we would miss
scanning the next character after it.

Fall back to system fonts in fz_new_cjk_font.

If we can't find a built-in CJK font, try calling the system font
callbacks before giving up. This is needed on Android where we don't
build in the CJK font because we can rely on the system to provide one.

Fix string/integer issue in JS function AFMakeDate

Arithmetic is done with the parameter ‘year’, but the value being passed
is a string. Convert to an integer first.

add PDFPage.createSignature
remove cacheing of widgets in PDFPage.getWidgets

Generalise pdf_delete_annot to also remove widgets.

jni: Fix typo in argument check.

Avoid taking redundant annotation reference.

This showed up as a memory leak when opening a document,
creating a redaction, redacting the page, closing mupdf-gl
and discarding the changes to the PDF.

When clearing signed signature, remove it from list.

The previous solution depended on marking signed signatures there
were cleared by removing their signer. After another round of code
reviewing it was revealed that cleared signatures can be removed
from the list of unsaved signatures in their entirety.

Update parent object for linked objects when saving/repairing.

Not doing this causes a problem when saving a PDF where a single
signature has been signed more than once.

Before such a PDF is saved to file, each signature's signature
dictionary contains default values for the /ByteRange and /Contents.
Later when the file is saved to disk, first all objects are written to
file (including all signature dictionaries with default values for
/ByteRange and /Contents). Next complete_signatures() needs to update
those default values to the correct values: The /ByteRange value needs
to reflect the correct ranges of bytes used to compute the signature
digest, and the /Contents value must be updated to contain the
computed digest. To know at what file offsets to patch in these
updated values, complete_signatures() queries /ByteRange for its
parent object, expecting the object number of the signature
dictionary, and then queiries the xref for that object's file offset.
This file offset is used to looking for a PDF signature dictionary
that contains the /ByteRange and /Contents in need of patching.

complete_signatures() not patches /ByteRanges and /Contents in the
file, it also updates the in-memory signature dictionary PDF objects
containing the /ByteRange and /Contents. Updating a key-value pair in
a PDF dictionary will normally cause the value's parent object number
to be set to that of the dictionary containing the value. This doesn't
happen when complete_signatures() updates /ByteRange and /Contents.
The reason is that pdf_save_document() calls prepare_for_save() which
sets the flag save_in_progress on the document. This flag prevents,
e.g. pdf_dict_put() and friends from, setting the parent object number
of dictionary values when they are updated. When pdf_save_document()
later calls do_pdf_save_document() which calls complete_signatures()
it creates new PDF arrays and hexstrings their parent object number is
0. These are then used to update /ByteRange and /Contents in the
in-memory PDF dictionaries, but the value's parent object number
remains at 0.

When only saving a PDF with a single signed signature this is not a
problem, because the first time /ByteRange is queried for its parent
object number by complete_signature() it contains object number set
when the default value for /ByteRange was inserted into the dictionary
during signing of the signature.

When saving a PDF with a signature that has been signed more than once
there is a problem. As complete_signatures() is processing the first
signing of the signature it asks /ByteRange for its parent object
number, gets the object number of the signature dictionary, which in
the xref points to a proper file offset and the computed byte range
and signature digest can be patched into the signature dictionary's
/ByteRange and /Contents values in the file. As complete_signatures()
is processing the second signing of the same signature it again asks
/ByteRange for its parent object number, it unexpectedly gets 0 (since
the /ByteRange value was updated in-memory during the completion of
the first signature), the xref is then asked for the file position of
PDF object 0, which is located at file offset 0. complete_signatures()
then starts to look for a signature dictionary in need of patching at
file offset 0, but in the end errors out because it can't find the
signature dictionary.

This commit allows newly linked array and dictionary objects to have
their parent object numbers be updated even when a PDF file is being
saved (or repaired). This fixes the issue in the previous paragraph
by allowing /ByteRange's parent object number to be updated to that of
the signature dictionary containing it. This leads to
complete_signatures() being able to locate the signature dictionary's
file offset and patch its values.

Update signature digest value in memory too.

Previously the signature digest would only be patched into a saved PDF
file by complete_sigantures(). After this commit the digest value is
also updated in the in-memory signature dictionary.

Do not assume that the first unsaved signature is signed (it may be cleared).

Previously it was assumed that the first unsaved signature in an
incremental xref section necessarily would have its /ByteRange
and /Contents values updated. This is no longer true for cleared
signatures, and the first unsaved signature might be a cleared
signature.

Avoid updating /ByteRange and /Contents of cleared signatures.

When clearing a signature field, remove its signature dictionary and its
signer. Later, when completing signatures, use the lack of a signer to avoid
updating the signatures dictionary's /ByteRange and /Contents values.
Updating those makes no sense since the pointer from the signature field
to its signature dictionary has been removed.

Previously the code tried to update the /ByteRange and /Contents
values for cleared signatures which caused problem fixed by this commit.

Avoid shortening PDF object usage lists when saving.

Return max xref length among current xref section and older.

Previously we would return the maximum xref length among
any xref sections, including ones appended after the
xref section pointed to by xref_base. This means that we
tried to write out objects for newer xref sections when
processing older xref sections, causing the xref_index
and PDF object usage lists to be corrupted.

Fix printf conversion specification in debug print.

mutool run: Add more signature related functions.

mutool sign: Tweak output.

mutool sign: Don't crash if designated name info can't be parsed.

mutool sign: Always do incremental saves.

mutool sign: Fix issues when listing unsigned signatures.

1) Fix recursion problem.
2) Don't try to parse certificate from unsigned signature.
3) Be more robust if the certificate is missing or blank.

Parse entire XFA resource as one XML document.

Parsing each packet individually causes XML parsing errors.

Fix memory leak of nested openssl BIO structures.

Remember to expand use lists when adding xref stream object.

Remember to drop locked fields.

Bug 702958: Fix overflow in fz_clear_pixmap_with_value.

Bug 701297: Harden populate_ui against unexpected repairs.

We count the number of layers, and allocate space for them in
an array. We then walk the tree reading details of those layers
in. If we hit a problem that causes a repair while reading the
information, the number of layers can magically increase. In
the existing code we run off the end of the array.

In the new code we watch for hitting the end of the array and
realloc as required.

Fix format specifier for printing xrefs in pdfocr device.

This was causing invalid xrefs to be written on Android.

mutool run: Add functions to match Java API.

Add pdf_was_repaired() and java reflection.

Fix pdf_sign_signature marking signed signature as needing new AP.

When we call pdf_update_signature_appearance we should make sure to
clear the 'needs_new_ap' flag.

Ensure that pdf_sign_signature dirties document.

pdf_clear_signature, similarly.

Bug 702522: Add resolution to output PNG files.

Fix rendering of "stroked" type3 glyphs.

As seen with fts_23_2312.pdf from the PDF 2.0 FTS.

This file uses "2 Tr" (Fill and Stroke text rendering mode) to
render a type 3 glyph. The fill part renders the glyph to a pixmap
that goes into the cache. The stroke part then finds the same glyph
and renders that too.

The difference is that the fill code in the draw device understands
how to draw from pixmaps, where the stroke code does not. Fix that
difference here.

Expose pdf_clear_signature as PDFWidget.clearSignature for java.

MSVC: Fix libthirdparty x64 builds

These were failing because I'd forgotten to exclude the individual
files for mujs.

Update MuJS submodule to version 1.0.9.

MSVC: Tweak tesseract/leptonica projects

These should now build properly in the absence of the source.

Bump version number.

Bug 702543: Avoid rendering file attachment annotations when Printing.

Bug 702857: Detect/avoid overflow when calculating sizes of pixmaps.

Throw an error when trying to allocate an overly large pixmap.

Improve error handling in muconvert.

jni: Fix compilation errors for Android.

Commit 3bd8ce45a9a29c8131deab37df17c24b1ece162b omitted
specifying the correct jni_throw_*() macro in two places.
This commit fixes that.

Update CHANGES.

Bug 701304: Improve bounds checking in jpx_read_image.

Bug 702566: Avoid leaking run_obj from pdf_add_cid_font_widths

When we hit curr_code == face->num_glyphs we should publish any
run_obj we have (and certainly drop it).

Bug 702936: Avoid NULL-deref in xfa locked fields code.

If 'use' is NULL, then just give up, cos clearly we'll never
match with it.

Bug 702715: Fix layout problems with mutool -s.

We weren't flushing text on a T*. Do so.

Bug 702865: Don't walk through successive pages while linearising.

When preparing a document for linearisation, we walk all the sub
objects to mark those as being used by a given page.

Unfortunately, when we walk annotations, these can have 'Dest'
references that are other pages. The current code will attempt
to walk those too. This means we can recurse a very long way,
causing use to overflow the exception stack.

To avoid this we avoid stepping through references that take us
either to the Page tree or to other pages.

Add pdf_graft_mapped_page and pdf_graft_page functions.

The implementation is largely copied from pdfmerge.c, but should not
affect the source document any more.

Update mutool merge to use the new function. Also tweak error handling
slightly to avoid throwing without a catcher.

Expose new functions through JNI.

Update mutool run to Add PDFGraftMap.graftPage and
PDFDocument.graftPage.

map.graftPage(at, srcDoc, srcPage)
doc.graftPage(at, srcDoc, srcPage)

(This commit includes code from Tor).

Ensure libmupdf.jar gets correct path to class files.

Add some consts to various fz_pixmap functions.

Add some consts in the pixmap conversion functions.

Avoid warning in parse_declaration_list.

By initing variables differently, we can avoid the "tail might be
used unitialised" warning.

MSVC: Add mujs source files to project.

Exclude them from the build as they are built as part of one.c,
but this way they can be searched from the IDE.

Fix warning from linux java build.

Fix a couple of warnings in Java build.

MSVC Solution: Add missing files to javaviewerlib project.

Makes no difference, except for search/replace.

Add java-clean target to the toplevel makefile.

Also make sure that java-clean, actually cleans the java build.

java: Enable pedantic compilation warnings.

Had this been enabled before gcc would have complained about
functions returning void, returning the void value returned by
jni_rethrow(),

Wrap jni_rethrow() and family in macros.

Commit c51cc4c3da519ffdf0fa43d680518ab995332e8b started to
return from JNI functions using comma expressions. Unfortunately
this also meant returning the void return value from jni_rethrow()
in JNI function returning void. Neither gcc nor clang complained
about this (with our normal set of warnings), but MSVC caught it.

Accordingly, we move to using macros for jni_rethrow() and similar
jni_throwing "functions". These wrap up the rethrow and the return
into a single invocation. The values we return here are never
important because the caller should spot that we have raised an
exception before it takes notice of the value we pass back.

Thus, we can have jni_throw_whatever() always end with a return 0,
which will work, whether it's an int, a long, or a pointer expected
as the return value. To cope with throwing in void contexts, however,
we need to also have jni_throw_whatever_void();

java: Renumber and add missing constants, fixing java build.

Commit 02027e762a8f42d71f82665ebd84af4857e3ff93 accidentally
forgot to update the corresponding java enumerations.

Allow extra compile flags specific to C++.

This introduces the XCCXXFLAGS define, which gets included as flags
to all C++ compilations. The current planned use it to add -std=c++11
to the ios build to make tesseract-related code compile.

Bug 702899: Fix off-by-one error in accelerate_chapter.

Preserve error message if PDF document fails to open.

fz_drop_document clobbers the previous error message, since it uses
fz_try internally to swallow possible cleanup errors.

wasm: Always call freeDocument before opening a new file.

If fetch() throws an error, we don't want the old document lying around.

wasm: Rename rethrow() to wasm_rethrow() for clarity.

wasm: Remove unused drawPageAsSVG function.

wasm: Call mupdf.oninit() callback instead of main().

wasm: Search text in document.

Update search results on visible pages while typing.
Click the next/prev buttons to find the next page with a match.

wasm: Clean up HTML and CSS layout.

Don't use CSS grid layout.

We need the page list to be part of the document scrolling for history
navigation to work automatically.

Use brighter more cheerful colors.

wasm: Add error checking and convert mupdf to javascript exceptions.

wasm: Use ArrayBuffer and Blob to set image data faster.

ArrayBuffers can transfer between Worker and main thread without copying,
and avoiding the BASE64 encoding and stringification step means we can
more or less get the raw PNG data directly to the browser engine with as
few intermediate steps as possible.

wasm: Use structured text to create selectable invisible text layer.

wasm: Use JSON to return page links.

Avoid returning hard-wired HTML strings from the C code.
Generate the HTML from the JSON in the viewer code for more flexibility.

wasm: Add async mupdf library and improve viewer demo.

wasm: Remove obsolete demos and update Makefile.

stext: Add JSON stext output format and add preserve-spans option.

MSVC: Hide harfbuzz warnings in all configurations.

mupdf-gl: Fix warnings in MSVC.

Add fz_warp_pixmap function.

MSVC Solution tweaks.

Avoid "/Gm is deprecated" warnings.
Fix Memento x64 builds.

Various size_t fixes for MSVC.

Update CMap resources.

Add docs/ecosystem.html and diagram.

Add "redact" mode side panel that opens with shift-R.

html: Insert <br> as flow nodes.

This fixes several issues with <br> tags interacting
badly with css margins and selectors due to how we were
splitting blocks in order to insert the new-lines from <br>.

This fixes bugs 698351 and 702856.

Moved test code from scripts/mutool.py into scripts/mupdfwrap.py.

Remove unused submodule from gumbo-parser submodule.

Bug 702537: Avoid use-after-realloc in pattern handling.

The gstates are held in an array. This array can be realloced
while processing nested patterns, invalidating the current pointer.
Avoid this by reloading the pointer each time around the loop.

Bug 702527: Cope with nonseparable nonisolated blends of alpha only groups.

Bug 702524: Fix overread in nonseparable gray blending.

Don't read bp[n] if there is no alpha.

Bug 701180: Fix memory overwrite.

Templated function was overrunning buffer in the "no destination
alpha" case by stepping too many bytes.

mupdf-gl: Add "Mark for redaction" button.

Add a button to allow all the current search hits to be added
as redaction annotations.