Update to zlib 1.2.12.

Bug 704930: Check for Appearance Stream reuse.

We need to ensure that an object for an appearance stream, is not used
from more than one annotation before we reuse it.

Paul came up with the nice observation that any new appearance stream
we generate will go into the incremental section, and we'll never
put shared ones into that section. So, if and only if the appearance
stream from an annotation is in the incremental section, we can reuse
it.

Modify the Java platform to allow for adding source file to the build
by specifying certain new variables:

ADD_SOURCE_FILES - list of additional source file(s) to add
ADD_C_FLAGS - C compiler flag(s) to add
ADD_C_INCLUDES - C compiler include path(s) to add

Bug 704483: Avoid repeated xobjects created on form editing.

If an XObject exists, reuse it.

Update tesseract submodule to fix build issue on Windows.

Bump version number.

Update CHANGES.

Bug 704341: Fix redaction of image masks.

Previously image masks were not handled specially when being
redacted. Because image masks a stored inverted in the PDF, when
redacting them we need to invert the samples, perform the redaction
including erasing pixels and drawing black boxes as requested. Finally
we need to remember the image mask flag so that the image is written
correctly when the PDF is saved.

Bug 704316: Emit embeddedd CFF fonts with subtype CIDFontType0C.

Apple Preview doesn't like the Type0 embedded font file to be Type1C.

Makethird: fix Extract build error if python not 3.6 or later.

Don't attempt to run thirdparty/extract/src/docx_template_build.py if we don't
have python-3.6 or later. The generated files are in git so this works ok.

Support building with libcrypto (openssl) for MacOS
This relies on 2 other things that should be covered in documentation:

1.  install pkg-config, which does not come with MacOS.
     brew install pkg-config
     if this is not installed, you'll get a warning, but the build will continue
     without including libcrypto

2.  Install libcrypto, using brew:
     https://gist.github.com/aklap/e885721ef15c8668ed0a1dd64d2ea1a7
     this note explains a couple of symbolic links you need to add
     If you've installed pkg-config but not libcrypto, the build will
     continue without including libcrypto

Add copyright blobs to source files.

This commit was generated by running scripts/copyblob.sh

Script to add copyright blobs to source files.

Add copyright lines to third party code snippets.

Add 'automatically generated file' headers to automatically generated files.

Makes it easier to avoid slapping on the copyright blob on these files in scripts.

Bug 701031: Do CMYK + Spots -> RGB conversion in 2 steps.

First merge the spots into the CMYK, then convert to RGB.

Don't convert process colors to RGB and then attempt to merge
converted RGB spots with them, as that gives poor results.

Fix fz_copy_pixmap_area_converting_seps to cope with spot cases.

When copying from CMYK + Spots to CMYK, we were incorrectly falling
into the 'just copy it' clause, resulting in spots being dropped.

This meant that:

 mutool draw -o spot1.psd -O 1 REWE2.pdf

(using REWE2.pdf from Bug 701031) was coming out in greyscale.

With this change in both the above command and:

 mutool draw -o spot2.psd -O 2 REWE2.pdf

appear almost identically in Photoshop (and are visually identical
to what Acrobat renders).

Fix some premultiplied problems.

First, fix a typo in lcms2 that caused a non-premultiplied
transform to be used when a premultiplied one was required.

Next, allow for the limitations in lcms2's premultiplication
support by reinstating the 'do it by steam' routines that
undo/redo premultiplication for some cases.

LCMS2 can handle premultiplication in the cases where the
number of spot channels does not change. In rare cases (such
as folding spots down to process colors after overprint simulation)
we can need to operate not in this way.

We now make use of the faster lcms2 processing where possible,
and do it ourselves otherwise.

jni: Remove unused argument.

jni: Remove accidentally included debug print.

Plug memory leak in OCR recognition code.

Bug 704244, 704245: updated thirdparty/extract to pick up recent fixes.

Use LCMS2MT's new support for premultiplied data.

We added support to lcms2 for premultiplied data. That commit
escaped into the tree a while ago. This commit updates MuPDF
to actually use it.

Pull in fixes for lcms2mt -> lcms2 merge.

android: Fix builds that include Tesseract.

Commit 56fc1452c0fafd318cf09733b51c182986c2c4da accidentally
omitted adding the include directory for android when it added
a new header include to tessocr.cpp.

Thanks Fred for pointing this out.

Fix bug in hex_from_color.

If no color is specified (when n is 0) then the color is either
transparent (for annotation borders) or default to black (for
variable text).

In the UI we convert the color array to an RGB hex in order to
display the color name. Use transparent/none rather than black when the
color is not set.

Bug 699103: Clamp link page coordinates to the page area.

Bug 704073: Remove FreeText annotations that touch redactions.

Update existing Noto fonts to latest versions.

  * Replace TTF with OTF versions.
  * Replace sans with new serif variants.
  * Add more scripts.
  * Remove unused Arabic fonts.
  * Add font for Yezidi script.
  * Update fontdump.nmake and libresources.vcxproj.

Follow-up to "Bug 703894: Flush text state and adjustments".

Discard text adjustment instead of flushing it.

Bug 703894: Flush text state and adjustments before emitting newline.

The squote and dquote text operators decompose into a T* + Tj pair,
but we need to make sure to flush TL and buffered spacing adjustments
before emitting the newline, else we'll miss the TL and/or add the
spacing adjustments for redacted characters after the newline when
they should be before the newline.

Fix SEGV in pdf_add_journal_fragment.

With specific files we can get SEGVs in pdf_add_journal_fragment
on loading the document. We are arriving there with no journal
entries defined.

This is because we've hit a PDF repair, which has discarded the
journal, before we've continued though to make a change.

We fix this in two ways.

Firstly, we no longer discard the journal on a repair. The journal
should not be dependent on anything that can change during a repair,
so this should be safe. This should be nicer for a user, because
losing your undo history due to a repair triggered late on in
using a file is unhelpful.

Secondly, we introduce the ability to tell the core to 'throw after
repair'. For certain sections of the code (here, the annotation
synthesis code), if we get a repair during the code, we want to
perform the repair, then restart the operation from scratch.

Accordingly, we have start/end functions to trigger this behaviour,
changes to pdf_repair so that we throw as required, a new type of
error so we can recognise this case, tweaks to the catch/rethrow
routines used within the appearance synthesis, and top level changes
in the appearance synthesis routines to start/stop and restart as
required.

fix

Bug 704212: Fix race condition in fz_advance_glyph.

Suppose one thread calls fz_advance_glyph, determines that we should
be using an advance cache, but one doesn't exist. It will then
allocate it, and start to fill it.

If at that point another thread calls fz_advance_glyph, it'll see
the newly created advance cache, and access it regardless of the
fact that it's newly only partially filled.

The way to avoid this is to hold the FREETYPE lock around the
use of the advance_cache.

java: Expose API for layouting text widgets.

Fix double free in document_has_redactions().

Bug 703970: Handle ToUnicode CMaps without codespacerange declaration.

Add a bogus <0000><FFFF> codespace range if none is declared.

java: Resort class/field/method initializers.

js: Expose API for layouting text widgets.

Rename text widget layout members.

Add APIs for translating between indices and rune pointers.

js: Add embedded file function bindings.

Set CJK font flag for Hangul, Hiragana and Katakana scripts too.

Bug 703924: Only parse anchor using PDF function if it's a PDF!

Also remove duplicated code by handling both PDF and non-PDF anchors
in the same block.

Also handle plain page numbers by converting to a location.

thirdparty/extract: update submodule to pick up fix for building on iOS.

scripts/: Improved constructors of fz_document_writer wrapper class.

Added support for constructing DocumentWriter instances from several
fz_new_*_writer() and fz_new_*_writer_with_output() functions that were
previously omitted.

Some constructors need to take an enum to differentiate between fz_ functions
that take identical types; have renamed these enums for consistency and added a
new enum.

Also changed constructors that wrap fz_new_*_writer_with_output()
functions to take a non-const 'Output& out' and set out.m_internal
to NULL before returning. This is necessary because the underlying
fz_new_*_writer_with_output() functions take ownership of the fz_output, which
does not support reference counting.

Patched up scripts/mupdfwrap_test.py and scripts/mutool.py to use the new
constructors.

gl: Drop distinguished name after formatting.

gl: Update trace file to adhere to PDFWidget.sign() API.

Visual Studio: Fix OpenSSL builds of mutool.

Previously, we weren't building OpenSSL variants of mutool. Now
we can do signing using mutool run, we need these.

Fix output ownership issues with document and zip writers.

Make it clear that ownership of the fz_output passes into
both document writers and zip writers immediately.

Ensure that the creation functions properly drop the output
in the event of an error.

Pull odt and docx writers into line with the others.

Extend config.h to cover output formats too.

Currently just extract and ocr using formats.

pdfwrite: Support substitute CJK fonts in output.

Track CJK fonts when creating them and store the language in the font
flags. Use the language flag to create substitute CJK fonts with
the appropriate character collection encoding.

Use UCS2 CMaps for the text encoding when creating a substitute font.

The font metrics of the substitute font may not always match, but some
text is better than no text!

Also add in a generic substitute font creation stub.

extract: Touch the generated files after running the python script.

The python script doesn't update the files unless they change, which
breaks makes dependency tracking which uses time stamps.

Work around that by manually touching the file.

Bug 704126: Create "Contents" stream if it is missing.

If the Contents are an array of streams we recreate a new Contents stream.
We should also do the same if it is null.

Bug 704162: Repair trailer when repair is triggered after initialization.

scripts/pypackage.py: fix manylinux builds that need python3.

The manylinux docker container does not have a python3 (though it does have
python3.8, python3.9 etc) which can be required by some builds, so we now
always create a softlink inside the container.

This fixes build of Extract when creating MuPDF wheels.

Also fixed some issues caused by changes to jlib.Arg command-line parsing.

Remove pdf_widget typedef.

Bug 704154: Fix OSS-Fuzz found leak in fz_paint_shade.

The cache used for painting shades has 2 parts. Depending on the
nature of the shade given, we may or may not use either part of
the cache.

For each part, if we have the correct prerequestites, then we check
to see if we 'hit' the cache. If we do, we pull stuff out and use it.
If we 'miss' it, then we throw away the stuff in the cache in the
knowledge that we will refill it with the current stuff in a minute.
Then in the always case we refill it.

Unfortunately, the 'refill' code was then filling the cache even
in some situations when it hadn't been emptied (because the
prerequestites for emptying it were not reflected in the refilling
it case).

This resulted in valid cache entries being overwritten repeatedly
meaning that the reference counting went wrong.

The fix, implemented here, is to keep track of whether we should
refill or not based upon whether we emptied.

Always build with extract.

Removed extract=yes/no option and all mention of USE_EXTRACT, HAVE_EXTRACT,
USE_SYSTEM_EXTRACT.

In Makethird, we now specify $(ZLIB_CFLAGS) when compiling Extract source; this
is required for wasm builds otherwise zlib.h is not found.

Minor improvements to docx/odt code.

Removed unused <format> arg from fz_new_docx_writer() and fz_new_odt_writer().

Added docx/odt support to fz_new_document_writer_with_output(), similar to
existing support in fz_new_document_writer().

Added docx and odt to fz_new_document_writer()'s comment's list of formats.

Removed unnecessary braces in docx/odt code in fz_new_document_writer().

include/mupdf/fitz/shade.h: document fz_paint_shade()'s new <cache> arg.

Request resynthesis for all annotations when a field is marked dirty.

When resynthesising an annotation, we consider the field being
dirty as enough reason to resynthesise it. As such, whenever a
field is marked as dirty, we should trigger a resynthesis, so
that fields don't change later on when resynthesise are triggered
for other reasons.

calc2.pdf fails to update properly (type 123 x 45 = for example)
without this fix, so clearly we are not currently triggering a
resythesis when we should be.

Credit to Sebastian for spotting this.

Bug 704138: Don't overwrite good object with truncated one during repair.

mupdf-gl: Ensure update_title called correctly on document dirty/clean.

The existing code watches for the value pdf_has_unsaved_changes()
changing around the main edit loop, and calls update_title when
a change is spotted. Unfortunately this doesn't capture edits made
using dialog boxes (such as tx_dialog and ch_dialog).

Therefore move to a simpler version where we record the state in a
static.

Fix undo-to-vanilla in TestFormExpenses.pdf.

If we load TestFormExpenses.pdf, fill in the name field, and then
undo, we do not return to the vanilla unchanged state.

This is because the first edit done to the file as part of editing
the name field is the addition of an object, rather than the
modification of an existing one. I had forgotten to add such objects
to the undo history, so they were left (unreferenced) in the
incremental history, making the document dirty.

The fix is to add these to the fragments too. The document now
behaves as expected.

Bug 704156: Truncate too long filenames to avoid buffer overflow.

scripts/mupdfwrap_gui.py: simple demo app using MuPDF python bindings and PyQt5.

scripts/mupdfwrap.py: improved help, added support for clang-11.

Added example build commands for Linux, Windows and OpenBSD.

Added convenience function fz_new_buffer_from_page_with_format().

setup.py: remove support for making minimal test package.

No longer required now the full build works ok.

scripts/mupdfwrap.py: improved class-method wrappers for fz_paint_shade().

Cope with fz_paint_shade()'s new 'fz_shade_color_cache **cache' arg:

    The auto-generated class method that wraps fz_paint_shade() is
    mupdf::Shade::paint_shade(), which now takes new arg 'ShadeColorCache&
    cache'. The auto-generated implementation passes &cache.m_internal to
    fz_paint_shade(), which does the right thing, e.g. setting cache.m_internal
    if it is NULL.

    But have added new custom wrapper method
    mupdf::Shade::paint_shade_no_cache() that omits the <cache> arg and
    passes cache=NULL to fz_paint_shade(); this gives C++ access to the full
    functionality of the underlying C API.

    Have also added default constructor to fz_shade_color_cache wrapper
    ShadeColorCache which sets m_internal to NULL, to simplify usage with
    mupdf::Shade::paint_shade().

Other:
    Reduced various diagnostics when generating C++ code.

    With the -b arg, added optional '-d <details>'; we show extra details when
    wrapping fns whose name contain <details>.

    Improved some comments.

scripts/mupdfwrap.py: added comment to custom Page::begin_page() method.

[This custom method is required because fz_begin_page() returns a borrowed
reference.]

scripts/mupdfwrap.py: fix operator<< for POD C structs.

Streaming operators for C PODs such as 'std::ostream& operator<< (std::ostream&
out, const fz_point& rhs)' used to be declared and defined inside 'namespace
mupdf {...}' so were not usable. Have moved them to top-level scope.

scripts/mupdfwrap.py: allow '-b all -t' to work on Windows.

Added support for deferring to cmd.exe and a venv with libclang installed. So
on Windows one can do:

    ./scripts/mupdfwrap.py --venv pylocal --swig-windows-auto -b all -t

Note that --venv does not upgrade pip - this appears to fail on some systems.

scripts/pypackage.py: updated to match changes to jlib.py:Arg.

scripts/jlib.py: various improvements.

Added doctest for more fns.

Fixed nv handling of {...!=}.

log():
    Cope with encoding errors. If writing to out stream raises
    UnicodeEncodeError, we retry, writing text that has been encoded+decoded
    with errors='replace' so that this will succeed.

Arg:
    various improvements - reduce text with -h, improved output if second
    non-multi item was found. Result has extra namespace level so calling code
    needs to be changed to match.

include/mupdf/fitz/getopt.h: removed unimplemented Windows unicode items.

For example fz_getoptw() was removed in 2015, commit db3f7ffe32808fde8.

Tweak annotation flag setting.

Call pdf_set_annot_resynthesised in pdf_update_button_appearance.
This both clears "needs_new_ap" and sets "has_new_ap", rather than
just setting "has_new_ap".

Also, this means that all the routes out of pdf_update_annotation
call pdf_set_annot_resynthesised, so there is no need to do it at
the top level.

Simplify callers requirements for pdf_update_annot.

It used to be that callers calling pdf_update_annot would have to
spot annotations returning 'changed' and then run through the
list again to cope with resyntheses that went into the document
overriding synthesised appearances that lived in local_xref's.

Here, we tweak the implementation so that this all lives below
the interface.

Whenever an annotation is edited, and has its 'needs_new_ap' flag
set (i.e. is marked for needing resynthesis), we set a flag in
the document noting that the document needs a resynthesis pass
performed.

Whenever someone calls pdf_update_annot to check whether an
annotation has changed, we check that flag, and if set, we
perform such a pass. This involves running across every annotation
on every open page, twice, calling pdf_update_annotation. We
then clear the document flag.

Thus the same amount of work is done as before, but the caller
is freed from the need to do 2 passes, and to deal with the
complexities involved when multiple pages are open.

mupdf-gl: Tidy up on closedown.

Free a couple of things (page bitmap and selected annot) on
closedown. This makes a memento run work cleanly which makes
it easier to spot future leaks.

js: Expose API for begin-/beginImplicit-/endOperations.

Add callback to free js event callback data.

Consider the scenario where an app opens a PDF document, allocates
data to be passed to a js event callback, sets the document's
callback and provides the data. Later on the document is dropped.
At this point, whose responsibility is it to free the event callback
data?

Prior to this change it was up to the app to fetch the event callback
data from the document and drop it before the document itself was
dropped.

After this commit when the document is being dropped a callback will
be called, tasked with freeing the allocated js event callback data.
This way the app doesn't have to get and free the event callback data
when dropping the document.

js: Free js event listener data when GCing PDF document objects.

js: Call correct gc callback for PDF document objects.

js: Expose undo/redo API.

js: Rename event listener API to match C and Java APIs.

Plug memory leak of merged text field value.

Forget both local and normal xref when repairing PDFs.

Also introduce a convenience function that does this.

This fixes OSS-fuzz issue 32037.

Set text field value even when ignoring trigger events.

Previously MuPDF always set the text field value to NULL which gets
reinterpreted into the empty string.

mupdf-gl: Move selected_annot global.

Move into the ui structure. Read directly, but only ever set it
by calling ui_select_annot(). This allows us to drop references
as appropriate.

pdf_create_annot: return an owned reference not a borrowed one.

This seems much more logical - indeed, the Java, C++ and Python
bindings have all been written to assume this.

Knock on effects are for pdf_annot_create_raw and
pdf_create_signature_widget to also return owned references.

mupdf-gl has been updated to reflect the fact that it owns the
reference.

fz_create_link and pdf_create_link are similarly updated. The
java (and presumably C++ and python) handlers for this already
assumed that they returned an owned reference.

Memento: Avoid underflow with very small blocks.

AFSpecial_KeystrokeEx must accept empty fields.

Otherwise you can change a field to something, and then not be
able to revert to the empty value without the form complaining.

Tests seem to indicate that Acrobat DOES call the javascript
in this case, so the empty string handling should be in the js
rather than the C.

Update set_validate_field_value to accept javascript changed values.

toupper-64-8.pdf demonstrates that the 'validation' javascript
event can change the final value that is supposed to be stored
into the document.

Support that here.

Add pdf_edit_text_field_value and make mupdf-gl use it.

This allowed "format as you type" using javascript keystroke
methods.

Replace 'event' variables with 'evt'.

MSVC really dislikes 'event' as a name. It won't display values for
'event.foo', instead displaying whatever the value of 'foo' is.
Apparently this because C++/CLI uses 'event' as a reserved word.

I find this really confusing.

Rename our 'event' variables to 'evt'.

mupdf-gl: Add rudimentary js alert support.

Fix AFSpecial_KeystrokeEx.

AFSpecial_KeystrokeEx takes 1) the current value of a field,
2) the area 'selected' within that field, and 3) the 'change'
to be pasted into that area.

When called without 'willCommit' set, it is expected to check
that the combined string is formatted OK. If it is OK, it
can return true, with no changes. If it can be made OK, then
'change' and 'selection' should be updated to make it OK, and
the routine should return false. Otherwise, it should just
return false.

When called with 'willCommit' set, it is expected that the call
has the proposed 'value' with no changes. It should check that
the combined string is formatted OK, and to just return yes or no.

Our implementation of AFSpecial_KeystrokeEx is clearly not doing
that. It attempts to walk the 'value' string without ever merging
the change string into it.

Our implementation also only ever sets event.value, so fix that too.

We also have to update our C code that calls this stuff to properly
use the returned values, and to call the willCommit state in
alignment with our new understanding of what the selection means.

Mark stream to be dropped during exception as fz_var.

Previously the stream was not marked fz_var, hence its variable kept
being NULL when cleaning up after the exception, causing a leak of
the stream.

This fixes OSS-fuzz issue 33880.

Update JS console.println so that it prints to fz_stddbg.

gl/x11: Cope with error while trying to handle relative URI.