brd_init_copy: "--replication_sets" -> "--replication-sets"

Fix crash on insert into a table with an expression index

We failed to set up a snapshot before calling UserTableUpdateOpenIndexes
during process_remote_insert, leading to a crash if the executor called
into anything that expects a snapshot. Like evaluation of expressions
in indexes.

Per report and fix from Abdul Yadi
https://abdulyadi.wordpress.com/2015/12/29/bdr-0-9-3-and-index-on-expression-part-3-solved/

Skip acquiring the global DDL lock when dropping indexes on temporary tables.

Don't acquire the global DDL lock for DROP statements which refer to temporary relations without a schema-qualified name if it can be safely assumed that the relation will be found in the session's temporary object schema in subsequent processing of the command, provided no intervening DROP statement is received.

Don't acquire the global DDL lock when creating indexes on temporary tables.

Debian packages compatibility

Remove simplelist markup

Update list of tech upstreamed by BDR

Reword intro

Add some tests for ALTER TABLE ... NO INHERIT

Per RT#39047

Ignore bdr.bdr_connections rows where node is dropped

If a node has been dropped or the entry in bdr.bdr_nodes
for it has been deleted we should ignore the node when
connecting to peers.

Failure to do so causes issues with joining new nodes
after a node is removed.

Fixes #97
Fixes #50
Fixes #126

Whitespace

Make the bdr.bdr_internal_sequence_reset_cache installation only happen for BDR

Check for do not replicate replication set in the bdr_fetch_sysid_via_node_id().

This can cause crash otherwise since conflict code can be called with tuple which was written with the do not replicate set..

Make it more clear that ALTER COLUMN SET NOT NULL is supported.

Document that the enqueue function skips ddl locks

Support updating from 0.9.3.0

Docs tweak per Ray Stell on pgsql-general

Be explicit that "make install" is required.

fix typo reported by Ray Stell

bdr_init_copy: Read correct row from the repset resultset

Handle joins to 0.7.x nodes in bdr.internal_begin_join

This changes an old extension script retroactively, but only for
the pre-release 0.10.x series, and it only affects new joins not
existing installs.

Allow bdr_get_remote_nodeinfo_internal to work with 0.7.x

bdr_get_remote_nodeinfo_internal tried to call functions that
don't exist on a remote 0.7.x node. Tweak it to make it more
tolerant of version differences.

This isn't nearly enough to let a 0.9.x node join a 0.7.x
group, but it fixes the first issue that arises when doing so.

Fix a race between apply worker startup and perdb

During bdr_maintain_db_workers it was possible for an apply
worker to be registered and starting, but to not yet have
copied its proc latch to its shmem segment. This leads to a
segfault when setting the latch.

Resume replay immediately on bdr_apply_resume()

Previously, resuming from bdr_apply_pause() using bdr_apply_resume()
could take up to a full latch-wait timeout in bdr_apply_work() to take
effect because we didn't ever set the apply worker's latch on resume.

Reload apply worker configuration when latch is set

Apply workers now expose their proc latch in their shmem segment, and
will reload their configuration if their proc latch is set.

For replication sets changes or DSN changes the worker exits and picks
up the new configuration on reconnect because these options can't be
changed on an active bdr output plugin. Apply delay takes immediate
effect.

No new SQL-level function is required because the perdb worker
now sets the latch on all owned apply workers when its own latch
is set by bdr.bdr_connections_changed(). If we ever want to reload
only a single apply worker's config then a function to set its latch
can be provided.

(We might still want to switch to using our own latch arrays rather
than the proc latch at some point).

By its self this change doesn't do anything interesting. Follow-ups
will cause resume from paused replication to take immediate effect
and to immediately apply changes to connection replication sets.

Fix calls to error_unsupported_command()

Otherwise ambiguous things like this happen:

$ ALTER EXTENSION bdr UPDATE;
ERROR:   is not supported when bdr is active

This is what we want, of course:

$ ALTER EXTENSION bdr UPDATE;
ERROR:  ALTER EXTENSION is not supported when bdr is active

doc: fix release number in release notes

Also add correct expected output...

Fix the missing_pk test to be user independent

doc: consistent use of &postgres;

Test changing truncate triggers to tgisinternal

Further improvement on #62

Update existing bdr triggers to 'tgisinternal'

New truncate_triggers are created as `tgisinternal` but
exiting ones are not changed. Fix that by doing a one-off
catalog update during the BDR extension upgrade, setting
any existing BDR truncate triggers to internal and appending
their oid to their names to match new triggers.

Further improvement for issue #62

Create BDR's truncate triggers as 'tgisinternal'

Switch from creating triggers using the SPI to using CreateTrigger
directly, marking the new trigger as `tgisinternal` so it's not
dumped by `pg_dump` and not listed by `psql`.

Existing triggers are not updated. A subsequent commit will add
support for updating existing triggers on extension update.

Fixes issue #62

BDR 0.9.2 release notes

Support for upgrading from 0.9.2.0

Don't append 'replication=database' when calling bdr_test_replication_connection()

This causes calls to bdr_subscribe() (UDR) to fail with this error:

    FATAL:  could not fetch database oid: ERROR:  syntax error
    CONTEXT:  SQL statement "SELECT * FROM bdr_test_replication_connection(remote_dsn || ' replication=database')"

The comment for bdr_connect() explictly says the provided conninfo string should not
contain a replication= parameter; "replication=database" is automatically appended.

For some reason this did not cause any problems in BDR mode with bdr_group_join(),
which also calls bdr_test_replication_connection().

Only install bdr.bdr_internal_sequence_reset_cache() in BDR mode

bdr_seq.c not compiled for UDR; attempting to create this function
in UDR mode prevents the extension from being installed.

doc: fix typo

doc: BDR/BDR -> BDR/UDR

doc: clarify UDR build process

Normalize file header

doc: fix markup

Use bdr_find_other_exec() for BDR_INIT_REPLICA_CMD too

doc: minor copy-editing/tweaks to sequence voting docs

doc: Improve the sequence voting docs.

Fix comment in bdr_supervisor_rescan_dbs()

pg_seclabel -> pg_shseclabel

Revert "Don't check for presence of a PRIMARY KEY if not replicating rows"

This reverts commit 15abe5e5946c1542ecf43b42c69ba03c984d199f as the
initial change was too naïve.

The check shouldn't be within the loop.

It should run after the DDL lock check, since it could change data
in the table in ways that means the incoming DDL might not apply
anymore, e.g. inserting a NULL value into an otherwise NULL-free
table at the same time an
  ALTER TABLE ... ALTER COLUMN ... SET NOT NULL
comes in.

It's also necessary for it to be skipped if the node is read-only
so a check like  && !node_read_only is needed.

Trivial whitespace alignment fix

Fix debug message left in new join code

Permit DML on pg_catalog tables

Because many pg_catalog tables don't have a PRIMARY KEY we were
rejecting DML on them. Since pg_catalog writes don't get replicated
anyway, it's safe to permit such writes.

Fixes #102

Don't check for presence of a PRIMARY KEY if not replicating rows

bdr_init_copy: clean the sequence amdata cache on new node

Fixes #101

Add function to clear sequence's amdata

Function bdr.bdr_internal_sequence_reset_cache(regclass) sets the amdata
of the sequence to NULL and schedules sequencer wakeup.

This is first step for implementing GH #101.

bdr_init_copy: O_CREAT requires 3 param open()

Check for zero exit codes

Also fix program name in logging output

Pre-create bdr_init_copy log before base backup

If bdr_init_copy's CWD isn't writeable then it'll bail out when
it first tries to start PostgreSQL, after it's already done the
base backup.

Fixes #99

Check exit status of pg_resetxlog and pg_basebackup

bdr_init_copy wasn't checking exit status from pg_resetlog,
and was doing so incorrectly - though harmlessly - for
pg_basebackup.

Related to #100

Check return values for pg_ctl invocations in bdr_init_copy

Fixes #100

Highlight replication sets fix in 0.9.1 relnotes

Spelling in PRIMARY KEY error

Expose bdr_do_not_replicate GUC for other compilation units

doc: add --replication_sets option for bdr_init_copy

doc: add missing '=' to bdr_init_copy parameters

Fix copy pasto in previous commit

Make sequence pernode cache configurable

Reloption cache_chunks added which sets how many chunks should be voted
for and cached on each node.

bdr_init_copy enhancements

Add --replication-sets command line parameter.
Specifies which replication sets to use for the new node. If not
specified the bdr_init_copy will check if all nodes in the bdr cluster
use same replication sets and use that one for the new node
automatically (instead of default). If the existing nodes don't all use
same replication sets it will throw error unless --replication-sets was
specified.

If the local data directory contains PostgreSQL data folder, check if
the system identifier is same as the system identifier of the remote
node. (GH #91)

When the remote node has multiple BDR activated databases make new
connections to all of them from the new local node. (GH #88)

Correctly set node_local_dsn for the new node.

Document -v option for increasing verbosity in --help output.

bdr_init_copy: only treat dbname as connstr if it's in connstr format.

doc: Fix typo

Add missing schema qualification

Improvements to BDR/UDR join sanity checking

This is a set of related changes to the init/join
processes, focused on sanity checks and robustness
when joining nodes.

Introduces extension rev bdr 0.10.0.5.

* Expose bdr_internal_create_truncate_trigger function
  to add the bdr truncate_trigger to a table. Use it
  from bdr_truncate_trigger_add.

* Use bdr_truncate_trigger_add in bdr_group_join to
  create truncate triggers on all existing tables
  when BDR gets enabled. Previously we'd fail to
  replicate TRUNCATE for tables created before
  CREATE EXTENSION bdr; was run.

* Fix broken prototype for bdr_truncate_trigger_add

* In bdr_group_join prohibit enabling BDR where
  exclusion constraints exist in the database's
  current state. Previously you could get a BDR
  db with exclusion constraints and/or a broken
  clone by creating a table with exclusion constraints
  before enabling BDR.

* In bdr_group_join, warn users if there are
  secondary unique indexes on tables, as currently
  we can't do last-update-wins conflict handling
  on tuples that violate multiple unique constraints.
  See issue #95. Still permit join to continue.

* Warn users about missing PRIMARY KEYs, but
  permit join to continue, as it's legal to
  have no PK on an INSERT-only table.

* In bdr.internal_begin_join, use
  bdr_test_replication_connection to test the remote
  DSN in replication mode and make sure that pg_hba.conf
  permits connection in replication mode. Fixes #94.

Fix outdated comment in bdr_get_remote_nodeinfo

Tests show that truncate triggers are created before bdr_group_create

See #93

Document that UPDATE and DELETE require a PRIMARY KEY

Fixes #84

Flesh out the conflicts docs

Fix docs structure errors, a few cleanups

Remove duplicate conflicts info

Add our own function for finding Postgres binaries

We need our own function because the built-in function compares the
binary version including the minor version and since BDR is an extension
it's not realistic to support every possible version combination. The
BDR specific function for finding and validation of Postgres binaries
doesn't do version validation but instead returns major version in the
PG_VERSION_NUM format so it can be easily compared by the caller as
needed.

The pg_dump and pg_restore in bdr_init_replica and pg_ctl and
pg_basebackup check in bdr_init_copy are using the function now.

Don't insert node in bdr_init_copy in UDR mode.

Fix DROP replay of functions with no parameters.

Explain that you can't part a node from its self

Reject attempts to part from self, detect part from absent node

Reject attempts to part a node from its self. This seems like
a sensible thing to do, but we need to remove a node using another
node so that all peers find out about the removal.

Detect when asked to part a nonexistent node and complain instead
of silently doing nothing.

Also warn when asked to part a node that isn't in 'r' state.

Improve error message on insert/insert multi-unique conflict

More explanation of conflict types

doc: fix typo

Assertion fixes

Add documentation for bdr_get_local_nodeid()

Fix doc references for bdr_get_local_node_name()

Add missing 'bdr_' prefix

Add bdr_unsubscribe()

Fix some compiler warnings

Documentation Typo

Several documentation corrections

Add missing header

Change bdr_nodes_get_local_info from SPI to heap scan to avoid starting transaction.

Missing extension file

Document that bdr_initial_load exists but is internal

Closes #76

Correct --help output for bdr_initial_load

Per report in #76

On second thought use session cache for bdr_nodes.

This is how rest of postgres does it. The shmem cache is probably
slightly better performance-wise but it's somewhat abusing the shmem.

The node access API could use some rethinking after this - standard
access should probably go via cache. We should also avoid SPI probably.
But both of these are left for future patches.

In passing activate the read_only regression test which was previously
not added to Makefile by mistake.

Build instructions changes for UDR

Closes #74

Add missing files for previous commit